前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[系统故障对Etcd数据读取的影响及对策 ]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
c++
...顾客满意度。这种基于数据驱动的决策方式,正是现代企业追求精细化运营的重要体现。 与此同时,开源社区也在不断壮大,许多开发者通过GitHub等平台分享自己的代码成果。这不仅促进了技术交流,也为初学者提供了宝贵的学习资源。例如,一个名为“Awesome-CPP”的项目整理了大量高质量的C++开源库,涵盖了从图形处理到网络通信等多个领域,极大地降低了开发者的学习门槛和技术壁垒。 此外,随着元宇宙概念的兴起,虚拟现实(VR)和增强现实(AR)技术正逐渐成为新的热点。一些高校和研究机构正在积极开展相关领域的研究,试图解决硬件性能瓶颈及用户体验等问题。例如,某大学实验室开发了一套基于SLAM技术的室内导航系统,能够在复杂环境中实现高精度定位,为未来的智能城市建设奠定了基础。 值得注意的是,在全球范围内,各国政府都在加大对科技创新的支持力度。美国出台了多项鼓励高科技产业发展的政策,而欧盟则推出了《数字服务法案》,旨在规范互联网平台的行为,保护用户隐私权。这些举措无疑将进一步推动全球科技生态的发展,为程序员们创造更多机会。 综上所述,无论是技术创新还是政策支持,都表明当前正处于一个充满机遇的时代。对于程序员而言,保持对新技术的关注,并不断提升自身技能,将是适应未来挑战的关键所在。
2025-03-25 15:39:59
12
幽谷听泉_
MySQL
...? 兄弟们,作为一个数据库工程师或者开发者,你肯定知道权限管理在数据库中的重要性。权限管理嘛,就好比数据库的保安大哥,专门管着谁能进去溜达,谁能摸东西,谁又能动东西。对于MySQL来说,权限控制更是必不可少的一部分。 我们常常会遇到这样的情况:一个项目上线后,突然发现某些表的权限设置得不对劲,导致数据被误删或者被非法访问。哎呀,这个时候咱们就得赶紧去数据库里逛一圈啦,挨个瞅瞅那些表的权限设置是不是都正常,可别哪里漏了或者出啥幺蛾子!嘿,今天咱们就来唠唠怎么在MySQL里瞅瞅每个表都有啥权限呗!说起来可能有点技术含量,但只要跟着步骤走,保管你也能轻松掌握!希望我的分享能帮到大家~ 二、准备工作 连接MySQL服务器 首先,我们需要连接到我们的MySQL服务器。如果你是用命令行工具,可以直接输入以下命令: bash mysql -u root -p 然后输入你的密码。如果你用的是 Navicat 或者 DBeaver 这种图形化工具,那就好办了!直接打开工具,然后填上服务器地址、用户名和密码就行啦,就跟平时填表单似的,简单得很! 进入MySQL后,我们可以开始查看权限了。咳咳,先说在前面啊,咱们得搞清楚一件事——MySQL的那个权限系统,真的不是闹着玩的!它就像是一个超级复杂的迷宫,啥用户啦、数据库啦、表啦,全都搅和在一起,分分钟让人头大。所以,我们要一步步来,先从最基本的开始。 三、查看用户的全局权限 在MySQL中,用户级别的权限是最基础的权限设置。我们可以通过SHOW GRANTS命令来查看某个用户的全局权限。比如,如果你想查看root用户的权限,可以执行以下命令: sql SHOW GRANTS FOR 'root'@'localhost'; 这个命令会返回root用户在localhost上的所有权限。比如: plaintext GRANT ALL PRIVILEGES ON . TO 'root'@'localhost' WITH GRANT OPTION 这里的ALL PRIVILEGES表示root用户拥有所有的权限,包括对所有数据库和表的操作权限。WITH GRANT OPTION表示该用户还可以将这些权限授予其他用户。 但是,有时候我们会忘记具体设置了哪些权限,这时候就需要手动检查了。我们可以用SELECT语句查询mysql.user表来查看详细信息: sql SELECT FROM mysql.user WHERE User='root'; 这个查询会返回root用户的详细权限设置,包括是否允许登录、是否有超级权限等。 四、查看特定数据库的权限 接下来,我们来看如何查看特定数据库的权限。假设我们有一个名为my_database的数据库,想看看这个数据库的所有表的权限,可以使用SHOW GRANTS命令结合具体的数据库名: sql SHOW GRANTS FOR 'some_user'@'%' ON my_database.; 这里的some_user是我们要检查的用户,%表示可以从任何主机连接。ON my_database.表示只查看my_database数据库中的权限。 如果想看更详细的权限设置,可以通过查询mysql.db表来实现: sql SELECT FROM mysql.db WHERE Db='my_database'; 这个查询会返回my_database数据库的所有权限设置,包括用户、权限类型(如SELECT、INSERT、UPDATE等)以及允许的主机。 五、查看特定表的权限 现在,我们已经知道了如何查看整个数据库的权限,那么接下来就是查看特定表的权限了。MySQL里有个SHOW TABLE STATUS的命令,能让我们瞅一眼某个表的基本情况,比如它有多大、创建时间啥的。不过呢,要是想看权限相关的东西,还得再折腾一下才行。 假设我们有一个表叫users,想要查看这个表的权限,可以这样做: sql SHOW GRANTS FOR 'some_user'@'%' ON my_database.users; 这条命令会显示some_user用户在my_database数据库的users表上的所有权限。如果你觉得这样还不够直观,可以查询information_schema.TABLE_PRIVILEGES视图: sql SELECT FROM information_schema.TABLE_PRIVILEGES WHERE TABLE_SCHEMA='my_database' AND TABLE_NAME='users'; 这个查询会返回my_database数据库中users表的所有权限记录,包括权限类型、授权用户等信息。 六、实战演练 批量检查所有表的权限 在实际工作中,我们可能需要批量检查整个数据库中所有表的权限。其实MySQL本身没给个现成的命令能一口气看看所有表的权限,不过咱们可以用脚本自己搞掂啊! 下面是一个简单的Python脚本示例,用来遍历数据库中的所有表并打印它们的权限: python import pymysql 连接到MySQL服务器 conn = pymysql.connect(host='localhost', user='root', password='your_password') cursor = conn.cursor() 获取数据库列表 cursor.execute("SHOW DATABASES") databases = cursor.fetchall() for db in databases: db_name = db[0] 跳过系统数据库 if db_name in ['information_schema', 'performance_schema', 'mysql']: continue 切换到当前数据库 cursor.execute(f"USE {db_name}") 获取表列表 cursor.execute("SHOW TABLES") tables = cursor.fetchall() for table in tables: table_name = table[0] 查询表的权限 cursor.execute(f"SHOW GRANTS FOR 'some_user'@'%' ON {db_name}.{table_name}") grants = cursor.fetchall() print(f"Database: {db_name}, Table: {table_name}") for grant in grants: print(grant) 关闭连接 cursor.close() conn.close() 这个脚本会连接到你的MySQL服务器,依次检查每个数据库中的所有表,并打印出它们的权限设置。你可以根据需要修改脚本中的用户名和密码。 七、总结与思考 通过这篇文章,我们学习了如何查看MySQL中所有表的权限。从最高级别的全局权限,到某个数据库的权限,再细化到某张表的权限,每个环节都有一套对应的命令和操作方法,就跟搭积木一样,一层层往下细分,但每一步都有章可循!MySQL的权限管理系统确实有点复杂,感觉像是个超级强大的工具箱,里面的东西又多又专业。不过别担心,只要你搞清楚了最基本的那些“钥匙”和“门道”,基本上就能搞定各种情况啦,就跟玩闯关游戏一样,熟悉了规则就没什么好怕的! 在这个过程中,我一直在思考一个问题:为什么MySQL要设计这么复杂的权限系统?其实答案很简单,因为安全永远是第一位的。无论是企业级应用还是个人项目,我们都不能忽视权限管理的重要性。希望能通过这篇文章,让你在实际操作中更轻松地搞懂MySQL的权限系统,用起来也更得心应手! 最后,如果你还有其他关于权限管理的问题,欢迎随时交流!咱们一起探索数据库的奥秘!
2025-03-18 16:17:13
50
半夏微凉
Kibana
...ibana中如何设置数据保留策略? 1. 前言 为什么我们需要数据保留策略? 嗨朋友们!今天咱们聊聊一个非常实用的话题——在Kibana中如何设置数据保留策略。先问问大家,你们有没有遇到过这样的情况?存储空间告急,系统提示“磁盘已满”;或者不小心存了太多无用的数据,导致查询速度慢得像乌龟爬……这些问题是不是让你头疼?别担心,Kibana可以帮助我们轻松管理数据,而数据保留策略就是其中的重要一环。 其实,数据保留策略的核心思想很简单:只保留必要的数据,删除那些不再需要的垃圾信息。这不仅能够节省宝贵的存储资源,还能提高系统的运行效率。所以,今天咱们就来深入探讨一下,如何在Kibana中搞定这个事儿! --- 2. 数据保留策略是什么?为什么要用它? 2.1 什么是数据保留策略? 简单来说,数据保留策略就是定义数据的生命周期。比如说,“只留最近30天的记录”,或者是“超过一年的就自动清掉”。你可以根据业务需求灵活设置这些规则。 2.2 为什么我们需要它? 想象一下,如果你是一家电商平台的数据分析师,每天都会生成大量的日志文件。这些日志里可能包含了用户的购买记录、浏览行为等重要信息。不过呢,日子一长啊,那些早期的日志就变得没啥分析的意义了,反而是白白占着磁盘空间,挺浪费的。这时候,数据保留策略就能帮你解决这个问题。 再比如,如果你是一家医院的IT管理员,医疗设备产生的监控数据可能每秒都在增加。要是不赶紧把那些旧数据清理掉,系统非但会变得越来越卡,还可能出大问题,甚至直接“翻车”!所以,合理规划数据的生命周期是非常必要的。 --- 3. 如何在Kibana中设置数据保留策略? 接下来,咱们进入正题——具体操作步骤。相信我,这并不复杂,只要跟着我的节奏走,你一定能学会! 3.1 第一步:创建索引模式 首先,我们需要确保你的数据已经被正确地存储到Elasticsearch中,并且可以通过Kibana访问。如果还没有创建索引模式,可以按照以下步骤操作: bash 登录Kibana界面 1. 点击左侧菜单栏中的“Management”。 2. 找到“Stack Management”部分,点击“Index Patterns”。 3. 点击“Create index pattern”按钮。 4. 输入你的索引名称(例如 "logstash-"),然后点击“Next step”。 5. 选择时间字段(通常是@timestamp),点击“Create index pattern”完成配置。 > 思考点:这里的关键在于选择合适的索引名称和时间字段。如果你的时间字段命名不规范,后续可能会导致数据无法正确筛选哦! 3.2 第二步:设置索引生命周期策略 接下来,我们要为索引创建生命周期策略。这是Kibana中最核心的部分,直接决定了数据的保留方式。 示例代码: javascript PUT _ilm/policy/my_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "50gb", "max_age": "30d" } } }, "delete": { "min_age": "1y", "actions": { "delete": {} } } } } } 这段代码的意思是: - 热阶段(Hot Phase):当索引大小达到50GB或者超过30天时,触发滚动操作。 - 删除阶段(Delete Phase):超过1年后,自动删除该索引。 > 小贴士:这里的max_size和max_age可以根据你的实际需求调整。比如,如果你的服务器内存较小,可以将max_size调低一点。 3.3 第三步:将策略应用到索引 设置好生命周期策略后,我们需要将其绑定到具体的索引上。具体步骤如下: bash POST /my-index/_settings { "index.lifecycle.name": "my_policy", "index.lifecycle.rollover_alias": "my_index" } 这段代码的作用是将之前创建的my_policy策略应用到名为my-index的索引上。同时,通过rollover_alias指定滚动索引的别名。 --- 4. 实战案例 数据保留策略的实际效果 为了让大家更直观地理解数据保留策略的效果,我特意准备了一个小案例。假设你是一名电商公司的运维工程师,每天都会收到大量的订单日志,格式如下: json { "order_id": "123456789", "status": "success", "timestamp": "2023-09-01T10:00:00Z" } 现在,你想对这些日志进行生命周期管理,具体要求如下: - 最近3个月的数据需要保留。 - 超过3个月的数据自动归档到冷存储。 - 超过1年的数据完全删除。 实现方案: 1. 创建索引模式,命名为orders-。 2. 定义生命周期策略 javascript PUT _ilm/policy/orders_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "10gb", "max_age": "3m" } } }, "warm": { "actions": { "freeze": {} } }, "delete": { "min_age": "1y", "actions": { "delete": {} } } } } } 3. 将策略绑定到索引 bash POST /orders-/_settings { "index.lifecycle.name": "orders_policy", "index.lifecycle.rollover_alias": "orders" } 运行以上代码后,你会发现: - 每隔3个月,新的订单日志会被滚动到一个新的索引中。 - 超过3个月的旧数据会被冻结,存入冷存储。 - 超过1年的数据会被彻底删除,释放存储空间。 --- 5. 总结与展望 通过今天的分享,相信大家对如何在Kibana中设置数据保留策略有了更深的理解。虽然设置过程看似繁琐,但实际上只需要几步就能搞定。而且啊,要是咱们好好用数据保留这招,不仅能让系统跑得更快、更顺畅,还能帮咱们把那些藏在数据里的宝贝疙瘩给挖出来,多好呀! 最后,我想说的是,技术学习是一个不断探索的过程。如果你在实践中遇到问题,不妨多查阅官方文档或者向社区求助。毕竟,我们每个人都是技术路上的探索者,一起努力才能走得更远! 好了,今天的分享就到这里啦!如果你觉得这篇文章有用,记得点赞支持哦~咱们下次再见!
2025-04-30 16:26:33
20
风轻云淡
转载文章
...的经验可胜任模块级的系统设计,承担完成较为复杂的技术,能有效的自我管理,有帮助别人快速解决问题(trouble shooting)的能力。 此阶段你需要经历到7、8年左右的体验,中间要经历一段深刻自我历练的过程。 有时给人致命一击其实是心里的小蟊贼。一般人在5年前后遇到一个门槛,碰到天花板+彷徨期,或者你打心眼里不在喜欢编程,可尝试转为其它角色,如产品经理,售前售后支持等岗位,也不失为好选择。 当我们熬过这段儿,就会“山随平野尽,江入大荒流“,渐入佳境矣。 高级程序员定义软件功能、做开发计划推进和管理。可以带几个个帮手把产品规划的功能实现,你是团队中的”大手“,遇到难题也是你亲自攻艰克难。 所以,一个高级程序员,他的职责很清晰: 1、负责产品核心复杂功能的方案设计、编码实现 2、负责疑难BUG分析诊断、攻关解决 架构师 到了架构师级别,想必你已经学会降龙十八掌,可登堂入世,成为一位准(lao)专(you)家(tiao)。 我们大喊声:“单打独斗,老衲谁也不惧!“,遂开始领导一众技术高手,指点武功,来设计和完成一个系统,大多是分布式,高并发的系统架构平台。 架构师的任务是为公司产品的业务问题提供高质量技术解决方案,主要着眼于系统的"技术实现" 。 架构师的主要分类: 可能每条产品线都设置了架构师,也可能多条生产品线的的后端是由一个架构师设计的平台提供,所以架构师也是有所不同的,其分类如下: 软件架构师 信息架构师 网站架构师 其主要职责如下: 1、需求分析:“知彼”有时比“知已”还重要。管理市场,产品等的需求,确立关键需求。坚持技术上的优秀与需求的愿景统一,提升技术负债意识,提供技术选项,风险预判,工期等解决方案。 2、架构设计:在产品功能中抽取中非功能的需求,由关键需求变成概念型架构。列出功能树,分层治之,如用户界面层、系统交互层,数据管理层。达成高扩展,高可用,高性能,高安全,易运维,易部署,易接入等能力。 3、功能设计与实现:对架构设计的底层代码级别实现。如公共核心类,接口实现,应用发现规则、接口变更等。 技术经理 人生就是不断上升的过程,你已经到达经理的层次了。如今的你,需要不断提高领导力,需要定期召开团队会议讨论问题。 首先我们要更加自信,在工作中显示自己的功力,给讲话增添力量。如:“本次项目虽然有很大的困难,我们也需苦战到底。当然示先垂范,身先士卒,方能成功!” 技术经理有时候也可能叫系统分析员,一些小公司可能会整个公司或者部门有一个技术经理。技术经理承担的角色主要是系统分析、架构搭建、系统构建、代 码走查等工作,如果说项目经理是总统,那么技术经理就是总理。当然不是所有公司都是这样的,有些公司项目经理是不管技术团队的,只做需求、进度和同客户沟 通,那么这个时候的项目经理就好像工厂里的跟单人员了,这种情况在外包公司比较多。对于技术经理来说,着重于技术方面,你需要知道某种功能用哪些技术合 适,需要知道某项功能需要多长的开发时间等。同时,技术经理也应该承担提高团队整体技术水平的工作。 你需要和大家站在一起,因为人们也都有解决问题的能力,更需要有以下的能力与责任: 1、任务管理:开发工作量评估、定立开发流程、分配和追踪开发任务 2、质量管理:代码review、开发风险判断/报告/协调解决 3、效率提升:代码底层研发和培训、最佳代码实践规范总结与推广、自动化生产工具、自动化部署工具 4、技术能力提升:招聘面试、试题主拟、新人指导、项目复盘与改进 技术总监 如果一个研发团队超过20人,有多条产品线或业务量很大,这时已经有多个技术经理在负责每个业务,这时需要一位技术总监。 主要职责: 1、组建平台研发部,与架构师共建软件公共平台,方便各条产品业务线研发。 2、通过技术平台、通过高一层的职权,管理和协调公司各个部门与本部门各条线。现在每个产品线都应该有合格的技术经理和高级程序员。 结语:我们相信,每个人都能成为IT大神。现在开始,找个师兄带你入门,让你的学习之路不再迷茫。 这里推荐我们的前端学习交流圈:784783012,里面都是学习前端的从最基础的HTML+CSS+JS【炫酷特效,游戏,插件封装,设计模式】到移动端HTML5的项目实战的学习资料都有整理,送给每一位前端小伙伴。 最新技术,与企业需求同步。好友都在里面学习交流,每天都会有大牛定时讲解前端技术! 点击:前端技术分享 本篇文章为转载内容。原文链接:https://blog.csdn.net/webDk/article/details/88917912。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-05-10 13:13:48
757
转载
转载文章
...即使是“轻量级”操作系统也需与时俱进,以满足用户对功能丰富、界面美观以及高效稳定的需求。从LXDE到LXQt的转变,不仅体现了开源社区对于技术趋势的敏锐把握,还展示了开发团队积极应对挑战、持续优化用户体验的决心。 近期,Lubuntu 20.04在实际应用中收获了大量正面反馈,许多用户赞赏其在保持系统资源占用较低的同时,提供了更为现代且完善的桌面体验。值得注意的是,LXQt环境在跨平台兼容性和第三方软件支持方面的表现同样出色,吸引了更多开发者为其贡献代码,进一步丰富和完善生态系统。 此外,Lubuntu 20.04弃用Ubiquity转而采用Calamares安装程序,此举在简化安装流程、提高安装效率上成效显著,为其他Linux发行版提供了新的实践参考。同时,Lubuntu不再主要针对老旧硬件进行优化,而是力求在新旧设备间找到平衡点,这也预示着未来Linux发行版将更加注重普适性与灵活性。 综上所述,Lubuntu 20.04 LTS版本的发布不仅是一个技术层面的迭代更新,更是一次关于如何在保持传统优势基础上适应新时代需求的战略调整。随着后续版本的不断改进和完善,Lubuntu将在轻量级Linux发行版领域继续保持竞争力,并有望吸引更广泛的用户群体。 而对于想要深入了解LXQt桌面环境及其背后技术原理的读者,可以关注相关开源社区的最新动态,如Qt项目官方博客、KDE社区论坛等,这些渠道会定期发布关于LXQt的新特性和开发进展的文章和技术文档。同时,也可查阅专业媒体或技术博主对Lubuntu 20.04及LXQt的深度评测和使用心得,从而全方位地了解这一变革所带来的影响和价值。
2023-05-17 18:52:15
321
转载
转载文章
...SM) USM语法 数据依赖 wait() depends_on in_order queue property 练习1:事件依赖 练习2:事件依赖 UMS实验 oneAPI编程模型 oneAPI编程模型提供了一个全面、统一的开发人员工具组合,可用于各种硬件设备,其中包括跨多个工作负载领域的一系列性能库。这些库包括面向各目标架构而定制化代码的函数,因此相同的函数调用可为各种支持的架构提供优化的性能。DPC++基于行业标准和开放规范,旨在鼓励生态系统的协作和创新。 多架构编程面临的挑战 在以数据为中心的环境中,专用工作负载的数量不断增长。专用负载通常因为没有通用的编程语言或API而需要使用不同的语言和库进行编程,这就需要维护各自独立的代码库。 由于跨平台的工具支持不一致,因此开发人员必须学习和使用一整套不同的工具。单独投入精力给每种硬件平台开发软件。 oneAPI则可以利用一种统一的编程模型以及支持并行性的库,支持包括CPU、GPU、FPGA等硬件等同于原生高级语言的开发性能,并且可以与现有的HPC编程模型交互。 SYCL SYCL支持C++数据并行编程,SYCL和OpenCL一样都是由Khronos Group管理的,SYCL是建立在OpenCL之上的跨平台抽象层,支持用C++用单源语言方式编写用于异构处理器的与设备无关的代码。 DPC++ DPC++(Data Parallel C++)是一种单源语言,可以将主机代码和异构加速器内核写在同一个文件当中,在主机中调用DPC++程序,计算由加速器执行。DPC++代码简洁且效率高,并且是开源的。现有的CUDA应用、Fortran应用、OpenCL应用都可以用不同方式很方便地迁移到DPC++当中。 下图显示了原来使用不同架构的HPC开发人员的一些推荐的转换方法。 编译和运行DPC++程序 编译和运行DPC++程序主要包括三步: 初始化环境变量 编译DPC++源代码 运行程序 例如本地运行,在本地系统上安装英特尔基础工具套件,使用以下命令编译和运行DPC++程序。 source /opt/intel/inteloneapi/setvars.shdpcpp simple.cpp -o simple./simple 编程实例 实现矢量加法 以下实例描述了使用DPC++实现矢量加法的过程和源代码。 queue类 queue类用来提交给SYCL执行的命令组,是将作业提交到运算设备的一种机制,多个queue可以映射到同一个设备。 Parallel kernel Parallel kernel允许代码并行执行,对于一个不具有相关性的循环数据操作,可以用Parallel kernel并行实现 在C++代码中的循环实现 for(int i=0; i < 1024; i++){a[i] = b[i] + c[i];}); 在Parallel kernel中的并行实现 h.parallel_for(range<1>(1024), [=](id<1> i){A[i] = B[i] + C[i];}); 通用的并行编程模板 h.parallel_for(range<1>(1024), [=](id<1> i){// CODE THAT RUNS ON DEVICE }); range用来生成一个迭代序列,1为步长,在循环体中,i表示索引。 Host Accessor Host Accessor是使用主机缓冲区访问目标的访问器,它使访问的数据可以在主机上使用。通过构建Host Accessor可以将数据同步回主机,除此之外还可以通过销毁缓冲区将数据同步回主机。 buf是存储数据的缓冲区。 host_accessor b(buf,read_only); 除此之外还可以将buf设置为局部变量,当系统超出buf生存期,buf被销毁,数据也将转移到主机中。 矢量相加源代码 根据上面的知识,这里展示了利用DPC++实现矢量相加的代码。 //第一行在jupyter中指明了该cpp文件的保存位置%%writefile lab/vector_add.cppinclude <CL/sycl.hpp>using namespace sycl;int main() {const int N = 256;// 初始化两个队列并打印std::vector<int> vector1(N, 10);std::cout<<"\nInput Vector1: "; for (int i = 0; i < N; i++) std::cout << vector1[i] << " ";std::vector<int> vector2(N, 20);std::cout<<"\nInput Vector2: "; for (int i = 0; i < N; i++) std::cout << vector2[i] << " ";// 创建缓存区buffer vector1_buffer(vector1);buffer vector2_buffer(vector2);// 提交矢量相加任务queue q;q.submit([&](handler &h) {// 为缓存区创建访问器accessor vector1_accessor (vector1_buffer,h);accessor vector2_accessor (vector2_buffer,h);h.parallel_for(range<1>(N), [=](id<1> index) {vector1_accessor[index] += vector2_accessor[index];});});// 创建主机访问器将设备中数据拷贝到主机当中host_accessor h_a(vector1_buffer,read_only);std::cout<<"\nOutput Values: ";for (int i = 0; i < N; i++) std::cout<< vector1[i] << " ";std::cout<<"\n";return 0;} 运行结果 统一共享内存 (Unified Shared Memory USM) 统一共享内存是一种基于指针的方法,是将CPU内存和GPU内存进行统一的虚拟化方法,对于C++来说,指针操作内存是很常规的方式,USM也可以最大限度的减少C++移植到DPC++的代价。 下图显示了非USM(左)和USM(右)的程序员开发视角。 类型 函数调用 说明 在主机上可访问 在设备上可访问 设备 malloc_device 在设备上分配(显式) 否 是 主机 malloc_host 在主机上分配(隐式) 是 是 共享 malloc_shared 分配可以在主机和设备之间迁移(隐式) 是 是 USM语法 初始化: int data = malloc_shared<int>(N, q); int data = static_cast<int >(malloc_shared(N sizeof(int), q)); 释放 free(data,q); 使用共享内存之后,程序将自动在主机和运算设备之间隐式移动数据。 数据依赖 使用USM时,要注意数据之间的依赖关系以及事件之间的依赖关系,如果两个线程同时修改同一个内存区,将产生不可预测的结果。 我们可以使用不同的选项管理数据依赖关系: 内核任务中的 wait() 使用 depends_on 方法 使用 in_queue 队列属性 wait() q.submit([&](handler &h) {h.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });}).wait(); // <--- wait() will make sure that task is complete before continuingq.submit([&](handler &h) {h.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });}); depends_on auto e = q.submit([&](handler &h) { // <--- e is event for kernel taskh.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });});q.submit([&](handler &h) {h.depends_on(e); // <--- waits until event e is completeh.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });}); in_order queue property queue q(property_list{property::queue::in_order()}); // <--- this will make sure all the task with q are executed sequentially 练习1:事件依赖 以下代码使用 USM,并有三个提交到设备的内核。每个内核修改相同的数据阵列。三个队列之间没有数据依赖关系 为每个队列提交添加 wait() 在第二个和第三个内核任务中实施 depends_on() 方法 使用 in_order 队列属性,而非常规队列: queue q{property::queue::in_order()}; %%writefile lab/usm_data.cppinclude <CL/sycl.hpp>using namespace sycl;static const int N = 256;int main() {queue q{property::queue::in_order()};//用队列限制执行顺序std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";int data = static_cast<int >(malloc_shared(N sizeof(int), q));for (int i = 0; i < N; i++) data[i] = 10;q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 5; });q.wait();//wait阻塞进程for (int i = 0; i < N; i++) std::cout << data[i] << " ";std::cout << "\n";free(data, q);return 0;} 执行结果 练习2:事件依赖 以下代码使用 USM,并有三个提交到设备的内核。前两个内核修改了两个不同的内存对象,第三个内核对前两个内核具有依赖性。三个队列之间没有数据依赖关系 %%writefile lab/usm_data2.cppinclude <CL/sycl.hpp>using namespace sycl;static const int N = 1024;int main() {queue q;std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";//设备选择int data1 = malloc_shared<int>(N, q);int data2 = malloc_shared<int>(N, q);for (int i = 0; i < N; i++) {data1[i] = 10;data2[i] = 10;}auto e1 = q.parallel_for(range<1>(N), [=](id<1> i) { data1[i] += 2; });auto e2 = q.parallel_for(range<1>(N), [=](id<1> i) { data2[i] += 3; });//e1,e2指向两个事件内核q.parallel_for(range<1>(N),{e1,e2}, [=](id<1> i) { data1[i] += data2[i]; }).wait();//depend on e1,e2for (int i = 0; i < N; i++) std::cout << data1[i] << " ";std::cout << "\n";free(data1, q);free(data2, q);return 0;} 运行结果 UMS实验 在主机中初始化两个vector,初始数据为25和49,在设备中初始化两个vector,将主机中的数据拷贝到设备当中,在设备当中并行计算原始数据的根号值,然后将data1_device和data2_device的数值相加,最后将数据拷贝回主机当中,检验最后相加的和是否是12,程序结束前将内存释放。 %%writefile lab/usm_lab.cppinclude <CL/sycl.hpp>include <cmath>using namespace sycl;static const int N = 1024;int main() {queue q;std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";//intialize 2 arrays on hostint data1 = static_cast<int >(malloc(N sizeof(int)));int data2 = static_cast<int >(malloc(N sizeof(int)));for (int i = 0; i < N; i++) {data1[i] = 25;data2[i] = 49;}// STEP 1 : Create USM device allocation for data1 and data2int data1_device = static_cast<int >(malloc_device(N sizeof(int),q));int data2_device = static_cast<int >(malloc_device(N sizeof(int),q));// STEP 2 : Copy data1 and data2 to USM device allocationq.memcpy(data1_device, data1, sizeof(int) N).wait();q.memcpy(data2_device, data2, sizeof(int) N).wait();// STEP 3 : Write kernel code to update data1 on device with sqrt of valueauto e1 = q.parallel_for(range<1>(N), [=](id<1> i) { data1_device[i] = std::sqrt(25); });auto e2 = q.parallel_for(range<1>(N), [=](id<1> i) { data2_device[i] = std::sqrt(49); });// STEP 5 : Write kernel code to add data2 on device to data1q.parallel_for(range<1>(N),{e1,e2}, [=](id<1> i) { data1_device[i] += data2_device[i]; }).wait();// STEP 6 : Copy data1 on device to hostq.memcpy(data1, data1_device, sizeof(int) N).wait();q.memcpy(data2, data2_device, sizeof(int) N).wait();// verify resultsint fail = 0;for (int i = 0; i < N; i++) if(data1[i] != 12) {fail = 1; break;}if(fail == 1) std::cout << " FAIL"; else std::cout << " PASS";std::cout << "\n";// STEP 7 : Free USM device allocationsfree(data1_device, q);free(data1);free(data2_device, q);free(data2);// STEP 8 : Add event based kernel dependency for the Steps 2 - 6return 0;} 运行结果 本篇文章为转载内容。原文链接:https://blog.csdn.net/MCKZX/article/details/127630566。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-07-22 10:28:50
322
转载
转载文章
...果不仅对于文本处理、数据压缩等领域具有重要价值,也对解决类似的编程挑战提供了新的思路。 此外,在ACM国际大学生程序设计竞赛(ACM-ICPC)和谷歌代码 Jam 等全球顶级编程赛事中,频繁出现与回文串相关的题目,参赛者需灵活运用算法知识来解决实际问题。比如,有题目要求选手在最短时间内编写程序,找出将一个字符串转换为非回文串的最小操作次数,这与我们讨论的文章主题不谋而合,展现了理论与实践相结合的重要性。 同时,回文串在密码学、遗传学以及文学创作等多个领域均有应用。例如,在DNA序列分析中,回文结构往往关联着基因调控的重要区域;在密码学中,特定类型的回文串可用于构建加密算法的关键部分。深入理解并熟练掌握回文串的相关性质及处理方法,无疑有助于我们在这些领域取得更多的技术突破。 总之,从基础的编程题出发,我们可以洞察到字符串处理与算法优化在前沿科研和实际应用中的深远影响。通过持续关注和学习此类问题的最新研究成果与应用案例,我们能够不断提升自身的算法设计和问题解决能力。
2023-10-05 13:54:12
229
转载
转载文章
...只需要带动反射镜片,系统的响应非常快。 ZMC420SCAN支持XY2-100振镜协议,支持运动控制与振镜联合插补运动。 上位机通过网口与控制器相连,通过XY2-100振镜协议进行控制振镜轴的运动,通过总线协议或者脉冲模式控制伺服轴运动。 使用ZMC420SCAN控制器的振镜轴接口连接激光振镜头,每个振镜轴接口内包含两路振镜通道信号,分别控制振镜片X、Y的偏转,从而控制了激光打到工件的位置。 4. 控制器PWM模拟量介绍 ZMC420SCAN的外部通用输出口0-11都具有PWM输出功能,PWM 输出受正常输出功能的控制,只有输出口状态ON的时候PWM才能实际输出,这样可以用来控制激光能量。 ZMC420SCAN控制器存在两路模拟量输入输出,可进行控制激光器能量输出,模拟量精度为12位。(DA采用了内部电源) 5.控制器基本信息 轴0-3为普通脉冲轴,振镜0为轴4、轴5控制振镜XY,振镜1为轴6、轴7控制XY。 二C++ 进行振镜+运动控制开发 1. 新建MFC项目并添加函数库 (1)在VS2015菜单“文件”→“新建”→ “项目”,启动创建项目向导。 (2)选择开发语言为“Visual C++”和程序类型“MFC应用程序”。 (3)点击下一步即可。 (4)选择类型为“基于对话框”,下一步或者完成。 (5)找到厂家提供的光盘资料,路径如下(64位库为例)。 A.进入厂商提供的光盘资料找到“8.PC函数”文件夹,并点击进入。 B.选择“函数库2.1”文件夹。 C.选择“Windows平台”文件夹。 D.根据需要选择对应的函数库这里选择64位库。 E.解压C++的压缩包,里面有C++对应的函数库。 F.函数库具体路径如下。 (6)将厂商提供的C++的库文件和相关头文件复制到新建的项目里面。 (7)在项目中添加静态库和相关头文件。 A.先右击项目文件,接着依次选择:“添加”→“现有项”。 B.在弹出的窗口中依次添加静态库和相关头文件。 (8)声明用到的头文件和定义控制器连接句柄。 至此项目新建完成,可进行MFC项目开发。 2.查看PC函数手册,熟悉相关函数接口 (1)PC函数手册也在光盘资料里面,具体路径如下:“光盘资料\8.PC函数\函数库2.1\ZMotion函数库编程手册 V2.1.pdf” (2)链接控制器,获取链接句柄。 ZAux_OpenEth()接口说明: (3)振镜运动接口。 为振镜运动单独封装了一个运动接口,使用movescanabs指令进行运动,采用FORCE_SPEED参数设置运动过程中的速度,运动过程中基本不存在加减速过程,支持us级别的时间控制。 3. MFC开发控制器双振镜运动例程 (1)例程界面如下。 (2) 链接按钮的事件处理函数中调用链接控制器的接口函数ZAux_OpenEth(),与控制器进行链接,链接成功后启动定时器1监控控制器状态。 //网口链接控制器void CSingle_move_Dlg::OnOpen(){char buffer[256]; int32 iresult;//如果已经链接,则先断开链接if(NULL != g_handle){ZAux_Close(g_handle);g_handle = NULL;}//从IP下拉框中选择获取IP地址GetDlgItemText(IDC_IPLIST,buffer,255);buffer[255] = '\0';//开始链接控制器iresult = ZAux_OpenEth(buffer, &g_handle);if(ERR_SUCCESS != iresult){g_handle = NULL;MessageBox(_T("链接失败"));SetWindowText("未链接");return;}//链接成功开启定时器1SetWindowText("已链接");SetTimer( 1, 100, NULL ); } (3)通过定时器监控控制器状态 。 void CSingle_move_Dlg::OnTimer(UINT_PTR nIDEvent) {// TODO: Add your message handler code here and/or call defaultif(NULL == g_handle){MessageBox(_T("链接断开"));return ;}if(1 == nIDEvent){CString string;float position = 0;ZAux_Direct_GetDpos( g_handle,m_nAxis,&position); //获取当前轴位置string.Format("振镜X1轴位置:%.2f", position );GetDlgItem( IDC_CURPOS )->SetWindowText( string );float NowSp = 0;ZAux_Direct_GetVpSpeed( g_handle,m_nAxis,&NowSp); //获取当前轴速度string.Format("振镜X1轴速度:%.2f", NowSp );GetDlgItem( IDC_CURSPEED)->SetWindowText( string );ZAux_Direct_GetDpos(g_handle, m_nAxis+1, &position); //获取当前轴位置string.Format("振镜Y1轴位置:%.2f", position);GetDlgItem(IDC_CURPOS2)->SetWindowText(string);ZAux_Direct_GetVpSpeed(g_handle, m_nAxis+1, &NowSp); //获取当前轴速度string.Format("振镜Y1轴速度:%.2f", NowSp);GetDlgItem(IDC_CURSPEED2)->SetWindowText(string);ZAux_Direct_GetDpos(g_handle, m_nAxis + 2, &position); //获取当前轴位置string.Format("振镜X2轴位置:%.2f", position);GetDlgItem(IDC_CURPOS3)->SetWindowText(string);NowSp = 0;ZAux_Direct_GetVpSpeed(g_handle, m_nAxis + 2, &NowSp); //获取当前轴速度string.Format("振镜X2轴速度:%.2f", NowSp);GetDlgItem(IDC_CURSPEED3)->SetWindowText(string);ZAux_Direct_GetDpos(g_handle, m_nAxis + 3, &position); //获取当前轴位置string.Format("振镜Y2轴位置:%.2f", position);GetDlgItem(IDC_CURPOS4)->SetWindowText(string);ZAux_Direct_GetVpSpeed(g_handle, m_nAxis + 3, &NowSp); //获取当前轴速度string.Format("振镜Y2轴速度:%.2f", NowSp);GetDlgItem(IDC_CURSPEED4)->SetWindowText(string);int status = 0; ZAux_Direct_GetIfIdle(g_handle, m_nAxis,&status); //判断当前轴状态if (status == -1){GetDlgItem( IDC_CURSTATE )->SetWindowText( "当前状态:停 止" );}else{GetDlgItem( IDC_CURSTATE )->SetWindowText( "当前状态:运动中" );} }CDialog::OnTimer(nIDEvent);} (4)通过启动按钮的事件处理函数获取编辑框的移动轨迹,并设置振镜轴参数操作振镜轴运动。 void CSingle_move_Dlg::OnStart() //启动运动{if(NULL == g_handle){MessageBox(_T("链接断开状态"));return ;}UpdateData(true);//刷新参数int status = 0; ZAux_Direct_GetIfIdle(g_handle, m_nAxis,&status); //判断当前轴状态 if (status == 0) //已经在运动中{ return;} //设定轴类型 1-脉冲轴类型 for (int i = 4; i < 8; i++){ZAux_Direct_SetAtype(g_handle, i, m_Atype);ZAux_Direct_SetMerge(g_handle,i,1);//设置脉冲当量ZAux_Direct_SetUnits(g_handle, i, m_units);//设定速度,加减速ZAux_Direct_SetLspeed(g_handle, i, m_lspeed);ZAux_Direct_SetSpeed(g_handle, i, m_speed);ZAux_Direct_SetForceSpeed(g_handle, i, m_speed);ZAux_Direct_SetAccel(g_handle, i, m_acc);ZAux_Direct_SetDecel(g_handle, i, m_dec);//设定S曲线时间 设置为0表示梯形加减速 ZAux_Direct_SetSramp(g_handle, i, m_sramp);}//使用MOVESCANABS运动int axislist[2] = { 4,5 };float dposlist[2] = { 0,0 };ZAux_MoveScanAbs(2, axislist, dposlist);CString str;GetDlgItem(IDC_EDIT_POSX1)->GetWindowText(str);float dbx = atof(str);GetDlgItem(IDC_EDIT_POSY1)->GetWindowText(str);float dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX2)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY2)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX3)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY3)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX4)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY4)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);//第二个振镜运动//使用MOVESCANABS运动axislist[0] = 6;axislist[1] = 7;dposlist[0] = 0;dposlist[1] = 0;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX5)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY5)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX6)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY6)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX7)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY7)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX8)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY8)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);UpdateData(false); } (5) 通过断开按钮的事件处理函数来断开与控制卡的连接。 void CSingle_move_Dlg::OnClose() //断开链接{// TODO: Add your control notification handler code hereif(NULL != g_handle){KillTimer(1); //关定时器KillTimer(2);ZAux_Close(g_handle);g_handle = NULL;SetWindowText("未链接");} } (6)通过坐标清零按钮的事件处理函数移动振镜轴回零到中心零点位置,不直接使用dpos=0,修改振镜轴坐标。 void CSingle_move_Dlg::OnZero() //清零坐标{if(NULL == g_handle){MessageBox(_T("链接断开状态"));return ;}// TODO: Add your control notification handler code hereint axislist[2] = { 4,5 };float dposlist[2] = { 0 };ZAux_Direct_MoveAbs(g_handle,2,axislist,dposlist); //设置运动回零点} 三调试与监控 编译运行例程,同时通过ZDevelop软件连接控制器对控制器状态进行监控 。 ZDevelop软件连接控制器监控控制器的状态,查看振镜轴对应参数,并可搭配示波器检测双振镜轨迹。 设置振镜轴运动,首先需要将轴类型配置成21振镜轴类型,并对应配置振镜轴的速度加减速等参数才可操作振镜进行运动。 通过ZDevelop软件的示波器监控双振镜运动运行轨迹。 视频演示。 开放式激光振镜+运动控制器(六)-双振镜运动 本次,正运动技术开放式激光振镜+运动控制器(六):双振镜运动,就分享到这里。 更多精彩内容请关注“正运动小助手”公众号,需要相关开发环境与例程代码,请咨询正运动技术销售工程师:400-089-8936。 本文由正运动技术原创,欢迎大家转载,共同学习,一起提高中国智能制造水平。文章版权归正运动技术所有,如有转载请注明文章来源。 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_57350300/article/details/123402200。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-12-04 17:33:09
340
转载
转载文章
...下内容: 近期,随着数据隐私和网络安全问题日益突出,开源项目如Pi-hole的受欢迎程度正逐步提升。据《连线》杂志最近的一篇报道(2023年5月),在全球范围内,越来越多的家庭用户、小型企业和教育机构开始采用Pi-hole来保护他们的网络环境,对抗广告追踪、恶意软件和网络钓鱼等威胁。 同时,Raspberry Pi基金会发布了最新的硬件版本,为用户提供更强性能和更多功能选择,这也进一步拓宽了Pi-hole和其他安全相关项目的实施空间。例如,《 Ars Technica》在一篇深度技术分析中探讨了如何利用最新款的Raspberry Pi构建更为高效且强大的本地防火墙系统,并与Pi-hole结合,实现全方位的家庭网络安全防护。 此外,开源社区围绕Pi-hole开发了许多增强功能和插件,以适应不断变化的网络环境。TechCrunch发表的一篇文章介绍了几个重要的Pi-hole拓展工具,它们能够帮助用户更精细地管理网络流量,优化家庭网络体验,同时确保个人隐私不受侵犯。 总之,在数字化生活越发普及的今天,深入了解和运用像Pi-hole这样的开源解决方案,不仅能有效提升网络安全性,也是对个人隐私保护意识的重要体现。通过持续关注相关的技术发展和实践案例,我们可以更好地应对未来的网络挑战。
2023-08-12 20:49:59
62
转载
转载文章
...的,比如JAVA、大数据、算法等,下图从BOSS上截取的: 蚂蚁金服不在望京,在环球金融中心。 美团 美团是望京第二大互联网公司,技术氛围浓厚。事业部很多,包括酒店事业部、闪购、美团金融、优选事业部、美团买菜等。 美团的福利常常被叫做白开水福利,不过比普通公司还是要好一些,六险一金、15薪、餐补、下午茶等。 面试比阿里容易一些,不过算法和八股文也是必须要准备的。 常年招聘,岗位很多,下面岗位来自BOSS: Lazada 东南亚头部电商,而且业务还囊括了娱乐、金融和物流,业务主要服务于东南亚。工作地点在朝阳区阿里中心。 福利待遇包括六险一金、年终奖、股权、餐补交通补等。 主要招聘岗位包括java开发、游戏开发、前端、UI等。 bilibili bilibili也是非常不错的一家互联网公司,总部在上海,北京的工作地点在朝阳区东煌大厦10层。截至2021年第一季度,B站月活用户达2.23亿 福利待遇比较完备,包括六险一金、餐补、全勤奖、下午茶、股权等。 招聘岗位包括游戏服务端开发、java开发、C++开发、TA、linux内核开发等。从招聘岗位来看,java 开发并不是bilibili的热门岗位。 每日优鲜 每日优鲜近几年的发展是非常快速的,也是一家非常值得加入的公司。工作地点在万科时代中心。 工作强度比较大,工作内容也比较有挑战,晋升也比较快。建议想在技术上成长的朋友们加入。 福利待遇包括六险一金,股票期权。 招聘岗位以java为主,架构、资深、中高级都有。 BIGO BIGO主要业务在音视频领域,主要产品有Bigo Live、Likee、Hello,目前全球月活用户近4亿,产品和服务覆盖超过150个国家和地区。 福利待遇也是非常不错的,六险一金、年终奖、住房补贴、股票期权等。 主要招聘岗位包括JAVA、音视频领域后端开发。 coupang 韩国电商平台,总部在首尔,成立于2010年,是一家成熟的老牌公司,在2021年3月上市。目前国内研发团队主要在上海,在北京也有研发团队。工作地点在颐堤港。 coupang工作强度不大,不加班不内卷。福利待遇也是很不错的,包括六险一金、餐补、补充公积金、节日福利等。 招聘岗位主要包括JAVA、IOS、搜索工程师、全栈工程师等。 面试难度比较大,前后包括五轮以上面试,第一轮是电话面试,后面线程面试会有手写代码环节。 水滴公司 水滴这两年发展很快,工作地点在望京科技园。 福利待遇方面,属于互联公司中等偏上的水平,包括六险一金、补充公积金、免费健身房等。 招聘岗位JAVA居多,各种级别的都有,还有一些中间件的岗位。 据面试过水滴的求职者反馈,面试很难,对基础要求高,可能会问一些平时不太关注的非常细的问题。 keep 爱运动的小伙伴相信都熟悉keep这款软件,目前keep的用户量已经破3亿。工作地点在万科时代中心。 薪资待遇行业中等,不过该有的服务也基本都有,包括六险一金、年终奖、股权等。 招聘岗位以java为主,各种级别都有。 雪球 国内知名的投资交流平台,2020年底完成1.2亿美元 E 轮融资,发展潜力巨大。工作地点在融新科技中心。 福利待遇在行业内属于中等水平,包括六险一金、年终奖、餐补、零食下午茶等。 招聘岗位以java为主,还有搜索研发、全栈开发等。 陌陌 陌生人社交平台,深受年轻人喜爱,18年陌陌全资收购了探探,规模进一步扩大,目前月活用户在1亿+,出海业务也做的非常好。 福利待遇属于行业中等偏上,互联网有的福利基本都有,包括六险一金、年终奖等。 招聘岗位很多,包括java、中间件、推荐算法、自然语言处理、安全、游戏开发、IOS等。 面试难度中等,会有手写sql、算法、linux命令的环节。 松果出行 松果出行主要业务是构建国内县域城市交通出行网络,目前主要是共享电单车和共享新能源汽车服务。目前业务已经覆盖全国21个省,5000个县。 福利待遇属于行业中等,五险一金、年终奖等,没有补充医疗保险。 招聘岗位很多,以JAVA为主,各种级别都有。也有物联网、传感器硬件相关的岗位。 小桔科技 目前研发团队主要做推荐、搜索系统,注册地在大连。 福利待遇行业中等,五险一金、年终奖,没有补充医疗保险。 招聘岗位包括JAVA、PHP、搜索算法、前端、数仓等。 理想汽车 智能电动车品牌,这两年在行业内名气比较大。 福利待遇行业中等偏上,六险一金、交通补贴等。 招聘岗位很多,以JAVA为主,各种级别都有。另外也招聘PaaS平台研发、搜索、车载语音、大数据等。 参加过理想汽车面试的同学反馈面试体验不太好,面试官没有耐心,给大家一个参考。 狮桥 智慧物流+普惠金融融资租赁业务。 福利待遇中等偏下,五险一金、年终奖,没有补充医疗保险。 招聘岗位主要是JAVA开发。 领创集团 海外金融业务,主要做印度市场。 福利待遇中等偏下,六险一金,年终奖,工作节奏慢。 招聘岗位主要是JAVA,招聘岗位主要是java。 面试过的同学反馈体验比较好,面试官比较nice,有手写代码环节。 总结 今天主要推荐了望京的16家值得加入的互联网公司,事实上,望京区域的互联网公司和其他科技公司至少有几百家,由于个人精力有限,主要梳理了业界比较知名和自己熟悉的公司。相信还有好多非常不错的公司值得加入,欢迎大家跟我交流讨论。 欢迎关注个人公众号,一起学习进步 本篇文章为转载内容。原文链接:https://blog.csdn.net/zjj2006/article/details/121412370。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-01-11 22:59:19
531
转载
NodeJS
...这一领域的领头羊,其影响力不断扩大,尤其是在Node.js社区中,越来越多的开发者开始采用Docker来简化开发、测试和部署流程。近期,一项关于全球开发者技术趋势的调查显示,超过60%的受访者表示他们在过去一年中使用过Docker进行项目管理,其中Node.js开发者占比尤为突出。这种趋势表明,容器化技术正在深刻改变软件开发的方式。 与此同时,Docker公司最近宣布了一项新的开源计划,旨在推动容器技术的标准化和安全性。这一计划名为“Open Container Initiative”(OCI),旨在制定一套通用的标准,使得不同厂商的容器技术能够更好地协同工作。这对于Node.js开发者而言是一个重要的利好消息,因为这意味着未来的Docker镜像将更加兼容,开发者可以更轻松地在不同平台上迁移和共享他们的应用。 此外,随着Kubernetes的兴起,容器编排工具逐渐成为主流。Kubernetes不仅支持Docker容器,还提供了强大的自动化管理能力,使得大规模部署Node.js应用变得更加高效。例如,某知名电商公司在去年成功将其电商平台迁移到基于Kubernetes的Docker容器集群上,不仅提升了系统的稳定性和扩展性,还显著降低了运维成本。 从长远来看,容器化技术将继续推动DevOps文化的普及,促进开发人员和运维团队之间的协作。正如Linux之父Linus Torvalds所说:“开源的本质在于合作而非竞争。”通过拥抱开源技术和社区的力量,开发者可以更快地创新并解决实际问题。对于Node.js开发者而言,掌握Docker和Kubernetes等工具,不仅是技术上的提升,更是职业发展的必要条件。在未来几年,我们有理由相信,容器化技术将在更多领域展现出其独特的价值,为软件行业带来更多的可能性。
2025-05-03 16:15:16
45
海阔天空
转载文章
...有了更灵活的方法,更系统的介绍,更详细的讲解。每一个知识点都深入到位,完全解开了C的面纱……如果想学好C,成为真正的C程序员,这本书就非看不可。 三、Python编程从入门到实践 《Python编程从入门到实践》书如其名,本书简明清晰地讲解了入门Python所需学习的基本知识,同时在讲解过程中穿插实战演练,使读者对Python有更加深刻的理解,是一本入门Python的难得好书,推荐给大家学习。 我想说,Python是否值得学,已经不再是值得怀疑的问题了。但是,如何能高效学会Python,永远是个值得思考的重要问题。这个问题的答案,是绕不开本书的。 四、Java编程思想 《Java编程思想(第4版)》赢得了全球程序员的广泛赞誉,即使是最晦涩的概念,在Bruce Eckel的文字亲和力和小而直接的编程示例面前也会化解于无形。从Java的基础语法到最高级特性(深入的面向对象概念、多线程、自动项目构建、单元测试和调试等),《Java编程思想(第4版)》都能逐步指导你轻松掌握。从java编程思想这本书获得的各项大奖以及来自世界各地的读者评论中,不难看出这是一本经典之作。 五、算法导论 《算法导论》提供了对当代计算机算法研究的一个全面、综合性的介绍。全书共八部分,内容涵盖基础知识、排序和顺序统计量、数据结构、高级设计和分析技术、高级数据结构、图算法、算法问题选编,以及数学基础知识。书中深入浅出地介绍了大量的算法及相关的数据结构,以及用于解决一些复杂计算问题的高级策略(如动态规划、贪心算法、摊还分析等),重点在于算法的分析与设计。对于每一个专题,作者都试图提供目前最新的研究成果及样例解答,并通过清晰的图示来说明算法的执行过程。 六、深入理解计算机系统 《深入理解计算机系统》是将计算机软件和硬件理论结合讲述的经典教程,内容覆盖计算机导论、体系结构和处理器设计等多门课程。本书的大优点是为程序员描述计算机系统的实现细节,通过描述程序是如何映射到系统上,以及程序是如何执行的,使读者更好地理解程序的行为为什么是这样的,以及造成效率低下的原因。 七、鸟哥的Linux私房菜 《鸟哥的Linux私房菜基础学习篇》全面而详细地介绍了Linux操作系统。着重说明计算机的基础知识、Linux的学习方法,如何规划和安装Linux主机以及CentOS 7.x的安装、登录与求助方法;介绍Linux的文件系统、文件、目录与磁盘的管理;文字模式接口shell和管理系统的好帮手shell脚本,另外还介绍了文字编辑器vi和vim的使用方法;对于系统安全非常重要的Linux账号的管理、磁盘配额、高级文件系统管理、计划任务以及进程管理,系统管理员(root)的管理事项。 本书内容丰富全面,基本概念的讲解非常细致,深入浅出。各种功能和命令的介绍,都配以大量的实例操作和详尽的解析。本书是初学者学习Linux不可多得的一本入门好书。 八、计算机网络自顶向下方法 《计算机网络自顶向下方法》是经典的计算机网络教材,采用作者独创的自顶向下方法来讲授计算机网络的原理及其协议,自第1版出版以来已经被数百所大学和学院选作教材,被译为14种语言。 新版保持了以前版本的特色,继续关注因特网和计算机网络的现代处理方式,注重原理和实践,为计算机网络教学提供一种新颖和与时俱进的方法。同时,第7版进行了相当多的修订和更新,首次改变了各章的组织结构,将网络层分成两章(第4章关注网络层的数据平面,第5章关注网络层的控制平面) 九、MySQL是怎样运行的 《MySQL是怎样运行的》采用诙谐幽默、通俗易懂的写作风格,针对上面这些问题给出了相应的解答方案。尽管本书的表达方式与司空见惯的学术派、理论派IT图书有显著区别,但本书的确是相当正经的专业技术图书,内容涵盖了使用MySQL的同学在求职面试和工作中常见的一些核心概念。无论是身居MySQL专家身份的技术人员,还是技术有待进一步提升的DBA,甚至是刚投身于数据库行业的“萌新”人员,本书都是他们彻底了解MySQL运行原理的优秀图书。 十、编程珠玑 本篇文章为转载内容。原文链接:https://blog.csdn.net/m0_65485112/article/details/122007938。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-12-11 11:49:14
121
转载
转载文章
...查。 2020年监测数据显示,新生代农民工占比达到50.1%,男性占比高于女性。新生代农民工中男性占比为66.3%,比上年提高4.6个百分点;男性占比高于女性32.5个百分点,比上年提高9.1个百分点。 就业集中于劳动密集型行业,从事信息传输、软件和信息技术服务业的新生代农民工占比大幅提高。 2020年就业人数前五位的行业依次为居民服务、修理和其他服务业,制造业,建筑业,批发和零售业,住宿和餐饮业,共吸纳67.2%的新生代农民工就业。 2020年北京市外来新生代农民工监测报告 为了进一步做好农民工服务工作,了解外来农民工在京工作、生活需要,国家统计局北京调查总队在全市范围开展了农民工市民化进程动态监测调查,2020年监测数据显示,新生代农民工(出生于20世纪80年代以后,年龄在16周岁及以上,在异地以非农就业为主的农业户籍人口)占比达到50.1%,已经成为农民工的主体。 一、新生代农民工总体特征 男性占比高于女性,差距进一步加大。新生代农民工中男性占比为66.3%,比上年提高4.6个百分点;男性占比高于女性32.5个百分点,比上年提高9.1个百分点。 31-40岁农民工占比提高。新生代农民工平均年龄31.4岁,比上年增加0.4岁。其中,31-40岁的占比为57.9%,比上年提高3.2个百分点;21-30岁的占比为39.9%,16-20岁的占比为2.2%,分别比上年下降2.6个和0.6个百分点。 大学本科以上学历新生代农民工占比增加。新生代农民工中大学本科以上学历占比为21.2%,比上年提高7.9个百分点。其中,大学本科学历的占比为20.0%,研究生学历的占比为1.2%。 外来新生代农民工主要来自北京周边地区。其中,河北、河南两省占比最大,河北省占比为37.3%,比上年同期提高3.5个百分点,河南省占比为12.3%,比上年同期下降3.3个百分点。 二、新生代农民工就业情况 (一)就业集中于劳动密集型行业,从事信息传输、软件和信息技术服务业的新生代农民工占比大幅提高 调查样本中,2020年就业人数前五位的行业与上年一致,依次为居民服务、修理和其他服务业,制造业,建筑业,批发和零售业,住宿和餐饮业,共吸纳67.2%的新生代农民工就业。 除上述五大行业外,从事信息传输、软件和信息技术服务业的新生代农民工比例为7.9%,比上年提高3.7个百分点,在所有行业中增幅最大。 (二)收入水平整体提高,内部差距拉大 调查样本中,新生代农民工月均收入6214元,比上年增加364元,增长6.2%。其中,66.5%月均收入在5000元及以上,比上年高8.6个百分点。 1.不同行业差距较大 新生代农民工从业人数最多的七个行业按照收入水平排序依次为:信息传输、软件和信息技术服务业,建筑业,交通运输、 仓储和邮政业,制造业,批发零售业,住宿和餐饮业,居民服务、修理和其他服务业。月均收入分别为10571元、6587元、6489元、6017元、5888元、5668元和5195元。其中,收入最高的信息传输、软件和信息技术服务业从业人员月均收入比上年同期增长15.5%;从业人数最多、收入最低的居民服务、修理和其他服务业从业人员月均收入比上年同期降低2.6%。 2.不同收入段间收入差距加大 高收入段人员收入增速高于中低收入段。月均收入5000元及以上人员平均月收入为7507元,比上年同期提高2.8个百分点;月均收入4000-5000元人员平均月收入为4175元,比上年同期降低3.4个百分点;月均收入4000元以下人员平均月收入为3064元,比上年同期提高1.1个百分点。 (三)自营人员收入高,工作强度大 自营就业的新生代农民工月均收入6716元,比务工就业人员高568元;自营就业的新生代农民工平均每周工作6.5天,每天工作9.5小时,分别比务工就业人员多0.9天和0.7小时。 三、新生代农民工生活情况 (一)消费支出下降,吃穿住消费占新生代农民工总消费支出的7成以上 受疫情影响,未来收入的不确定性增加,新生代农民工户均消费支出降低。2020年,新生代农民工家庭户均生活消费支出42395元,比上年减少1833元,下降4.1%。 按照金额排序,新生代农民工消费支出排在前三位的依次为:食品烟酒、居住、衣着及其他日用品和服务,分别为14032元、10861元和5141元,前三位消费支出占总消费支出的70.8%。 (二)居住性质略有改变,居住满意度小幅提升 租赁私房人员占比减少,单位提供住房比例提升。从住房性质来看,新生代农民工主要以租赁私房为主,租赁私房的占60.5%,比上年同期降低3.2个百分点;单位提供住房的占33.1%,比上年同期提高4.7个百分点。 单位提供住房,居住消费支出减少,新生代农民工对现在居住条件表示满意的占66.5%,比上年提高3.0个百分点,其中,表示非常满意的占18.6%,比较满意的占47.9%。 (三)网络依赖增加,自我提升类活动减少 上网已经成为新生代农民工业余时间的主要休闲活动。新生代农民工业余时间的主要活动排在前三位的依次是:上网、休息和朋友聚会,其中上网占60.1%,比上年同期提高4.7个百分点。 自我提升类活动减少。业余时间参加学习培训、读书看报的新生代农民工占比分别为3.8%和7.6%,比上年同期分别下降2.5个和1.3个百分点。 四、“90后”农民工工作和生活特点 (一)“90后”农民工工作特点 1.“90后”农民工从事行业略有不同 “90后”农民工喜好略有不同,就业人数最多的七个行业依次为:制造业,建筑业,居民服务、修理和其他服务业,信息传输、软件和信息技术服务业,住宿和餐饮业,文化和娱乐服务业,批发和零售业。与新生代农民工群体差距最大的两个行业是信息传输、软件和信息技术服务业,批发和零售业,其中,从事信息传输、软件和信息技术服务业的占11.6%,比新生代农民工群体高3.7个百分点;从事批发和零售业的占5.8%,比新生代农民工群体低6.3个百分点。 2.“90后”农民工收入略高 调查样本中,“90后”农民工月均收入6424元,比新生代农民工群体平均水平高210元。其中,月均收入在5000元及以上的占68.4%,比新生代农民工群体高1.9个百分点。 3.自营人员占比较低 由于年纪尚轻,积累不够,“90后”农民工中的96.3%以受雇就业为主,自营就业人员仅占3.7%,低于新生代农民工群体7.9个百分点。 (二)“90后”农民工生活特点 1.消费支出略低,更偏重于衣着及教育文化娱乐方面 “90后”农民工家庭户均生活消费支出42009元,比新生代农民工群体低386元。其中,衣着及其他日常用品和服务、教育文化娱乐支出占总消费支出的比重分别为14.0%和5.9%,分别比新生代农民工群体高1.9个和1.0个百分点;居住和交通通信费支出占总消费支出的比重分别为23.9%和9.2%,分别比新生代农民工群体低1.8个和1.0个百分点。 2.业余生活更注重休息和自我提升 “90后”农民工业余时间的主要活动排在前三位的依旧是上网、休息和朋友聚会,但与整个新生代农民工群体不同的是,“90后”农民工更注重休息和自我提升,其中,业余时间休息的占34.5%,比新生代农民工群体高5.6个百分点;业余时间参加文娱体育活动、学习培训和读书看报的占27.5%,分别比新生代农民工群体、全部外来农民工整体高5.7个和11.8个百分点。 新生代农民工定义:出生于20世纪80年代以后,年龄在16周岁及以上,在异地以非农就业为主的农业户籍人口 推荐阅读: 世界的真实格局分析,地球人类社会底层运行原理 不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT) 企业IT技术架构规划方案 论数字化转型——转什么,如何转? 华为干部与人才发展手册(附PPT) 企业10大管理流程图,数字化转型从业者必备! 【中台实践】华为大数据中台架构分享.pdf 华为的数字化转型方法论 华为如何实施数字化转型(附PPT) 超详细280页Docker实战文档!开放下载 华为大数据解决方案(PPT) 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_45727359/article/details/119745674。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-06-28 17:16:54
63
转载
转载文章
...学生在Windows系统下配置MPICH进行并行编程的经验后,我们可以进一步探索当前并行计算技术的发展趋势以及MPI(Message Passing Interface)在现代高性能计算领域中的应用现状。 近年来,随着大数据和人工智能等领域的飞速发展,对计算能力的需求日益增长,MPI作为并行计算的重要通信接口标准,在解决大规模科学计算、机器学习等问题上发挥着关键作用。最新版本的MPICH已支持更多的优化策略和特性,如更好的多核CPU利用、对GPU加速计算的支持以及更高效的网络传输协议,以适应不断变化的高性能计算环境需求。 同时,微软Azure云平台和AWS Amazon EC2等云服务提供商也相继推出了预装MPI的高性能计算实例,用户无需在本地搭建复杂环境,即可直接在云端进行MPI并行程序开发与测试,极大地降低了使用门槛,促进了并行计算技术的普及与应用。 另外,随着跨平台开发需求的增长,开源社区也在积极推动MPICH在Linux、macOS等其他操作系统上的兼容性和性能优化。例如,Microsoft Research团队合作推出的Open MPI项目,旨在提供一个高度可扩展且跨平台的MPI实现,为开发者提供更多选择和灵活性。 此外,对于希望深入了解MPI编程原理及其实战技巧的读者,可以参考《Using MPI - 3rd Edition》这本书,作者详细解析了MPI的各种函数用法,并提供了大量实例代码,是MPI编程入门到精通的绝佳教程资源。 综上所述,无论是从MPI技术的最新进展、云计算环境下的并行计算解决方案,还是深入学习MPI编程的专业书籍推荐,都为那些想要在并行计算领域持续探索和实践的读者提供了丰富的延伸阅读内容。
2023-04-09 11:52:38
114
转载
转载文章
在构建和配置深度操作系统(deepin)的开发与日常使用环境过程中,除了上述详细步骤外,了解相关领域的最新动态和技术趋势也至关重要。例如,在Node.js社区中,Node.js 16.x已成为最新的LTS版本,提供了更多性能优化和新特性支持,开发者可以通过官方文档快速掌握升级方法并充分利用新版本优势(参考来源:Node.js官方网站)。同时,MySQL数据库也在不断迭代更新,MySQL 8.0带来了诸如窗口函数、Caching_sha2_password等安全性和功能性的重大改进,对于提升项目的数据处理效率和安全性具有重要意义(参考来源:MySQL官网博客)。 在云服务和镜像源方面,阿里云、腾讯云等国内服务商也推出了针对deepin系统的加速镜像源服务,用户可根据自身网络状况选择合适的镜像源以提高软件安装和更新的速度(参考来源:阿里云、腾讯云官方文档)。此外,随着Web开发技术的发展,Vue.js、React等前端框架持续火爆,配合Webpack、Vite等现代构建工具,可以更高效地搭建和维护前端项目结构(参考来源:Vue.js、React官网及技术社区文章)。 在办公领域,WPS Office不仅实现了对Linux系统的全面支持,还不断优化跨平台兼容性,并且积极跟进Microsoft Office的新功能,使得国产办公软件在用户体验上逐渐与国际接轨(参考来源:WPS官方公告及媒体报道)。而在浏览器市场,除了Edge浏览器之外,Firefox、Chromium-based浏览器如Chrome和Opera同样提供Linux版,它们之间的性能对比、隐私保护策略以及对Web新技术的支持情况值得深入研究(参考来源:各大浏览器官网及第三方评测报告)。 总之,随着开源生态的繁荣和Linux发行版的普及,关注和掌握deepin系统及其周边软件的最新发展动态,将有助于我们更好地利用这一平台进行高效开发和舒适办公。
2023-11-15 19:14:44
55
转载
转载文章
...d stub//进行数据校验,长度6~15位 if(username.trim().length()<6||username.trim().length()>15||username==null) {this.addFieldError("username", "用户名长度不合法!");}if(password.trim().length()<6||password.trim().length()>15||password==null) {this.addFieldError("password", "密码长度不合法!");} }//登陆业务逻辑public String loginMethod() {if(username.equals("chenghaoran")&&password.equals("12345678")) {ActionContext.getContext().getSession().put("user", username);return "loginOK";}else {this.addFieldError("err","用户名或密码不正确!");return "loginFail";} }//手动校验validateXxxpublic void validateLoginMethod() {//使用正则校验if(username==null||username.trim().equals("")) {this.addFieldError("username","用户名不能为空!");}else {if(!Pattern.matches("[a-zA-Z]{6,15}", username.trim())) {this.addFieldError("username", "用户名格式错误!");} }if(password==null||password.trim().equals("")) {this.addFieldError("password","密码不能为空!");}else {if(!Pattern.matches("\\d{6,15}", password.trim())) {this.addFieldError("password", "密码格式错误!");} }} } /20171105_shiyan_upanddown/src/nuc/sw/interceptor/LoginInterceptor.java package nuc.sw.interceptor;import com.opensymphony.xwork2.Action;import com.opensymphony.xwork2.ActionContext;import com.opensymphony.xwork2.ActionInvocation;import com.opensymphony.xwork2.ActionSupport;import com.opensymphony.xwork2.interceptor.AbstractInterceptor;public class LoginInterceptor extends AbstractInterceptor {@Overridepublic String intercept(ActionInvocation arg0) throws Exception {// TODO Auto-generated method stub//判断是否登陆,通过ActionContext访问SessionActionContext ac=arg0.getInvocationContext();String username=(String)ac.getSession().get("user");if(username!=null&&username.equals("chenghaoran")) {return arg0.invoke();//放行}else {((ActionSupport)arg0.getAction()).addActionError("请先登录!");return Action.LOGIN;} }} /20171105_shiyan_upanddown/src/struts.xml <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.1.7//EN""http://struts.apache.org/dtds/struts-2.1.7.dtd"><struts><constant name="struts.i18n.encoding" value="utf-8"/><package name="default" extends="struts-default"><interceptors><interceptor name="login" class="nuc.sw.interceptor.LoginInterceptor"></interceptor></interceptors> <action name="docUpload" class="nuc.sw.action.DocUploadAction"><!-- 使用fileUpload拦截器 --><interceptor-ref name="fileUpload"><!-- 指定允许上传的文件大小最大为50000字节 --><param name="maximumSize">50000</param></interceptor-ref><!-- 配置默认系统拦截器栈 --><interceptor-ref name="defaultStack"/><!-- param子元素配置了DocUploadAction类中savePath属性值为/upload --><param name="savePath">/upload</param><result>/showFile.jsp</result><!-- 指定input逻辑视图,即不符合上传要求,被fileUpload拦截器拦截后,返回的视图页面 --><result name="input">/uploadFile.jsp</result></action> <action name="docDownload" class="nuc.sw.action.DocDownloadAction"><!-- 指定结果类型为stream --><result type="stream"><!-- 指定下载文件的文件类型 text/plain表示纯文本 --><param name="contentType">application/msword,text/plain</param><!-- 指定下载文件的入口输入流 --><param name="inputName">inputStream</param><!-- 指定下载文件的处理方式与文件保存名 attachment表示以附件形式下载,也可以用inline表示内联即在浏览器中直接显示,默认值为inline --><param name="contentDisposition">attachment;filename="${downloadFileName}"</param><!-- 指定下载文件的缓冲区大小,默认为1024 --><param name="bufferSize">40960</param></result></action><action name="loginAction" class="nuc.sw.action.LoginAction" method="loginMethod"><result name="loginOK">/uploadFile.jsp</result><result name="loginFail">/login.jsp</result><result name="input">/login.jsp</result></action> </package></struts> /20171105_shiyan_upanddown/WebContent/login.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>登录页</title><s:head/></head><body><s:actionerror/><s:fielderror fieldName="err"></s:fielderror><s:form action="loginAction" method="post"> <s:textfield label="用户名" name="username"></s:textfield><s:password label="密码" name="password"></s:password><s:submit value="登陆"></s:submit></s:form></body></html> /20171105_shiyan_upanddown/WebContent/showFile.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>显示上传文档</title></head><body><center><font style="font-size:18px;color:red">上传者:<s:property value="name"/></font><table width="45%" cellpadding="0" cellspacing="0" border="1"><tr><th>文件名称</th><th>上传者</th><th>上传时间</th></tr><s:iterator value="uploadFileName" status="st" var="doc"><tr><td align="center"><a href="docDownload.action?downPath=upload/<s:property value="doc"/>"><s:property value="doc"/> </a></td><td align="center"><s:property value="name"/></td><td align="center"><s:date name="createTime" format="yyyy-MM-dd HH:mm:ss"/></td></tr></s:iterator></table></center></body></html> /20171105_shiyan_upanddown/WebContent/uploadFile.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>多文件上传</title></head><body><center><s:form action="docUpload" method="post" enctype="multipart/form-data"><s:textfield name="name" label="姓名" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:submit value="确认上传" align="center"/></s:form></center></body></html> 本篇文章为转载内容。原文链接:https://blog.csdn.net/qq_34101492/article/details/78811741。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-11-12 20:53:42
142
转载
Mahout
...eaming:实时流数据分析 1. 引言 在数据爆炸的时代,实时流数据分析成为了解决海量数据处理的关键技术之一。哎呀,你听说过Mahout这个玩意儿没?这家伙可是个开源的机器学习宝库,专治大数据这事儿。它那分发式计算的能力啊,就像魔法一样,能让你的数据处理起来轻松又高效。用Mahout做分析,就像是给一堆乱糟糟的数据整了套华丽丽的整理术,让它们变得井井有条,还能从中找出各种有价值的信息和模式。这玩意儿一出手,数据处理界的难题就被它玩转得飞起,简直是个大数据时代的超级英雄呢!而Apache Spark Streaming,则是为实时数据流提供高性能处理的框架。哎呀,兄弟!把这两样技术给整到一块儿用,那效果简直不要太棒!不仅能快速消化那些源源不断的数据洪流,还能帮咱们做出超明智的决定,简直就是开挂的存在嘛!本文旨在探索Mahout与Spark Streaming如何协同工作,为实时流数据分析提供强大的解决方案。 2. Mahout概述 Mahout是一个基于Hadoop的机器学习库,旨在利用分布式计算资源来加速大规模数据集上的算法执行。哎呀,这个家伙可真厉害!它能用上各种各样的机器学习魔法,比如说分门别类的技巧(就是咱们说的分类)、把相似的东西归到一块儿的本事(聚类)还有能给咱们推荐超棒东西的神奇技能(推荐系统)。而且,它最擅长的就是对付那些海量的数据,就像大鱼吃小鱼一样,毫不费力就能搞定!通过Mahout,我们可以构建复杂的模型来挖掘数据中的模式和关系,从而驱动业务决策。 3. Spark Streaming简介 Apache Spark Streaming是Spark生态系统的一部分,专为实时数据流处理设计。哎呀,这个玩意儿简直就是程序员们的超级神器!它能让咱这些码农兄弟们轻松搞定那些超快速、高效率的实时应用,你懂的,就是那种分秒必争、数据飞速流转的那种。想象一下,一秒钟能处理几千条数据,那感觉简直不要太爽啊!就像是在玩转数据的魔法世界,每一次点击都是对速度与精准的极致追求。这不就是我们程序员的梦想吗?在数据的海洋里自由翱翔,每一刻都在创造奇迹!Spark Streaming的精髓就像个魔术师,能把连续不断的水流(数据流)变换成小段的小溪(微批次)。这小溪再通过Spark这个强大的分布式计算平台,就像是在魔法森林里跑的水车,一边转一边把水(数据)处理得干干净净。这样一来,咱们就能在实时中捕捉到信息的脉动,做出快速反应,既高效又灵活! 4. Mahout与Spark Streaming的集成 为了将Mahout的机器学习能力与Spark Streaming的实时处理能力结合起来,我们需要创建一个流水线,使得Mahout可以在实时数据流上执行分析任务。这可以通过以下步骤实现: - 数据接入:首先,我们需要将实时数据流接入Spark Streaming。这可以通过定义一个DStream(Data Stream)对象来完成,该对象代表了数据流的抽象表示。 scala import org.apache.spark.streaming._ import org.apache.spark.streaming.dstream._ val sparkConf = new SparkConf().setAppName("RealtimeMahoutAnalysis").setMaster("local[2]") val sc = new SparkContext(sparkConf) valssc = new StreamingContext(sc, Seconds(1)) // 创建StreamingContext,时间间隔为1秒 val inputStream = TextFileStream("/path/to/your/data") // 假设数据来自文件系统 val dstream = inputStream foreachRDD { rdd => rdd.map { line => val fields = line.split(",") (fields(0), fields.slice(1, fields.length)) } } - Mahout模型训练:然后,我们可以使用Mahout中的算法对数据进行预处理和建模。例如,假设我们想要进行用户行为的聚类分析,可以使用Mahout的KMeans算法。 scala import org.apache.mahout.cf.taste.hadoop.recommender.KNNRecommender import org.apache.mahout.cf.taste.impl.model.file.FileDataModel import org.apache.mahout.cf.taste.impl.neighborhood.ThresholdUserNeighborhood import org.apache.mahout.cf.taste.impl.recommender.GenericUserBasedRecommender import org.apache.mahout.cf.taste.impl.similarity.PearsonCorrelationSimilarity import org.apache.mahout.math.RandomAccessSparseVector import org.apache.hadoop.conf.Configuration val dataModel = new FileDataModel(new File("/path/to/your/data.csv")) val neighborhood = new ThresholdUserNeighborhood(0.5, dataModel, new Configuration()) val similarity = new PearsonCorrelationSimilarity(dataModel) val recommender = new GenericUserBasedRecommender(dataModel, neighborhood, similarity) val recommendations = dstream.map { (user, ratings) => val userVector = new RandomAccessSparseVector(ratings.size()) for ((itemId, rating) <- ratings) { userVector.setField(itemId.toInt, rating.toDouble) } val recommendation = recommender.recommend(user, userVector) (user, recommendation.map { (itemId, score) => (itemId, score) }) } - 结果输出:最后,我们可以将生成的推荐结果输出到合适的目标位置,如日志文件或数据库,以便后续分析和应用。 scala recommendations.foreachRDD { rdd => rdd.saveAsTextFile("/path/to/output") } 5. 总结与展望 通过将Mahout与Spark Streaming集成,我们能够构建一个强大的实时流数据分析平台,不仅能够实时处理大量数据,还能利用Mahout的高级机器学习功能进行深入分析。哎呀,这个融合啊,就像是给数据分析插上了翅膀,能即刻飞到你眼前,又准确得不得了!这样一来,咱们做决定的时候,心里那根弦就更紧了,因为有它在身后撑腰,决策那可是又稳又准,妥妥的!哎呀,随着科技车轮滚滚向前,咱们的Mahout和Spark Streaming这对好搭档,未来肯定会越来越默契,联手为我们做决策时,用上实时数据这个大宝贝,提供更牛逼哄哄的武器和方法!想象一下,就像你用一把锋利的剑,能更快更准地砍下胜利的果实,这俩家伙在数据战场上,就是那把超级厉害的宝剑,让你的决策快人一步,精准无比! --- 以上内容是基于实际的编程实践和理论知识的融合,旨在提供一个从概念到实现的全面指南。哎呀,当真要将这个系统或者项目实际铺展开来的时候,咱们得根据手头的实际情况,比如数据的个性、业务的流程和咱们的技术底子,来灵活地调整策略,让一切都能无缝对接,发挥出最大的效用。就像是做菜,得看食材的新鲜度,再搭配合适的调料,才能做出让人满意的美味佳肴一样。所以,别死板地照搬方案,得因地制宜,因材施教,这样才能确保我们的工作既高效又有效。
2024-09-06 16:26:39
60
月影清风
转载文章
...ds这一网络入侵检测系统的核心功能与数据结构后,我们可以进一步探索当前网络安全领域中关于数据包分析、TCP/IP协议栈安全以及实时入侵检测的最新动态和研究成果。 近期,美国国家标准技术研究院(NIST)发布了一份关于提升网络流量分析准确性和效率的研究报告。该报告强调了对IP数据包异常检测算法的优化,以及利用机器学习改进TCP连接状态预测的重要性。研究人员正致力于研发新一代的网络入侵检测系统,这些系统不仅能处理常规的数据包重组和校验和计算,还能够通过深度学习模型识别潜在的未知攻击模式。 与此同时,开源社区也在积极推动类似Libnids的项目发展。例如,Suricata是一款集成了高性能多线程引擎、支持多种入侵检测规则集,并具备实时流量分析能力的下一代IDS/IPS系统。它不仅实现了对网络数据包的精细解析,还在处理海量数据时保证了高效能,同时提供了丰富的API接口以供用户自定义插件和扩展功能。 此外,针对网络扫描攻击等行为,业界也提出了新的防御策略和技术。例如,基于人工智能的动态防火墙策略,可以根据网络流量特征自动调整规则,有效应对端口扫描等攻击行为,极大地提升了网络安全防护水平。 综上所述,在持续演进的网络安全领域,Libnids所涉及的数据包处理机制、TCP连接管理等功能是构建现代网络防御体系的基础,而结合最新的研究进展和技术应用,则有助于我们更好地理解和应对日趋复杂且变化多端的网络威胁环境。
2023-02-08 17:36:31
310
转载
Docker
...一不小心就可能把整个系统搞崩。 我之前用过宝塔面板和1panel,它们确实简化了很多操作,但总觉得少了点什么。于是我就开始琢磨:难道就没有更酷炫、更灵活的工具了吗?经过一番研究,我发现了一些非常有趣的服务器管理工具,特别是结合Docker使用后,简直是如虎添翼! 所以今天,咱们就来聊聊这些工具,看看它们能不能成为你心目中的“神器”。 --- 2. Docker 让一切都变得简单 首先,我们得谈谈Docker。Docker是什么?简单来说,它是一种容器化技术,可以让你的应用程序及其依赖项打包成一个独立的“容器”,然后轻松地运行在任何支持Docker的环境中。 举个例子吧,假如你想在一个全新的服务器上安装WordPress,传统方法可能是手动下载PHP、MySQL、Nginx等一堆软件,再逐一配置。而如果你用Docker,只需要一条命令就能搞定: bash docker run --name wordpress -d -p 80:80 \ -v /path/to/wordpress:/var/www/html \ -e WORDPRESS_DB_HOST=db \ -e WORDPRESS_DB_USER=root \ -e WORDPRESS_DB_PASSWORD=yourpassword \ wordpress 这段代码的意思是:启动一个名为wordpress的容器,并将本地目录/path/to/wordpress挂载到容器内的/var/www/html路径下,同时设置数据库连接信息。是不是比传统的安装方式简洁多了? 不过,单独使用Docker虽然强大,但对于不熟悉命令行的人来说还是有点门槛。这时候就需要一些辅助工具来帮助我们更好地管理和调度容器了。 --- 3. Portainer 可视化管理Docker的好帮手 Portainer绝对是我最近发现的一颗“宝藏”。它的界面非常直观,几乎不需要学习成本。不管是想看看现有的容器啥情况,还是想启动新的容器,甚至连网络和卷的管理,都只需要动动鼠标拖一拖、点一点就行啦! 比如,如果你想快速创建一个新的MySQL容器,只需要打开Portainer的Web界面,点击“Add Container”,然后填写几个基本信息即可: yaml image: mysql:5.7 name: my-mysql ports: - "3306:3306" volumes: - /data/mysql:/var/lib/mysql environment: MYSQL_ROOT_PASSWORD: rootpassword 这段YAML配置文件描述了一个MySQL容器的基本参数。Portainer会自动帮你解析并生成对应的Docker命令。是不是超方便? 另外,Portainer还有一个特别棒的功能——实时监控。你打开页面就能看到每个“小房子”(就是容器)里用掉的CPU和内存情况,而且还能像穿越空间一样,去访问别的机器上跑着的那些“小房子”(Docker实例)。这种功能对于运维人员来说简直是福音! --- 4. Rancher 企业级的容器编排利器 如果你是一个团队协作的开发者,或者正在运营一个大规模的服务集群,那么Rancher可能是你的最佳选择。它不仅仅是一个Docker管理工具,更是一个完整的容器编排平台。 Rancher的核心优势在于它的“多集群管理”能力。想象一下,你的公司有好几台服务器,分别放在地球上的不同角落,有的在美国,有的在欧洲,还有的在中国。每台服务器上都跑着各种各样的服务,比如网站、数据库啥的。这时候,Rancher就派上用场了!它就像一个超级贴心的小管家,让你不用到处切换界面,在一个地方就能轻松搞定所有服务器和服务的管理工作,省时又省力! 举个例子,如果你想在Rancher中添加一个新的节点,只需要几步操作即可完成: 1. 登录Rancher控制台。 2. 点击“Add Cluster”按钮。 3. 输入目标节点的信息(IP地址、SSH密钥等)。 4. 等待几分钟,Rancher会自动为你安装必要的组件。 一旦节点加入成功,你就可以直接在这个界面上部署应用了。比如,用Kubernetes部署一个Redis集群: bash kubectl create deployment redis --image=redis:alpine kubectl expose deployment redis --type=LoadBalancer --port=6379 虽然这条命令看起来很简单,但它背后实际上涉及到了复杂的调度逻辑和网络配置。而Rancher把这些复杂的事情封装得很好,让我们可以专注于业务本身。 --- 5. Traefik 反向代理与负载均衡的最佳拍档 最后要介绍的是Traefik,这是一个轻量级的反向代理工具,专门用来处理HTTP请求的转发和负载均衡。它最厉害的地方啊,就是能跟Docker完美地融为一体,还能根据容器上的标签,自动调整路由规则呢! 比如说,你有两个服务分别监听在8080和8081端口,现在想通过一个域名访问它们。只需要给这两个容器加上相应的标签: yaml labels: - "traefik.enable=true" - "traefik.http.routers.service1.rule=Host(service1.example.com)" - "traefik.http.services.service1.loadbalancer.server.port=8080" - "traefik.http.routers.service2.rule=Host(service2.example.com)" - "traefik.http.services.service2.loadbalancer.server.port=8081" 这样一来,当用户访问service1.example.com时,Traefik会自动将请求转发到监听8080端口的容器;而访问service2.example.com则会指向8081端口。这种方式不仅高效,还极大地减少了配置的工作量。 --- 6. 总结 找到最适合自己的工具 好了,到这里咱们已经聊了不少关于服务器管理工具的话题。从Docker到Portainer,再到Rancher和Traefik,每一种工具都有其独特的优势和适用场景。 我的建议是,先根据自己的需求确定重点。要是你只想弄个小玩意儿,图个省事儿快点搞起来,那用Docker配个Portainer就完全够用了。但要是你们团队一起干活儿,或者要做大范围的部署,那Rancher这种专业的“老司机工具”就得安排上啦! 当然啦,技术的世界永远没有绝对的答案。其实啊,很多时候你会发现,最适合你的工具不一定是最火的那个,而是那个最合你心意、用起来最顺手的。就像穿鞋一样,别人觉得好看的根本不合脚,而那双不起眼的小众款却让你走得又稳又舒服!所以啊,在用这些工具的时候,别光顾着看,得多动手试试,边用边记下自己的感受和想法,这样你才能真的搞懂它们到底有啥门道! 好了,今天的分享就到这里啦!如果你还有什么问题或者想法,欢迎随时留言交流哦~咱们下次再见啦!
2025-04-16 16:05:13
98
月影清风_
ZooKeeper
...会抛出该异常,意味着系统无法继续接收新的请求。这种情况通常发生在高并发场景或网络延迟较高时,导致请求积压超过队列的处理能力。 ZooKeeper , 一种分布式协调服务工具,主要用于管理和维护分布式系统中的数据一致性。它通过提供诸如节点创建、删除、监听等功能,帮助应用程序在复杂的分布式环境下实现高效协作。文中提到,ZooKeeper内部存在一个请求队列,当队列满时会触发CommitQueueFullException。 异步API , ZooKeeper提供的两种API之一,允许客户端在发起请求后无需等待立即响应即可继续执行后续操作。这种方式可以减少请求等待时间,从而降低队列满的风险。文中举例说明了使用异步API创建节点的过程,展示了其与同步API的区别在于不阻塞主线程,适合高并发场景。
2025-03-16 15:37:44
11
林中小径
转载文章
...calhost',数据库地址'DB_NAME':'douyu',数据库名称''DB_TABLE':'douyu'数据库表}MongoDB初始化client = pymongo.MongoClient(config['DB_URL'])mango_db = client[config['DB_NAME']]MongoDB存储def save_to_mango(result):if mango_db[config['DB_TABLE']].insert_one({'vid':result}):print('成功存储到MangoDB')return Truereturn FalseMongoDB验证重复def check_to_mongo(vid):count = mango_db[config['DB_TABLE']].find({'vid':vid}).count()if count==0:return Falsereturn True删除文件def del_file(page):if os.path.exists(page): 删除文件,可使用以下两种方法。os.remove(page) os.unlink(my_file)else:print('no such file:%s' % page)循环列表删除文件def loop_del_file(arr):for item in arr:del_file(item)请求器def get_content_requests(url):headers = {}headers['user-agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'headers['cookie'] = 'dy_did=07f83a57d1d2e22942e0883200001501; acf_did=07f83a57d1d2e22942e0883200001501; Hm_lvt_e99aee90ec1b2106afe7ec3b199020a7=1556514266,1557050422,1557208315; acf_auth=; acf_auth_wl=; acf_uid=; acf_nickname=; acf_username=; acf_own_room=; acf_groupid=; acf_notification=; acf_phonestatus=; _dys_lastPageCode=page_video,page_video; Hm_lpvt_e99aee90ec1b2106afe7ec3b199020a7=1557209469; _dys_refer_action_code=click_author_video_cate2'try:req_content = requests.get(url,headers = headers)if req_content.status_code == 200:return req_contentprint('请求失败:',url)return Noneexcept:print('请求失败:', url)return None把时间换算成秒def str_to_int(time):try:time_array = time.split(':')time_int = (int(time_array[0])60)+int(time_array[1])return time_intexcept:print('~~~~~计算视频时间失败~~~~~')return None提取需要采集的数据def get_list(html,type = 1):data = []try:list_json = json.loads(str(html))for om in list_json['data']['list']:gtime = str_to_int(om['video_str_duration'])if gtime > config['TIME_START'] and gtime < config['TIME_ENT']:if type == 2:data.append({'title': om['title'], 'vid': om['url'].split('show/')[1]})else:data.append({'title': om['title'], 'vid': om['hash_id']})return dataexcept:print('~~~~~数据提取失败~~~~~')return None解析playlist.m3u8def get_ts_list(m3u8):data = []try:html_m3u8_json = json.loads(m3u8)m3u8_text = get_content_requests(html_m3u8_json['data']['video_url'])m3u8_vurl =html_m3u8_json['data']['video_url'].split('playlist.m3u8?')[0]if m3u8_text:get_text = re.findall(',\n(.?).ts(.?)\n',m3u8_text.text,re.S)for item in get_text:data.append(m3u8_vurl+item[0]+'.ts'+item[1])return datareturn Noneexcept:print('~~~~~解析playlist.m3u8失败~~~~~')return None 杀死moviepy产生的特定进程def killProcess(): 处理python程序在运行中出现的异常和错误try: pids方法查看系统全部进程pids = psutil.pids()for pid in pids: Process方法查看单个进程p = psutil.Process(pid) print('pid-%s,pname-%s' % (pid, p.name())) 进程名if p.name() == 'ffmpeg-win64-v4.1.exe': 关闭任务 /f是强制执行,/im对应程序名cmd = 'taskkill /f /im ffmpeg-win64-v4.1.exe 2>nul 1>null' python调用Shell脚本执行cmd命令os.system(cmd)except:pass下载.ts文件def download_ts(m3u8_list,name):try:if not os.path.exists(config['FILE_PATH']):os.makedirs(config['FILE_PATH'])if not os.path.exists(config['TS_PATH']):os.makedirs(config['TS_PATH'])if os.path.exists(config['FILE_PATH']+name+'.mp4'):name = name+'_'+str(int(time.time()))print('开始下载:',name)L = []R = []for p in m3u8_list:ts_find = get_content_requests(p)file_ts = '{0}{1}.ts'.format(config['TS_PATH'],md5(ts_find.content).hexdigest())with open(file_ts,'wb') as f:f.write(ts_find.content)R.append(file_ts)hebing = VideoFileClip(file_ts)L.append(hebing)killProcess()print('下载完成:',file_ts)mp4file = '{0}{1}.mp4'.format(config['FILE_PATH'],name)final_clip = concatenate_videoclips(L)final_clip.to_videofile(mp4file, fps=24, remove_temp=True)killProcess()loop_del_file(R)print('\n下载完成:',name)print('')return Trueexcept:print('~~~~~合成.ts文件失败~~~~~')return None下载视频列表def list_get_kong(list_json):for item in list_json:y = Trueif config['CHECKID']:if check_to_mongo(item['vid']):print('~~~~~检测到重复项~~~~~')y = Falseif y:get_show_html = get_content_requests('https://vmobile.douyu.com/video/getInfo?vid=' + item['vid'])if get_show_html:m3u8_list = get_ts_list(get_show_html.text)if m3u8_list:download = download_ts(m3u8_list, item['title'])if download: save_to_mango(item['vid'])time.sleep(config['TIME_GE'])控制器def main(page):if config['TYPE']==1:print('~~~~~按用户ID采集~~~~~')listurl = 'https://v.douyu.com/video/author/getAuthorVideoListByNew?up_id={0}&cate2_id=0&limit=30&page={1}'.format(config['UID'],page)get_list_html = get_content_requests(listurl)if get_list_html:list_json = get_list(get_list_html.text,1)if list_json:list_get_kong(list_json)else:print('~~~~~按列表ID采集~~~~~')listurl = 'https://v.douyu.com/video/video/listData?page={1}&cate2Id={0}&action=new'.format(config['CID'],page)get_list_html = get_content_requests(listurl)if get_list_html:list_json = get_list(get_list_html.text,2)if list_json:list_get_kong(list_json)初始化if __name__=='__main__':if config['POOL']:groups = [x for x in range(config['PAGE_START'],config['PAGE_END']+1)]pool = Pool()pool.map(main, groups)else:for item in range(config['PAGE_START'],config['PAGE_END']+1):main(item)print('~~~~~已经完成【所有操作】~~~~~') 总结:众所周知,BiliBili是一个学习的网站! 本篇文章为转载内容。原文链接:https://blog.csdn.net/qq_35875470/article/details/89857445。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-12-18 11:34:00
120
转载
转载文章
...Hashmap原理 数据库分库分表 MQ相关,为什么kafka这么快,什么是零拷贝? 小算法题 http和https协议区别,具体原理 四面(Leader) 手画自己项目的架构图,并且针对架构和中间件提问 印象最深的一本技术书籍是什么? 五面(HR) 没什么过多的问题,主要就是聊了一下自己今后的职业规划,告知了薪资组成体系等等。 插播一条福利!!!最近整理了一套1000道面试题的文档(详细内容见文首推荐文章),以及大厂面试真题,和最近看的几本书。 需要刷题和跳槽的朋友,这些可以免费赠送给大家,帮忙转发文章,宣传一下,后台私信【面试】免费领取! 小天:好像问了两次看书的情况诶?现在面试还问这个? 程序员H:是啊,幸亏之前为了弄懂JVM还看了两本书,不然真不知道说啥了! 小天:看来,我也要找几本书去看了,感情没看过两本书都不敢跳槽了! 程序员H:对了,还有简历,告诉你一个捷径 简历尽量写好一些,项目经验突出: 1、自己的知识广度和深度 2、自身的优势 3、项目的复杂性和难度以及指标 4、自己对于项目做的贡献或者优化 程序员H:唉~这还不能走可怎么办呀!你说,我把主管打一顿,是不是马上就可以走了? 小天:... 查看全文 http://www.taodudu.cc/news/show-3387369.html 相关文章: 阿里菜鸟面经 Java后端开发 社招三年 已拿offer 阿里 菜鸟网络(一面) 2021年阿里菜鸟网络春招实习岗面试分享,简历+面试+面经全套资料! 阿里菜鸟国际Java研发面经(三面+总结):JVM+架构+MySQL+Redis等 2021年3月29日 阿里菜鸟实习面试(一面)(含部分总结) mongodb 子文档排序_猫鼬101:基础知识,子文档和人口简介 特征工程 计算方法Gauss-Jordan消去法求线性方程组的解 使用(VAE)生成建模,理解可变自动编码器背后的数学原理 视觉SLAM入门 -- 学习笔记 - Part2 带你入门nodejs第一天——node基础语法及使用 python3数据结构_Python3-数据结构 debezium-connect-oracle使用 相关数值分析多种算法代码 android iphone treeview,Android之IphoneTreeView带组指示器的ExpandableListView效果 nginx rewrite功能使用 3-3 OneHot编码 JavaWeb:shiro入门小案例 MySQL的定义、操作、控制、查询语言的用法 MongoDB入门学习(三):MongoDB的增删查改 赋值、浅复制和深复制解析 以及get/set应用 他是吴恩达导师,被马云聘为「达摩院」首座 Jordan 标准型定理 列主元的Gauss-Jordan消元法-python实现 Jordan 块的几何 若尔当型(The Jordan form) 第七章 其他神经网络类型 解决迁移系统后无法配置启用WindowsRE环境的问题 宝塔面板迁移系统盘/www到数据盘/home 使用vmware vconverter从物理机迁移系统到虚拟机P2V 本篇文章为转载内容。原文链接:https://blog.csdn.net/m0_62695120/article/details/124510157。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-03-08 20:01:49
69
转载
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
pgrep process_name
- 查找与进程名匹配的进程ID。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"