[Static Code Analysis...]的搜索结果

...！所以，无论是大数据分析、实时数据分析还是构建大规模的数据库系统，HBase都是你不可多得的好帮手！本文将深入探讨HBase如何与NoSQL数据库进行数据交互，以及这种交互在实际应用场景中的价值。 HBase概述 HBase是一种基于列存储的NoSQL数据库，它构建在Hadoop的HDFS之上，利用MapReduce进行数据处理。哎呀，HBase这东西啊，它就是借鉴了Google的Bigtable的思路，就是为了打造一个既能跑得快，又稳当，还能无限长大的数据仓库。简单来说，就是想给咱的数据找个既好用又耐用的家，让数据处理起来更顺畅，不卡壳，还能随着业务增长不断扩容，就跟咱们搬新房子一样，越住越大，越住越舒服！其数据模型支持多维查询，适合处理大量数据并提供快速访问。 与NoSQL数据库的集成 HBase的出现，让开发者能够利用Hadoop的强大计算能力同时享受NoSQL数据库的灵活性。哎呀，你知道的啦，在咱们的实际操作里，HBase这玩意儿可是个好帮手，能和各种各样的NoSQL数据库玩得转，不管是数据共享、搬家还是联合作战查情报，它都能搞定！就像是咱们团队里的多面手，哪里需要就往哪一站，灵活得很呢！以下是几种常见的集成方式： 1. 外部数据源集成 通过简单的API调用，HBase可以读取或写入其他NoSQL数据库的数据，如MongoDB、Cassandra等。这通常涉及数据复制或同步流程，确保数据的一致性和完整性。 2. 数据融合 在大数据分析项目中，HBase可以与其他Hadoop生态系统内的组件（如MapReduce、Spark）结合，处理从各种来源收集的数据，包括但不限于NoSQL数据库。通过这种方式，可以构建更复杂的数据模型和分析流程。 3. 实时数据处理 借助HBase的实时查询能力，可以集成到流处理系统中，如Apache Kafka和Apache Flink，实现数据的实时分析和决策支持。 示例代码实现 下面我们将通过一个简单的示例，展示如何使用HBase与MongoDB进行数据交互。这里假设我们已经安装了HBase和MongoDB，并且它们在本地运行。 步骤一：连接HBase java import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; public class HBaseConnection { public static void main(String[] args) { String hbaseUrl = "localhost:9090"; try { Connection connection = ConnectionFactory.createConnection(HBaseConfiguration.create(), hbaseUrl); System.out.println("Connected to HBase"); } catch (Exception e) { System.err.println("Error connecting to HBase: " + e.getMessage()); } } } 步骤二：连接MongoDB java import com.mongodb.MongoClient; import com.mongodb.client.MongoDatabase; public class MongoDBConnection { public static void main(String[] args) { String mongoDbUrl = "mongodb://localhost:27017"; try { MongoClient client = new MongoClient(mongoDbUrl); MongoDatabase database = client.getDatabase("myDatabase"); System.out.println("Connected to MongoDB"); } catch (Exception e) { System.err.println("Error connecting to MongoDB: " + e.getMessage()); } } } 步骤三：数据交换 为了简单起见，我们假设我们有一个简单的HBase表和一个MongoDB集合，我们将从HBase读取数据并将其写入MongoDB。 java import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Table; import org.apache.hadoop.hbase.util.Bytes; import com.mongodb.client.MongoCollection; import com.mongodb.client.model.Filters; import com.mongodb.client.model.UpdateOptions; import com.mongodb.client.model.UpdateOneModel; public class DataExchange { public static void main(String[] args) { // 连接HBase String hbaseUrl = "localhost:9090"; try { Connection hbaseConnection = ConnectionFactory.createConnection(HBaseConfiguration.create(), hbaseUrl); Table hbaseTable = hbaseConnection.getTable(TableName.valueOf("users")); // 连接MongoDB String mongoDbUrl = "mongodb://localhost:27017"; MongoClient mongoClient = new MongoClient(mongoDbUrl); MongoDatabase db = mongoClient.getDatabase("myDatabase"); MongoCollection collection = db.getCollection("users"); // 从HBase读取数据 Put put = new Put(Bytes.toBytes("123")); hbaseTable.put(put); // 将HBase数据写入MongoDB Document doc = new Document("_id", "123").append("name", "John Doe"); UpdateOneModel updateModel = new UpdateOneModel<>(Filters.eq("_id", "123"), new Document("$set", doc), new UpdateOptions().upsert(true)); collection.updateOne(updateModel); System.out.println("Data exchange completed."); } catch (Exception e) { System.err.println("Error during data exchange: " + e.getMessage()); } } } 请注意，上述代码仅为示例，实际应用中可能需要根据具体环境和需求进行调整。 结论 Hadoop的HBase与NoSQL数据库的集成不仅拓展了数据处理的边界，还极大地提升了数据分析的效率和灵活性。通过灵活的数据交换策略，企业能够充分利用现有数据资源，构建更加智能和响应式的业务系统。无论是数据融合、实时分析还是复杂查询，HBase的集成能力都为企业提供了强大的数据处理工具包。嘿，你知道吗？科技这玩意儿真是越来越神奇了！随着每一步发展，咱们就像在探险一样，发现越来越多的新玩法，新点子。就像是在拼图游戏里，一块块新的碎片让我们能更好地理解这个大数据时代，让它变得更加丰富多彩。我们不仅能看到过去，还能预测未来，这感觉简直酷毙了！所以，别忘了，每一次技术的进步，都是我们在向前跑，探索未知世界的一个大步。

...的。 示例代码： java import javax.management.MBeanServer; import javax.management.ObjectName; public class HBaseJMXExample { public static void main(String[] args) throws Exception { MBeanServer mbs = ManagementFactory.getPlatformMBeanServer(); ObjectName name = new ObjectName("Hadoop:service=HBase,name=Master,sub=MasterStatus"); Integer load = (Integer) mbs.getAttribute(name, "AverageLoad"); System.out.println("当前HBase Master的平均负载：" + load); } } 这段代码展示了如何通过Java程序读取HBase Master的负载信息。虽然看起来有点复杂，但只要理解了基本原理，后续操作就简单多了！ --- 3. 第二步 深入分析——聚焦热点问题 当我们拿到整体性能数据后，接下来就需要深入分析具体的问题所在。这里我建议大家按照以下几个方向逐一排查： 3.1 Region分布不均怎么办？ 如果发现某些RegionServer的压力过大，而其他节点却很空闲，这可能是由于Region分布不均造成的。解决方法很简单，调整负载均衡策略即可。 示例代码： bash hbase shell balance_switch true 上面这条命令会开启自动负载均衡功能。当然，你也可以手动执行balancer命令强制进行一次平衡操作。 3.2 GC时间过长怎么办？ GC时间过长往往意味着内存不足。这时候你需要检查HBase的堆内存设置，并适当增加Xmx参数值。 示例代码： xml hbase.regionserver.heapsize 8g 将heapsize调大一些，看看是否能缓解GC压力。 --- 4. 第三步 实战演练——真实案例分享 为了让大家更直观地感受到性能优化的过程，我来分享一个真实的案例。有一天，我们团队收到用户的吐槽：“你们这个查询也太慢了吧？等得我花都谢了！”我们赶紧查看了一下情况，结果发现是RegionServer上某个Region在搞事情，一直在上演“你进我也进”的读写冲突大戏，把自己整成了个“拖油瓶”。 解决方案： 1. 首先，定位问题区域。通过以下命令查看哪些Region正在发生大量读写： sql scan 'hbase:metrics' 2. 然后，调整Compaction策略。如果发现Compaction过于频繁，可以尝试降低触发条件： xml hbase.hregion.majorcompaction 86400000 最终，经过一系列调整后，查询速度果然得到了显著提升。这种成就感真的让人欲罢不能！ --- 5. 结语 保持好奇心，不断学习进步 检查HBase集群的性能并不是一件枯燥无味的事情，相反，它充满了挑战性和乐趣。每次解决一个问题，都感觉是在玩拼图游戏，最后把所有碎片拼在一起的时候，那成就感真的太爽了，简直没法用语言形容！ 最后，我想说的是，无论你是刚入门的新手还是经验丰富的老手，都不要停止学习的步伐。HBase的技术栈非常庞大，每一次深入研究都会让你受益匪浅。所以，让我们一起努力吧！💪 希望这篇文章对你有所帮助，如果你还有任何疑问，欢迎随时来找我交流哦～

...br><code>一段电脑代码</code><br><samp>计算机样本</samp><br><kbd>键盘输入</kbd><br><var>变量</var></body></html 2、HTML <audio> 标签 <audio> 标签是 HTML5 提供的用来播放音频文件的。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><audio controls><source src="/statics/demosource/horse.ogg" ><source src="/statics/demosource/horse.mp3" >您的浏览器不支持 audio 元素。</audio></body></html> 3、HTML <area> 标签 <area> 标签可以在图像上划分区域，这些区域是可以点击的，并且对应不同的操作。 <!DOCTYPE html><html><head><meta charset="utf-8"><title>W3Cschool(w3cschool.cn)</title></head><body><p>点击太阳或其他行星，注意变化：</p><img src="/statics/images/course/planets.gif" width="145" height="126" alt="Planets" usemap="planetmap"><map name="planetmap"><area shape="rect" coords="0,0,82,126" target="_blank" alt="Sun" href="/statics/images/course/sun.gif"><area shape="circle" coords="90,58,3" target="_blank" alt="Mercury" href="/statics/images/course/merglobe.gif"><area shape="circle" coords="124,58,8" target="_blank" alt="Venus" href="/statics/images/course/venglobe.gif"></map></body></html> 4、HTML <select> 标签定义及使用说明 <select> 元素用来创建下拉列表。 <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><select><option value="volvo" style="display:none">Volvo</option><option value="saab">Saab</option><option value="opel">Opel</option><option value="audi">Audi</option></select></body></html> 5、HTML <style> 标签 <style> 标签包含了 HTML 文档的样式详细，在默认情况下，在该元素内写入的样式指令将被认为是CSS。 <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title><style type="text/css">h1 {color:red;}p {color:blue;}</style></head><body><h1>这是一个标题</h1><p>这是一个段落。</p></body></html> 7、HTML <sub> 标签 包含在 _{标签和其结束标签} 中的内容会以正常内容的一半的高度显示在下方，而且通常较小，请参见下述例子： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool教程(w3cschool.cn)</title> </head><body><p>这个文本包含 _下标文本。</p><p>这个文本包含 ^上标 文本。</p></body></html> 8、HTML <summary> 标签 <summary> 标签元素作为一个<datails>元素的标题，该标题可以包含详细的信息，但是默认情况下不显示，需要单击才能显示详细信息，请参考下述示 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><details><summary>Copyright 1999-2011.</summary><p> - by Refsnes Data. All Rights Reserved.</p><p>All content and graphics on this web site are the property of the company Refsnes Data.</p></details><p><b>注意：</b>目前只有 Chrome 和 Safari 6 支持 summary 标签。</p></body></html> 9、HTML <table> 标签 <table> 标签用来定义 HTML 表格，一个简单的 HTML 表格应该包括两行两列，如下述示例所示： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool教程(w3cschool.cn)</title> </head><body><table border="1"><tr><th>Month</th><th>Savings</th></tr><tr><td>January</td><td>$100</td></tr><tr><td>February</td><td>$80</td></tr></table></body></html> 10、HTML <textarea> 标签 <textarea> 标签表示多行纯文本编辑控件，用户可在其文本区域中写入文本，请参考下述示例： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool 在线教程(w3cschool.cn)</title> </head><body><textarea rows="10" cols="30">我是一个文本框。</textarea></body></html> 11、HTML <tt> 标签 - HTML5 不支持 <tt> 标签用来改变字体样式，使标签中的文本显示为打字机文本，请参考下述例子： <!DOCTYPE html><html><body><p>This text is normal.</p><p><tt>This text is teletype text.</tt></p></body></html> 12、HTML <u> 标签 <u> 标签可以用来对标签内的文本实现下划线样式，请参考下述示例： <!DOCTYPE html><html><body><p>This is a <u>parragraph</u>.</p></body></html> 13、HTML <ul> 标签 <ul> 标签表示HTML页面中项目的无序列表，一般会以项目符号列表呈现，请参考下述例子： <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><h4>无序列表:</h4><ul><li>咖啡</li><li>茶</li><li>牛奶</li></ul></body></html> 14、HTML <video> 标签 <video> 标签可以将视频内容嵌入到HTML文档中，请参考下述示例： <!DOCTYPE html><html><body><video width="320" height="240" controls><source src="/statics/demosource/movie.mp4" type="video/mp4"><source src="/statics/demosource/movie.ogg" type="video/ogg">您的浏览器不支持 HTML5 video 标签。</video></body></html> 15、HTML <ol> 标签 <ol> 标签在 HTML 中表示有序列表，是 ordered lists 的缩写。您可以自定义有序列表的初始序号，请参考下面的实例： <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body>​<ol><li>咖啡</li><li>茶</li><li>牛奶</li></ol>​<ol start="50"><li>咖啡</li><li>茶</li><li>牛奶</li></ol></body></html> 16、HTML <noframes> 标签HTML5不支持该标签 <noframes> 标签用于支持不支持 <frame> 元素的浏览器，请参考下面的示例： <html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><frameset cols="25%,50%,25%"><frame src="/statics/demosource/frame_a.htm"><frame src="/statics/demosource/frame_b.htm"><frame src="/statics/demosource/frame_c.htm"><noframes>抱歉，您的浏览器不支持 frame 属性！</noframes></frameset></html> 17、HTML <hr> 标签 <hr> 标签表示段落级元素之间的主题划分。例如，在下面的实例中我们对具有主题变化的内容使用了 <hr> 标签： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><h1>HTML</h1><p>HTML 是用于描述 web 页面的一种语言。</p><hr><h1>CSS</h1><p>CSS 定义如何显示 HTML 元素。</p></body></html> 18、HTML <h1> - <h6> 标签 <h1> - <h6> 标签用来定义 HTML 标题，表示了 HTML 网页中六个级别的标题。您可以通过下面的这个实例来看看每个级别的标题有什么区别： <!DOCTYPE html><html><head><meta charset="utf-8"><title>W3Cschool(w3cschool.cn)</title></head><body><h1>这是标题1</h1><h2>这是标题2</h2><h3>这是标题 3</h3><h4>这是标题 4</h4><h5>这是标题 5</h5><h6>这是标题 6</h6></body></html> 19、HTML <center> 标签 - HTML 5 不支持 <center> 标签控制文本的居中显示，不能在 HTML5 中使用。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p>这是一些文本。</p><center>这个文本居中对齐。</center><p>这是一些文本</p></body></html> 20、HTML <button> 标签 <button> 标签用来设置 HTML 中的按钮。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><button type="button" onclick="alert('Hello world!')">Click Me!</button></body></html> 21、HTML <br> 标签 <br> 标签是空标签，可插入一个简单的换行符。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p>使用br元素<br>在文本中<br>换行。</p></body></html> 22、HTML <dt> 标签 <dt> 标签只能够作为 <dl> 标签的一个子元素出现，常常后跟一个 <dd> 标签。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><dl><dt>咖啡</dt><dd>黑色的热饮</dd><dt>牛奶</dt><dd>白色的冷饮</dd></dl></body></html> 23、HTML <fieldset> 标签 <fieldset> 标签内的一组表单元素会在 WEB 浏览器中以特殊的方式显示，比如不同样式的边界、3D效果等。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><form><fieldset><legend>个人信息:</legend>姓名: <input type="text"><br>邮箱: <input type="text"><br>生日: <input type="text"></fieldset></form></body></html> 24、HTML <embed> 标签 <embed> 标签用来定义在页面中嵌入的内容，比如插件。比如，在下面的实例中我们嵌入了一个 flash 动画： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><embed src="/statics/demosource/helloworld.swf" tppabs="http://W3Cschool.com/tags/helloworld.swf"></body></html> 25、HTML <font> 标签 - HTML5 不支持 <font> 标签的使用示例如下所示，该标签已经过时，因此我们不建议您使用该标签。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p><font size="3" color="red">这是一些文本！</font></p><p><font size="2" color="blue">这是一些文本！</font></p><p><font face="verdana" color="green">这是一些文本！</font></p></body></html> 26、HTML <label> 标签 <label> 标签是一种常见的表单控件，触发对应表单控件功能，让用户在使用表单的时候能够有更好的体验。参考下述的实例： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p>点击其中一个文本标签选中选项：</p><form action="/statics/demosource/demo-form.php"><label for="male">Male</label><input type="radio" name="sex" id="male" value="male"><br><label for="female">Female</label><input type="radio" name="sex" id="female" value="female"><br><br><input type="submit" value="提交"></form></body></html> 记录一些重要标签！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/chehec2010/article/details/85060460。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...]。 示例代码： json { "name": "Alice", "age": 25, "isStudent": false, "courses": ["Math", "Science"] } 这段JSON数据描述了一个学生的信息。你看，整个结构清晰明了，只需要一点点耐心就能读懂。不过嘛，要是这儿的冒号不小心打成了等号=，那整个JSON结构可就直接“翻车”了，啥也跑不出来了！不信的话，咱们试试看。 --- 3. 冒号变等号 一个让人崩溃的小错误 说到冒号变等号，我真的有一肚子的话要说。记得有一次，我在调试一个API接口时，发现返回的数据总是出错。百思不得其解之后，我才意识到问题出在JSON格式上。原来是我手滑，把某个键值对中的冒号写成了等号。 错误示例： json { "name=Alice", "age=25", "isStudent=false", "courses=[Math, Science]" } 看到这里，你是不是也觉得特别别扭？没错，这就是典型的JSON格式错误。正常情况下，JSON中的键值对应该用冒号分隔，而不是等号。等号在这里根本不起作用，会导致整个JSON对象无法被正确解析。 那么问题来了，为什么会有人犯这样的错误呢？我觉得主要有以下几点原因： 1. 疏忽大意 有时候我们写代码太赶时间，注意力不够集中，结果就出现了这种低级错误。 2. 习惯差异 有些人可能来自其他编程语言背景，习惯了用等号作为赋值符号，结果不自觉地把这种习惯带到了JSON中。 3. 工具误导 有些文本编辑器或者IDE可能会自动补全等号，如果没有及时检查，就容易出错。 --- 4. 如何优雅地处理这种错误？ 既然知道了问题所在，接下来就是解决问题的时候啦！别急，咱们可以从以下几个方面入手： 4.1 检查与验证 首先，最直接的办法就是仔细检查你的JSON数据。如果怀疑有问题，可以使用在线工具进行验证。比如著名的[JSONLint](https://jsonlint.com/)，它可以帮你快速找出格式错误的地方。 4.2 使用正确的编辑器 选择一款适合的代码编辑器也很重要。像VS Code这样的工具不仅支持语法高亮，还能实时检测JSON格式是否正确。如果你发现等号突然冒出来，编辑器通常会立即提醒你。 4.3 编写自动化测试 对于经常需要处理JSON数据的项目，建议编写一些自动化测试脚本来确保数据格式无误。这样即使出现错误，也能第一时间发现并修复。 示例代码：简单的JSON验证函数 python import json def validate_json(data): try: json.loads(data) print("JSON is valid!") except ValueError as e: print(f"Invalid JSON: {e}") 测试用例 valid_json = '{"name": "Alice", "age": 25}' invalid_json = '{"name=Alice", "age=25"}' validate_json(valid_json) 输出: JSON is valid! validate_json(invalid_json) 输出: Invalid JSON: Expecting property name enclosed in double quotes: line 1 column 2 (char 1) --- 5. 总结 保持警惕，远离坑点 好了，今天的分享就到这里啦！通过这篇文章，希望大家对JSON解析中的冒号变等号问题有了更深刻的认识。嘿，听好了，这事儿可别小瞧了！哪怕就是一个不起眼的小标点，都有可能让整套系统“翻车”。细节这东西啊，就像是搭积木，你要是漏掉一块或者放歪了，那整个塔就悬乎了。所以呀，千万别觉得小地方无所谓，它们往往是关键中的关键！ 最后，我想说的是，学习编程的过程就是不断踩坑又爬出来的旅程。遇到问题不可怕，可怕的是我们不去面对它。只要多加练习，多积累经验，相信每个人都能成为高手！加油吧，小伙伴们！ 如果你还有其他疑问，欢迎随时来找我讨论哦~咱们下次再见啦！

...序员 程序员，英文名coder/programmer，大家常自嘲叫码农的阶段。这个角色职责是把需求或产品实现为用户可用的软件产品。 此职位为执行级别。另外因为经验较少，一般需要求助别人，或与别人一起完（ban）成（zhuan）一个任务。 此阶段大概要经历3年，程序员的职责如下： 1、对项目经理负责，负责软件项目的详细设计、编码和内部测试的组织实施。 2、协助项目经理和相关人员同客户进行沟通，保持良好的客户关系。 3、参与需求调研、项目可行性分析、技术可行性分析和需求分析。 4、熟悉并熟练掌握交付软件部开发的软件项目的相关软件技术。 5、负责向项目经理及时反馈软件开发中的情况，并根据实际情况提出改进建议。 6、负责对业务领域内的技术发展动态进行分析研究。 高级程序员 高级程序员学名，工程师。 到了这个level，英文名可改叫做 engineer 或 developer。此时你的功力开始增强，这与你平时的积累努力是分不开的，祝贺你～ 此时的你不仅可以完成任务，开始注重代码的质量，能够写出工业级的代码。你的经验可胜任模块级的系统设计，承担完成较为复杂的技术，能有效的自我管理，有帮助别人快速解决问题（trouble shooting）的能力。 此阶段你需要经历到7、8年左右的体验，中间要经历一段深刻自我历练的过程。 有时给人致命一击其实是心里的小蟊贼。一般人在5年前后遇到一个门槛，碰到天花板+彷徨期，或者你打心眼里不在喜欢编程，可尝试转为其它角色，如产品经理，售前售后支持等岗位，也不失为好选择。 当我们熬过这段儿，就会“山随平野尽，江入大荒流“，渐入佳境矣。 高级程序员定义软件功能、做开发计划推进和管理。可以带几个个帮手把产品规划的功能实现，你是团队中的”大手“，遇到难题也是你亲自攻艰克难。 所以，一个高级程序员，他的职责很清晰： 1、负责产品核心复杂功能的方案设计、编码实现 2、负责疑难BUG分析诊断、攻关解决 架构师 到了架构师级别，想必你已经学会降龙十八掌，可登堂入世，成为一位准（lao）专（you）家（tiao）。 我们大喊声：“单打独斗，老衲谁也不惧！“，遂开始领导一众技术高手，指点武功，来设计和完成一个系统，大多是分布式，高并发的系统架构平台。 架构师的任务是为公司产品的业务问题提供高质量技术解决方案，主要着眼于系统的"技术实现" 。 架构师的主要分类： 可能每条产品线都设置了架构师，也可能多条生产品线的的后端是由一个架构师设计的平台提供，所以架构师也是有所不同的，其分类如下： 软件架构师 信息架构师 网站架构师 其主要职责如下： 1、需求分析：“知彼”有时比“知已”还重要。管理市场，产品等的需求，确立关键需求。坚持技术上的优秀与需求的愿景统一，提升技术负债意识，提供技术选项，风险预判，工期等解决方案。 2、架构设计：在产品功能中抽取中非功能的需求，由关键需求变成概念型架构。列出功能树，分层治之，如用户界面层、系统交互层，数据管理层。达成高扩展，高可用，高性能，高安全，易运维，易部署，易接入等能力。 3、功能设计与实现：对架构设计的底层代码级别实现。如公共核心类，接口实现，应用发现规则、接口变更等。 技术经理 人生就是不断上升的过程，你已经到达经理的层次了。如今的你，需要不断提高领导力，需要定期召开团队会议讨论问题。 首先我们要更加自信，在工作中显示自己的功力，给讲话增添力量。如：“本次项目虽然有很大的困难，我们也需苦战到底。当然示先垂范，身先士卒，方能成功！” 技术经理有时候也可能叫系统分析员，一些小公司可能会整个公司或者部门有一个技术经理。技术经理承担的角色主要是系统分析、架构搭建、系统构建、代 码走查等工作，如果说项目经理是总统，那么技术经理就是总理。当然不是所有公司都是这样的，有些公司项目经理是不管技术团队的，只做需求、进度和同客户沟 通，那么这个时候的项目经理就好像工厂里的跟单人员了，这种情况在外包公司比较多。对于技术经理来说，着重于技术方面，你需要知道某种功能用哪些技术合 适，需要知道某项功能需要多长的开发时间等。同时，技术经理也应该承担提高团队整体技术水平的工作。 你需要和大家站在一起，因为人们也都有解决问题的能力，更需要有以下的能力与责任： 1、任务管理：开发工作量评估、定立开发流程、分配和追踪开发任务 2、质量管理：代码review、开发风险判断/报告/协调解决 3、效率提升：代码底层研发和培训、最佳代码实践规范总结与推广、自动化生产工具、自动化部署工具 4、技术能力提升：招聘面试、试题主拟、新人指导、项目复盘与改进 技术总监 如果一个研发团队超过20人，有多条产品线或业务量很大，这时已经有多个技术经理在负责每个业务，这时需要一位技术总监。 主要职责： 1、组建平台研发部，与架构师共建软件公共平台，方便各条产品业务线研发。 2、通过技术平台、通过高一层的职权，管理和协调公司各个部门与本部门各条线。现在每个产品线都应该有合格的技术经理和高级程序员。 结语：我们相信，每个人都能成为IT大神。现在开始，找个师兄带你入门，让你的学习之路不再迷茫。 这里推荐我们的前端学习交流圈：784783012，里面都是学习前端的从最基础的HTML+CSS+JS【炫酷特效，游戏，插件封装，设计模式】到移动端HTML5的项目实战的学习资料都有整理，送给每一位前端小伙伴。 最新技术，与企业需求同步。好友都在里面学习交流，每天都会有大牛定时讲解前端技术! 点击：前端技术分享 本篇文章为转载内容。原文链接：https://blog.csdn.net/webDk/article/details/88917912。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...doop.http.staticuser.user</name><value>root</value></property> HDFS客户端API操作 Windows环境配置 将Windows依赖放到文件夹， 配置环境变量，添加HADOOP_HOME ，编辑Path添加%HADOOP_HOME%/bin 拷贝hadoop.dll和winutils.exe到C:\Windows\System32 创建java项目 配置 编辑pom.xml <dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-slf4j-impl</artifactId><version>2.12.0</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.1.3</version></dependency></dependencies> 在src/main/resources中建立log4j2.xml 打印日志到控制台 <?xml version="1.0" encoding="UTF-8"?><Configuration status="WARN"><Appenders><Console name="Console" target="SYSTEM_OUT"><PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n"/></Console></Appenders><Loggers><Root level="error"><AppenderRef ref="Console"/></Root></Loggers></Configuration> 编写代码 在/src/main/java/cn.zcx.hdfs创建TestHDFS类 public class TestHDFS {// 创建全局变量private FileSystem fs;private Configuration conf;private URI uri;private String user;// 从本地上传文件@Testpublic void testUpload() throws IOException {fs.copyFromLocalFile(false,true,new Path("F:\\Download\\使用前说明.txt"),new Path("/testhdfs"));}/ @Before 方法在@Test方法执行之前执行 /@Beforepublic void init() throws IOException, InterruptedException {uri = URI.create("hdfs://master:8020");conf = new Configuration();user = "root";fs = FileSystem.get(uri,conf,user);}/ @After方法在@Test方法结束后执行 /@Afterpublic void close() throws IOException {fs.close();}@Testpublic void testHDFS() throws IOException, InterruptedException {//1. 创建文件系统对象/URI uri = URI.create("hdfs://master:8020");Configuration conf = new Configuration();String user = "root";FileSystem fs = FileSystem.get(uri,conf,user);System.out.println("fs: " + fs);/// 2. 创建一个目录boolean b = fs.mkdirs(new Path("/testhdfs"));System.out.println(b);// 3. 关闭fs.close();} } 参数优先级 xxx-default.xml < xxx-site.xml < IDEA中resource中创建xxx-site.xml < 在代码中通过更改Configuration 参数 文件下载 @Testpublic void testDownload() throws IOException {fs.copyToLocalFile(false,new Path("/testhdfs/使用前说明.txt"),new Path("F:\\Download\\"),true);} 文件更改移动 //改名or移动（路径改变就可以）@Testpublic void testRename() throws IOException {boolean b = fs.rename(new Path("/testhdfs/使用前说明.txt"),new Path("/testhdfs/zcx.txt"));System.out.println(b);} 查看文件详细信息 // 查看文件详情@Testpublic void testListFiles() throws IOException {RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);//迭代操作while (listFiles.hasNext()){LocatedFileStatus fileStatus = listFiles.next();//获取文件详情System.out.println("文件路径："+fileStatus.getPath());System.out.println("文件权限："+fileStatus.getPermission());System.out.println("文件主人："+fileStatus.getOwner());System.out.println("文件组："+fileStatus.getGroup());System.out.println("文件大小："+fileStatus.getLen());System.out.println("文件副本数："+fileStatus.getReplication());System.out.println("文件块位置："+ Arrays.toString(fileStatus.getBlockLocations()));System.out.println("===============================");} } 文件删除 第二参数，true递归删除 //文件删除@Testpublic void testDelete() throws IOException {boolean b = fs.delete(new Path("/testhdfs/"), true);System.out.println(b);} NN与2NN工作原理 本篇文章为转载内容。原文链接：https://blog.csdn.net/Python1One/article/details/108546050。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...还会手把手带着你，用代码例子一步一步把问题给解决了！就像有个编程小老师在旁边耐心指导一样，超贴心的！别急着离开，这可是干货满满哦！ --- 1. 什么是MemCache？它为什么这么受欢迎？ 先简单介绍一下MemCache吧！MemCache是一种高性能的分布式内存对象缓存系统，主要用于减轻数据库的压力，提升应用的响应速度。其实说白了就是这么个事儿——把数据都存到内存里，用的时候直接拿出来，省得每次都要跑去数据库翻箱倒柜找一遍，多麻烦啊！ 举个例子，假设你正在做一个电商网站，用户点击商品详情页时，如果每次都要从数据库拉取商品信息，那服务器负载肯定爆表。但如果我们将这些数据缓存在MemCache中，用户访问时直接从内存读取，岂不是快如闪电？ 不过呢，事情可没那么简单。MemCache这小子虽然挺能干的，但也不是省油的灯啊！比如说吧，你老是疯狂地去请求数据，结果服务器偏偏不给面子，连个响应都没有，那它就直接给你来个“服务连接超时”的报错，气得你直跺脚。这就像你去餐厅点菜，服务员一直不在，你说能不急吗？ --- 2. 服务连接超时到底是个啥？ 服务连接超时，简单来说就是你的程序试图与MemCache服务器建立连接，但因为某些原因（比如网络延迟、服务器过载等），连接请求迟迟得不到回应，最终超时失败。这种错误通常会伴随着一条令人沮丧的信息：“连接超时”。 让我分享一个小故事：有一次我在调试一个项目时，发现某个接口总是返回“服务连接超时”，我当时的第一反应是“天啊，是不是MemCache崩了？”于是我赶紧登录服务器检查日志，结果发现MemCache运行正常，只是偶尔响应慢了一点。后来我才意识到，可能是客户端配置的问题。 所以，当遇到这种错误时，不要慌！我们得冷静下来，分析一下可能的原因。 --- 2.1 可能的原因有哪些？ 1. 网络问题 MemCache服务器和客户端之间的网络不稳定。 2. MemCache配置不当 比如设置了太短的超时时间。 3. 服务器负载过高 MemCache服务器被太多请求压垮。 4. 客户端代码问题 比如没有正确处理异常情况。 --- 3. 如何解决服务连接超时？ 接下来，咱们就从代码层面入手，看看如何优雅地解决这个问题。我会结合实际例子，手把手教你如何避免“服务连接超时”。 --- 3.1 检查网络连接 首先，确保你的MemCache服务器和客户端之间网络通畅。你可以试试用ping命令测试一下： bash ping your-memcache-server 如果网络不通畅，那就得找运维同事帮忙优化网络环境了。不过，如果你确定网络没问题，那就继续往下看。 --- 3.2 调整超时时间 很多时候，“服务连接超时”是因为你设置的超时时间太短了。默认情况下，MemCache的超时时间可能比较保守，你需要根据实际情况调整它。 在Java中，可以这样设置超时时间： java import net.spy.memcached.AddrUtil; import net.spy.memcached.MemcachedClient; public class MemCacheExample { public static void main(String[] args) throws Exception { // 创建MemCache客户端，设置超时时间为5秒 MemcachedClient memcachedClient = new MemcachedClient(AddrUtil.getAddresses("localhost:11211"), 5000); System.out.println("成功连接到MemCache服务器！"); } } 这里的关键是5000，表示超时时间为5秒。你可以根据实际情况调整这个值，比如改成10秒或者20秒。 --- 3.3 使用重试机制 有时候，一次连接失败并不代表MemCache服务器真的挂了。在这种情况下，我们可以加入重试机制，让程序自动尝试重新连接。 下面是一个简单的Python示例： python import time from pymemcache.client.base import Client def connect_to_memcache(): attempts = 3 while attempts > 0: try: client = Client(('localhost', 11211)) print("成功连接到MemCache服务器！") return client except Exception as e: print(f"连接失败，重试中... ({attempts}次机会)") time.sleep(2) attempts -= 1 raise Exception("无法连接到MemCache服务器，请检查配置！") client = connect_to_memcache() 在这个例子中，程序会尝试三次连接MemCache服务器，每次失败后等待两秒钟再重试。如果三次都失败，就抛出异常提示用户。 --- 3.4 监控MemCache状态 最后，建议你定期监控MemCache服务器的状态。你可以通过工具（比如MemAdmin）查看服务器的健康状况，包括内存使用率、连接数等指标。 如果你发现服务器负载过高，可以考虑增加MemCache实例数量，或者优化业务逻辑减少不必要的请求。 --- 4. 总结 服务连接超时不可怕，可怕的是不去面对 好了，到这里，关于“服务连接超时”的问题基本就说完了。虽然MemCache确实容易让人踩坑，但只要我们用心去研究，总能找到解决方案。 最后想说的是，技术这条路没有捷径，遇到问题不要急躁，多思考、多实践才是王道。希望我的分享对你有所帮助，如果你还有什么疑问，欢迎随时来找我讨论！😄 祝大家编码愉快！

...加剧问题。 二、案例分析 使用Solr查询外部数据源 为了更好地理解这个问题，我们可以创建一个简单的案例。想象一下，我们有个叫Solr的小工具，专门负责在我们家里的文件堆里找东西。但是，它不是个孤军奋战的英雄，还需要借助外面的朋友——那个外部API，来给我们多提供一些额外的线索和细节，就像侦探在破案时需要咨询专家一样。这样，当我们用Solr搜索的时候，就能得到更丰富、更准确的结果了。我们使用Python和requests库来模拟这个过程： python import requests from solr import SolrClient solr_url = "http://localhost:8983/solr/core1" solr_client = SolrClient(solr_url) def search(query): results = solr_client.search(query) for result in results: 外部API请求 external_data = fetch_external_metadata(result['id']) result['additional_info'] = external_data return results def fetch_external_metadata(doc_id): url = f"https://example.com/api/{doc_id}" response = requests.get(url) if response.status_code == 200: return response.json() else: return None 在这个例子中，fetch_external_metadata函数尝试从外部API获取元数据，如果请求失败或API不可用，那么该结果将被标记为未获取到数据。当外部服务出现延迟或中断时，这将直接影响到Solr的查询效率。 三、优化策略 1. 缓存策略 为了避免频繁请求外部服务，可以引入缓存机制。对于频繁访问且数据变化不大的元数据，可以在本地缓存一段时间。当外部服务不可用时，可以回退使用缓存数据，直到服务恢复。 python class ExternalMetadataCache: def __init__(self, ttl=600): self.cache = {} self.ttl = ttl def get(self, doc_id): if doc_id not in self.cache or (self.cache[doc_id]['timestamp'] + self.ttl) < time.time(): self.cache[doc_id] = {'data': fetch_external_metadata(doc_id), 'timestamp': time.time()} return self.cache[doc_id]['data'] metadata_cache = ExternalMetadataCache() def fetch_external_metadata_safe(doc_id): return metadata_cache.get(doc_id) 2. 重试机制 在请求外部服务时添加重试逻辑，当第一次请求失败后，可以设置一定的时间间隔后再次尝试，直到成功或达到最大重试次数。 python def fetch_external_metadata_retriable(doc_id, max_retries=3, retry_delay=5): for i in range(max_retries): try: return fetch_external_metadata(doc_id) except Exception as e: print(f"Attempt {i+1} failed with error: {e}. Retrying in {retry_delay} seconds...") time.sleep(retry_delay) raise Exception("Max retries reached.") 四、结论与展望 通过上述策略，我们可以在一定程度上减轻外部服务依赖对Solr性能的影响。然而，重要的是要持续监控系统的运行状况，并根据实际情况调整优化措施。嘿，你听说了吗？科技这玩意儿啊，那可是越来越牛了！你看，现在就有人在琢磨怎么对付那些让人上瘾的东西。将来啊，说不定能搞出个既高效又结实的办法，帮咱们摆脱这个烦恼。想想都挺激动的，对吧？哎呀，兄弟！构建一个稳定又跑得快的搜索系统，那可得好好琢磨琢磨外部服务这事儿。你知道的，这些服务就像是你家里的电器，得选对了，用好了，整个家才能舒舒服服的。所以啊，咱们得先搞清楚这些服务都是干啥的，它们之间怎么配合，还有万一出了点小状况，咱们能不能快速应对。这样，咱们的搜索系统才能稳如泰山，嗖嗖地飞快，用户一搜就满意，那才叫真本事呢！ --- 请注意，以上代码示例是基于Python和相关库编写的，实际应用时需要根据具体环境和技术栈进行相应的调整。

...你感兴趣，可以将下面代码复制到IDLE或者Spyder或者Pycharm，轻轻一点，属于你的图就成了。 第一个图from matplotlib import pyplot as plt 调节图形大小，宽，高plt.figure(figsize=(6,9))定义饼状图的标签，标签是列表labels = [ '实践与经验','交流与反馈','培训与学习']每个标签占多大，会自动去算百分比sizes = [70,20,10]colors = ['red','yellowgreen','lightskyblue']colors = ['gray','00FFFF','FF1493']灰、粉、蓝绿将某部分爆炸出来， 使用括号，将第一块分割出来，数值的大小是分割出来的与其他两块的间隙explode = (0.05,0.05,0)patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,labeldistance = 1.1,autopct = '%3.1f%%',shadow = False,startangle = 90,pctdistance = 0.6)labeldistance，文本的位置离远点有多远，1.1指1.1倍半径的位置autopct，圆里面的文本格式，%3.1f%%表示小数有三位，整数有一位的浮点数shadow，饼是否有阴影startangle，起始角度，0，表示从0开始逆时针转，为第一块。一般选择从90度开始比较好看pctdistance，百分比的text离圆心的距离patches, l_texts, p_texts，为了得到饼图的返回值，p_texts饼图内部文本的，l_texts饼图外label的文本改变文本的大小方法是把每一个text遍历。调用set_size方法设置它的属性for t in l_text:t.set_size(25)for t in p_text:t.set_size(20) 设置x，y轴刻度一致，这样饼图才能是圆的plt.axis('equal')plt.legend(loc="upper left",frameon=False,fontsize=20,borderaxespad=-5)plt.title('721法则', y=-0.1,fontsize=30,loc="center")plt.savefig("721法则.png")plt.show() 下图还是我画的，当然，没有上面那个美观。 第二个图import matplotlib.pyplot as pltplt.rcParams['font.family']='SimHei'plt.figure(figsize=(6, 9))labels = '实践与经验','交流与反馈','培训与学习'sizes = [70.0,20.0,10.0]explode = (0.1,0,0)colors = ['gray','00FFFF','FF1493']plt.pie(sizes,explode=explode,labels=labels,colors=colors,labeldistance=1.1,\autopct='%d%%',shadow=True,counterclock=False)plt.legend(loc="upper left",frameon=False,fontsize=18,borderaxespad=-5)plt.axis('equal')plt.title('721法则', y=-0.1,fontsize=18)plt.savefig("721法则.png")plt.show() 结论：我们不但要会画，还要学着画得尽可能美，实践是唯一的途径。 Python入门教程 如果你现在还是不会Python也没关系，下面我会给大家免费分享一份Python全套学习资料， 包含视频、源码、课件，希望能帮到那些不满现状，想提升自己却又没有方向的朋友，可以和我一起来学习交 流。 ① Python所有方向的学习路线图，清楚各个方向要学什么东西 ② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析 ③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论 ④ 20款主流手游迫解 爬虫手游逆行迫解教程包 ⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解 ⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解 ⑦ 超300本Python电子好书，从入门到高阶应有尽有 ⑧ 华为出品独家Python漫画教程，手机也能学习 ⑨ 历年互联网企业Python面试真题,复习时非常方便 👉Python学习视频600合集👈 观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 👉实战案例👈 光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。 👉100道Python练习题👈 检查学习结果。 👉面试刷题👈 资料领取 上述这份完整版的Python全套学习资料已经上传CSDN官方，朋友们如果需要可以微信扫描下方CSDN官方认证二维码输入“领取资料” 即可领取 好文推荐 了解python的前景：https://blog.csdn.net/weixin_49891576/article/details/127187029 了解python的兼职：https://blog.csdn.net/weixin_49891576/article/details/127125308 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_49891576/article/details/130861900。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

... (7)在项目中添加静态库和相关头文件。 A.先右击项目文件，接着依次选择:“添加”→“现有项”。 B.在弹出的窗口中依次添加静态库和相关头文件。 (8)声明用到的头文件和定义控制器连接句柄。 至此项目新建完成，可进行MFC项目开发。 2.查看PC函数手册，熟悉相关函数接口 (1)PC函数手册也在光盘资料里面，具体路径如下：“光盘资料\8.PC函数\函数库2.1\ZMotion函数库编程手册 V2.1.pdf” (2)链接控制器，获取链接句柄。 ZAux_OpenEth()接口说明： (3)振镜运动接口。 为振镜运动单独封装了一个运动接口，使用movescanabs指令进行运动，采用FORCE_SPEED参数设置运动过程中的速度，运动过程中基本不存在加减速过程，支持us级别的时间控制。 3. MFC开发控制器双振镜运动例程 （1）例程界面如下。 （2） 链接按钮的事件处理函数中调用链接控制器的接口函数ZAux_OpenEth（），与控制器进行链接,链接成功后启动定时器1监控控制器状态。 //网口链接控制器void CSingle_move_Dlg::OnOpen(){char buffer[256]; int32 iresult;//如果已经链接，则先断开链接if(NULL != g_handle){ZAux_Close(g_handle);g_handle = NULL;}//从IP下拉框中选择获取IP地址GetDlgItemText(IDC_IPLIST,buffer,255);buffer[255] = '\0';//开始链接控制器iresult = ZAux_OpenEth(buffer, &g_handle);if(ERR_SUCCESS != iresult){g_handle = NULL;MessageBox(_T("链接失败"));SetWindowText("未链接");return;}//链接成功开启定时器1SetWindowText("已链接");SetTimer( 1, 100, NULL ); } （3）通过定时器监控控制器状态 。 void CSingle_move_Dlg::OnTimer(UINT_PTR nIDEvent) {// TODO: Add your message handler code here and/or call defaultif(NULL == g_handle){MessageBox(_T("链接断开"));return ;}if(1 == nIDEvent){CString string;float position = 0;ZAux_Direct_GetDpos( g_handle,m_nAxis,&position); //获取当前轴位置string.Format("振镜X1轴位置：%.2f", position );GetDlgItem( IDC_CURPOS )->SetWindowText( string );float NowSp = 0;ZAux_Direct_GetVpSpeed( g_handle,m_nAxis,&NowSp); //获取当前轴速度string.Format("振镜X1轴速度：%.2f", NowSp );GetDlgItem( IDC_CURSPEED)->SetWindowText( string );ZAux_Direct_GetDpos(g_handle, m_nAxis+1, &position); //获取当前轴位置string.Format("振镜Y1轴位置：%.2f", position);GetDlgItem(IDC_CURPOS2)->SetWindowText(string);ZAux_Direct_GetVpSpeed(g_handle, m_nAxis+1, &NowSp); //获取当前轴速度string.Format("振镜Y1轴速度：%.2f", NowSp);GetDlgItem(IDC_CURSPEED2)->SetWindowText(string);ZAux_Direct_GetDpos(g_handle, m_nAxis + 2, &position); //获取当前轴位置string.Format("振镜X2轴位置：%.2f", position);GetDlgItem(IDC_CURPOS3)->SetWindowText(string);NowSp = 0;ZAux_Direct_GetVpSpeed(g_handle, m_nAxis + 2, &NowSp); //获取当前轴速度string.Format("振镜X2轴速度：%.2f", NowSp);GetDlgItem(IDC_CURSPEED3)->SetWindowText(string);ZAux_Direct_GetDpos(g_handle, m_nAxis + 3, &position); //获取当前轴位置string.Format("振镜Y2轴位置：%.2f", position);GetDlgItem(IDC_CURPOS4)->SetWindowText(string);ZAux_Direct_GetVpSpeed(g_handle, m_nAxis + 3, &NowSp); //获取当前轴速度string.Format("振镜Y2轴速度：%.2f", NowSp);GetDlgItem(IDC_CURSPEED4)->SetWindowText(string);int status = 0; ZAux_Direct_GetIfIdle(g_handle, m_nAxis,&status); //判断当前轴状态if (status == -1){GetDlgItem( IDC_CURSTATE )->SetWindowText( "当前状态：停 止" );}else{GetDlgItem( IDC_CURSTATE )->SetWindowText( "当前状态：运动中" );} }CDialog::OnTimer(nIDEvent);} （4）通过启动按钮的事件处理函数获取编辑框的移动轨迹，并设置振镜轴参数操作振镜轴运动。 void CSingle_move_Dlg::OnStart() //启动运动{if(NULL == g_handle){MessageBox(_T("链接断开状态"));return ;}UpdateData(true);//刷新参数int status = 0; ZAux_Direct_GetIfIdle(g_handle, m_nAxis,&status); //判断当前轴状态 if (status == 0) //已经在运动中{ return;} //设定轴类型 1-脉冲轴类型 for (int i = 4; i < 8; i++){ZAux_Direct_SetAtype(g_handle, i, m_Atype);ZAux_Direct_SetMerge(g_handle,i,1);//设置脉冲当量ZAux_Direct_SetUnits(g_handle, i, m_units);//设定速度，加减速ZAux_Direct_SetLspeed(g_handle, i, m_lspeed);ZAux_Direct_SetSpeed(g_handle, i, m_speed);ZAux_Direct_SetForceSpeed(g_handle, i, m_speed);ZAux_Direct_SetAccel(g_handle, i, m_acc);ZAux_Direct_SetDecel(g_handle, i, m_dec);//设定S曲线时间 设置为0表示梯形加减速 ZAux_Direct_SetSramp(g_handle, i, m_sramp);}//使用MOVESCANABS运动int axislist[2] = { 4,5 };float dposlist[2] = { 0,0 };ZAux_MoveScanAbs(2, axislist, dposlist);CString str;GetDlgItem(IDC_EDIT_POSX1)->GetWindowText(str);float dbx = atof(str);GetDlgItem(IDC_EDIT_POSY1)->GetWindowText(str);float dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX2)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY2)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX3)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY3)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX4)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY4)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);//第二个振镜运动//使用MOVESCANABS运动axislist[0] = 6;axislist[1] = 7;dposlist[0] = 0;dposlist[1] = 0;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX5)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY5)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX6)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY6)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX7)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY7)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);GetDlgItem(IDC_EDIT_POSX8)->GetWindowText(str);dbx = atof(str);GetDlgItem(IDC_EDIT_POSY8)->GetWindowText(str);dby = atof(str);dposlist[0] = dbx;dposlist[1] = dby;ZAux_MoveScanAbs(2, axislist, dposlist);UpdateData(false); } (5) 通过断开按钮的事件处理函数来断开与控制卡的连接。 void CSingle_move_Dlg::OnClose() //断开链接{// TODO: Add your control notification handler code hereif(NULL != g_handle){KillTimer(1); //关定时器KillTimer(2);ZAux_Close(g_handle);g_handle = NULL;SetWindowText("未链接");} } （6）通过坐标清零按钮的事件处理函数移动振镜轴回零到中心零点位置，不直接使用dpos=0，修改振镜轴坐标。 void CSingle_move_Dlg::OnZero() //清零坐标{if(NULL == g_handle){MessageBox(_T("链接断开状态"));return ;}// TODO: Add your control notification handler code hereint axislist[2] = { 4,5 };float dposlist[2] = { 0 };ZAux_Direct_MoveAbs(g_handle,2,axislist,dposlist); //设置运动回零点} 三调试与监控 编译运行例程，同时通过ZDevelop软件连接控制器对控制器状态进行监控 。 ZDevelop软件连接控制器监控控制器的状态，查看振镜轴对应参数，并可搭配示波器检测双振镜轨迹。 设置振镜轴运动，首先需要将轴类型配置成21振镜轴类型，并对应配置振镜轴的速度加减速等参数才可操作振镜进行运动。 通过ZDevelop软件的示波器监控双振镜运动运行轨迹。 视频演示。 开放式激光振镜+运动控制器(六)-双振镜运动 本次，正运动技术开放式激光振镜+运动控制器(六)：双振镜运动，就分享到这里。 更多精彩内容请关注“正运动小助手”公众号，需要相关开发环境与例程代码，请咨询正运动技术销售工程师：400-089-8936。 本文由正运动技术原创，欢迎大家转载，共同学习，一起提高中国智能制造水平。文章版权归正运动技术所有，如有转载请注明文章来源。 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_57350300/article/details/123402200。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...untrusted code from the 'net ;) 如果您只是从'net;)运行未读和不受信任的代码，则安装很简单。 curl -sSL https://install.pi-hole.net | bash Otherwise, follow their instructions and download the installer, study it, and run it. 否则，请遵循他们的指示并下载安装程序，对其进行研究并运行。 I put my pi-hole installation on the metal, but there's also a very nice Docker Pi-hole setup if you prefer that. You can even go further, if, like me, you have Synology NAS which can also run Docker, which can in turn run a Pi-hole. 我将pi-hole安装在金属上，但是如果您愿意的话，还有一个非常好的Docker Pi-hole设置。 如果像我一样，如果您拥有也可以运行Docker的Synology NAS ，那么它甚至可以运行Pi-hole，您甚至可以走得更远。 Within the admin interface you can tail the logs for the entire network, which is also amazing to see. You think you know what's talking to the internet from your house - you don't. Everything is logged and listed. After installing the Pi-hole roughly 18% of the DNS queries heading out of my house were blocked. At one point over 23% were blocked. Oy. 在管理界面中，您可以跟踪整个网络的日志，这也很令人惊讶。 您认为自己知道从家里到互联网的谈话内容，而您却不知道。 一切都记录并列出。 安装完Pi漏洞后，大约有18％的DNS查询从我家出来。 一度超过23％被阻止。 哦 NOTE: If you're using an Amplifi HD or any "clever" router, you'll want to change the setting "Bypass DNS cache" otherwise the Amplifi will still remain the DNS lookup of choice on your network. This setting will also confuse the Pi-hole and you'll end up with just one "client" of the Pi-hole - the router itself. 注意：如果您使用Amplifi HD或任何“智能”路由器，则需要更改设置“绕过DNS缓存”，否则Amplifi仍将是您网络上首选的DNS查找。 此设置还会混淆PiKong，您最终只会得到PiKong的一个“客户端”，即路由器本身。 For me it's less about advertising - especially on small blogs or news sites I want to support - it's about just obnoxious tracking cookies and JavaScript. I'm going to keep using Pi-hole for a few months and see how it goes. Do be aware that some things WILL break. Could be a kid's iPhone free-to-play game that won't work unless it can download an add, could be your company's VPN. You'll need to log into http://pi.hole/admin (make sure you save your password when you first install, and you can only change it at the SSH command line with "pihole -a -p") and sometimes disable it for a few minutes to test, then whitelist certain domains. I suspect after a few weeks I'll have it nicely dialed in. 对我来说，它与广告无关，尤其是在我要支持的小型博客或新闻网站上，它只是关于令人讨厌的跟踪cookie和JavaScript。 我将继续使用Pi-hole几个月，看看效果如何。 请注意，有些事情会中断。 可能是一个孩子的iPhone免费游戏，除非可以下载附件，否则它将无法正常工作，可能是您公司的VPN。 您需要登录http：//pi.hole/admin (确保在首次安装时保存密码，并且只能在SSH命令行中使用“ pihole -a -p”更改密码)，有时将其禁用几分钟以进行测试，然后将某些域列入白名单。 我怀疑几周后我会拨好电话。 翻译自: https://www.hanselman.com/blog/blocking-ads-before-they-enter-your-house-at-the-dns-level-with-pihole-and-a-cheap-raspberry-pi pi-hole 本篇文章为转载内容。原文链接：https://blog.csdn.net/cunfusq0176/article/details/109051003。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...使用的编译器大多会对代码做一定程度的优化，CPU也会对执行指令做一些优化调整，目的是提高代码的执行效率，但这样的优化，有时候会带来不期望的结果。如例： void foo_update（ foo new_fp ）{spin_lock（&foo_mutex）;foo old_fp = gbl_foo;new_fp-》a = 1;new_fp-》b = ‘b’;new_fp-》c = 100;gbl_foo = new_fp;spin_unlock（&foo_mutex）;synchronize_rcu（）;kfee（old_fp）;} 这段代码中，我们期望的是6，7，8行的代码在第10行代码之前执行。但优化后的代码并不会对执行顺序做出保证。在这种情形下，一个读线程很可能读到 new_fp，但new_fp的成员赋值还没执行完成。单独线程执行dosomething（fp-》a， fp-》b ， fp-》c ） 的 这个时候，就有不确定的参数传入到dosomething，极有可能造成不期望的结果，甚至程序崩溃。可以通过优化屏障来解决该问题，RCU机制对优化屏障做了包装，提供了专用的API来解决该问题。这时候，第十行不再是直接的指针赋值，而应该改为 ： rcu_assign_pointer（gbl_foo，new_fp）;rcu_assign_pointer的实现比较简单，如下：define rcu_assign_pointer（p， v） \__rcu_assign_pointer（（p）， （v）， __rcu）define __rcu_assign_pointer（p， v， space） \do { \smp_wmb（）; \（p） = （typeof（v） __force space ）（v）; \} while （0） 我们可以看到它的实现只是在赋值之前加了优化屏障 smp_wmb来确保代码的执行顺序。另外就是宏中用到的__rcu，只是作为编译过程的检测条件来使用的。 在DEC Alpha CPU机器上还有一种更强悍的优化，如下所示： void foo_read（void）{rcu_read_lock（）;foo fp = gbl_foo;if （ fp ！= NULL ）dosomething（fp-》a， fp-》b ，fp-》c）;rcu_read_unlock（）;} 第六行的 fp-》a，fp-》b，fp-》c会在第3行还没执行的时候就预先判断运行，当他和foo_update同时运行的时候，可能导致传入dosomething的一部分属于旧的gbl_foo，而另外的属于新的。这样会导致运行结果的错误。为了避免该类问题，RCU还是提供了宏来解决该问题： define rcu_dereference（p） rcu_dereference_check（p， 0）define rcu_dereference_check（p， c） \__rcu_dereference_check（（p）， rcu_read_lock_held（） || （c）， __rcu）define __rcu_dereference_check（p， c， space） \（{ \typeof（p） _________p1 = （typeof（p）__force ）ACCESS_ONCE（p）; \rcu_lockdep_assert（c， “suspicious rcu_dereference_check（）” \usage”）; \rcu_dereference_sparse（p， space）; \smp_read_barrier_depends（）; \（typeof（p） __force __kernel ）（_________p1））; \}）staTIc inline int rcu_read_lock_held（void）{if （！debug_lockdep_rcu_enabled（））return 1;if （rcu_is_cpu_idle（））return 0;if （！rcu_lockdep_current_cpu_online（））return 0;return lock_is_held（&rcu_lock_map）;} 这段代码中加入了调试信息，去除调试信息，可以是以下的形式（其实这也是旧版本中的代码）： define rcu_dereference（p） （{ \typeof（p） _________p1 = p; \smp_read_barrier_depends（）; \（_________p1）; \}） 在赋值后加入优化屏障smp_read_barrier_depends（）。我们之前的第四行代码改为 foo fp = rcu_dereference（gbl_foo）;，就可以防止上述问题。 数据读取的完整性 还是通过例子来说明这个问题： 如图我们在原list中加入一个节点new到A之前，所要做的第一步是将new的指针指向A节点，第二步才是将Head的指针指向new。这样做的目的是当插入操作完成第一步的时候，对于链表的读取并不产生影响，而执行完第二步的时候，读线程如果读到new节点，也可以继续遍历链表。如果把这个过程反过来，第一步head指向new，而这时一个线程读到new，由于new的指针指向的是Null，这样将导致读线程无法读取到A，B等后续节点。从以上过程中，可以看出RCU并不保证读线程读取到new节点。如果该节点对程序产生影响，那么就需要外部调用来做相应的调整。如在文件系统中，通过RCU定位后，如果查找不到相应节点，就会进行其它形式的查找，相关内容等分析到文件系统的时候再进行叙述。 我们再看一下删除一个节点的例子： 如图我们希望删除B，这时候要做的就是将A的指针指向C，保持B的指针，然后删除程序将进入宽限期检测。由于B的内容并没有变更，读到B的线程仍然可以继续读取B的后续节点。B不能立即销毁，它必须等待宽限期结束后，才能进行相应销毁操作。由于A的节点已经指向了C，当宽限期开始之后所有的后续读操作通过A找到的是C，而B已经隐藏了，后续的读线程都不会读到它。这样就确保宽限期过后，删除B并不对系统造成影响。 小结 RCU的原理并不复杂，应用也很简单。但代码的实现确并不是那么容易，难点都集中在了宽限期的检测上，后续分析源代码的时候，我们可以看到一些极富技巧的实现方式。 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_50662680/article/details/128449401。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...性能确实吊炸天，而且代码写起来也挺优雅。 然后是 Google Cloud Secret Manager，这是一个专门用来存储敏感信息（比如 API 密钥、数据库密码啥的）的服务。对开发者而言，安全这事得放首位，要是还用那种硬编码或者直接把密钥啥的写进配置文件的老办法，那简直就是在玩火自焚啊！Google Cloud Secret Manager 提供了加密存储、访问控制等功能，简直是保护秘钥的最佳选择之一。 所以，当我把这两者放在一起的时候，脑海里立刻浮现出一个画面：Tornado 快速响应前端请求，而 Secret Manager 在背后默默守护着那些珍贵的秘密。是不是很带感？接下来我们就一步步深入探索它们的合作方式吧！ --- 2. 初识Tornado 搭建一个简单的Web服务 既然要玩转 Tornado，咱们得先搭个基础框架才行。好嘞，接下来我就简单搞个小网页服务，就让它回一句暖心的问候就行啦！虽然看起来简单，但这可是后续一切的基础哦！ python import tornado.ioloop import tornado.web class MainHandler(tornado.web.RequestHandler): def get(self): self.write("Hello, Tornado!") def make_app(): return tornado.web.Application([ (r"/", MainHandler), ]) if __name__ == "__main__": app = make_app() app.listen(8888) print("Server started at http://localhost:8888") tornado.ioloop.IOLoop.current().start() 这段代码超级简单对不对？我们定义了一个 MainHandler 类继承自 tornado.web.RequestHandler，重写了它的 get 方法，当收到 GET 请求时就会执行这个方法，并向客户端返回 "Hello, Tornado!"。然后呢，就用 make_app 这个函数把路由和这个处理器绑在一起，最后再启动服务器，让它开始监听 8888 端口。 运行后打开浏览器输入 http://localhost:8888，就能看到页面显示 "Hello, Tornado!" 了。是不是特别爽？不过别急着高兴，这只是万里长征的第一步呢！ --- 3. 引入Google Cloud Secret Manager：让秘密不再裸奔 现在我们知道如何用 Tornado 做点事情了，但问题是，如果我们的应用程序需要用到一些敏感信息（例如数据库连接字符串），该怎么办呢？直接写在代码里吗？当然不行！这就是为什么我们要引入 Google Cloud Secret Manager。 3.1 安装依赖库 首先需要安装 Google Cloud 的官方 Python SDK： bash pip install google-cloud-secret-manager 3.2 获取Secret Manager中的值 假设我们在 Google Cloud Console 上已经创建了一个名为 my-secret 的密钥，并且它里面保存了我们的数据库密码。我们可以这样从 Secret Manager 中读取这个值： python from google.cloud import secretmanager def access_secret_version(project_id, secret_id, version_id): client = secretmanager.SecretManagerServiceClient() name = f"projects/{project_id}/secrets/{secret_id}/versions/{version_id}" response = client.access_secret_version(name=name) payload = response.payload.data.decode('UTF-8') return payload 使用示例 db_password = access_secret_version("your-project-id", "my-secret", "latest") print(f"Database Password: {db_password}") 这段代码做了什么呢？很简单，它实例化了一个 SecretManagerServiceClient 对象，然后根据提供的项目 ID、密钥名称以及版本号去访问对应的密钥内容。注意这里的 version_id 参数可以设置为 "latest" 来获取最新的版本。 --- 4. 将两者结合起来 构建更安全的应用 那么问题来了，怎么才能让 Tornado 和 Google Cloud Secret Manager 协同工作呢？其实答案很简单——我们可以将从 Secret Manager 获取到的敏感数据注入到 Tornado 的配置对象中，从而在整个应用范围内使用这些信息。 4.1 修改Tornado应用以支持从Secret Manager加载配置 让我们修改之前的 MainHandler 类，让它从 Secret Manager 中加载数据库密码并用于某种操作（比如查询数据库）。为了简化演示，这里我们假设有一个 get_db_password 函数负责完成这项任务： python from google.cloud import secretmanager def get_db_password(): client = secretmanager.SecretManagerServiceClient() name = f"projects/{YOUR_PROJECT_ID}/secrets/my-secret/versions/latest" response = client.access_secret_version(name=name) return response.payload.data.decode('UTF-8') class MainHandler(tornado.web.RequestHandler): def initialize(self, db_password): self.db_password = db_password def get(self): self.write(f"Connected to database with password: {self.db_password}") def make_app(): db_password = get_db_password() return tornado.web.Application([ (r"/", MainHandler, {"db_password": db_password}), ]) 在这个例子中，我们在 make_app 函数中调用了 get_db_password() 来获取数据库密码，并将其传递给 MainHandler 的构造函数作为参数。这样一来，每个 MainHandler 实例都会拥有自己的数据库密码属性。 --- 5. 总结与展望 好了朋友们，今天的分享就到这里啦！通过这篇文章，我们了解了如何利用 Tornado 和 Google Cloud Secret Manager 来构建更加安全可靠的 Web 应用。虽然过程中遇到了不少挑战，但最终的效果还是让我感到非常满意。 未来的话，我还想尝试更多有趣的功能组合，比如结合 Redis 缓存提高性能，或者利用 Pub/Sub 实现消息队列机制。如果你也有类似的想法或者遇到什么问题，欢迎随时跟我交流呀！ 最后祝大家 coding愉快，记得保护好自己的秘密哦~ 😊

...但随着功能越来越多，代码变得越来越乱，调试起来简直是噩梦。比如说啊，在一个类里面直接写死了另一个类的对象创建逻辑，这就跟在菜谱上直接固定了所有食材的品牌一样，一旦你想换点新鲜的或者调整一下，就得满世界翻找那些用到这个菜谱的地方，挨个改过来。更惨的是，改完还得一项项地重新验证，生怕哪里漏掉了，搞得自己头都大了。 这就是没有依赖注入（Dependency Injection, DI）的问题。依赖注入嘛，简单说就是把对象的创建和管理工作“外包”给一个外部的“容器”，这样就能让代码之间的关系变得松散一些，彼此不那么死板地绑在一起，开发起来也更灵活方便。这样做简直太棒了！代码变得超级清晰，就像一条干净整洁的小路，谁走都明白；维护起来也轻松多了，像是收拾一个不大的房间，根本不用费劲找东西；而且还能轻松做单元测试，就像给每个小零件单独体检一样简单！ 但是，依赖注入也不是万能的。如果我们配置不对，那就会出大问题。今天我们就来聊聊这个话题——DI容器配置错误。 --- 2. 配置错误 从一个小例子说起 先来看一个简单的例子： csharp public interface IService { void DoWork(); } public class Service : IService { public void DoWork() { Console.WriteLine("Doing work..."); } } 假设我们有一个Service类实现了IService接口，现在我们需要在程序中使用这个服务。按照传统的做法，可能会直接在类内部实例化： csharp public class Worker { private readonly IService _service = new Service(); public void Execute() { _service.DoWork(); } } 这种方式看起来没什么问题，但实际上隐藏着巨大的隐患。比如，如果你需要替换Service为其他实现（比如MockService），你就得修改Worker类的代码。这违背了开闭原则。 于是，我们引入了依赖注入框架，比如Microsoft的Microsoft.Extensions.DependencyInjection。让我们看看如何正确配置。 --- 3. 正确配置 DI容器的正确姿势 首先，你需要注册服务。比如，在Program.cs文件中： csharp using Microsoft.Extensions.DependencyInjection; var services = new ServiceCollection(); services.AddTransient(); var serviceProvider = services.BuildServiceProvider(); 这里的关键点在于Transient这个词。它表示每次请求时都会生成一个新的实例。对了，还有别的选择呢，比如说 Scoped——在一个作用域里大家用同一个实例，挺节省资源的；再比如 Singleton——在整个应用跑着的时候大家都用一个“独苗”实例，从头到尾都不换。选择合适的生命周期很重要，否则可能会导致意想不到的行为。 接下来，我们可以通过依赖注入获取实例： csharp public class Worker { private readonly IService _service; public Worker(IService service) { _service = service; } public void Execute() { _service.DoWork(); } } 在这个例子中，Worker类不再负责创建IService的实例，而是由DI容器提供。这种解耦的方式让代码更加灵活。 --- 4. 配置错误 常见的坑 然而，现实总是比理想复杂得多。以下是一些常见的DI配置错误，以及它们可能带来的后果。 4.1 注册类型时搞错了 有时候我们会不小心把类型注册错了。比如： csharp services.AddTransient(); // 想注册MockService，却写成了Service 结果就是，无论你在代码中怎么尝试，拿到的永远是Service而不是MockService。其实这个坑挺容易被忽略的，毕竟编译器又不报错，一切都看起来风平浪静，直到程序跑起来的时候，问题才突然冒出来，啪叽一下给你整一个大 surprise！ 我的建议是，尽量使用常量或者枚举来定义服务名称，这样可以减少拼写错误的风险： csharp public static class ServiceNames { public const string MockService = "MockService"; public const string RealService = "RealService"; } services.AddTransient(ServiceNames.MockService, typeof(MockService)); 4.2 生命周期设置不当 另一个常见的问题是生命周期设置错误。比如说，你要是想弄个单例服务，结果不小心把它设成了 Transient，那每次调用的时候都会新生成一个实例。这就好比你本来想让一个人负责一件事，结果每次都换个人来干，不仅效率低得让人崩溃，搞不好还会出大乱子呢！ csharp // 错误示范 services.AddTransient(); // 正确示范 services.AddSingleton(); 记住，单例模式适用于那些无状态或者状态不重要的场景。嘿，想象一下，你正在用一个数据库连接池这种“有状态”的服务，要是把它搞成单例模式，那可就热闹了——多个线程或者任务同时去抢着用它，结果就是互相踩脚、搞砸事情，什么竞争条件啦、数据混乱啦，各种麻烦接踵而至。就好比大家伙儿都盯着同一个饼干罐子，都想伸手拿饼干，但谁也没个规矩，结果不是抢得太猛把罐子摔了，就是谁都拿不痛快。所以啊，这种情况下，还是别让单例当这个“独裁者”了，分清楚责任才靠谱！ 4.3 忘记注册依赖 有时候，我们可能会忘记注册某些依赖项。比如： csharp public class SomeClass { private readonly IAnotherService _anotherService; public SomeClass(IAnotherService anotherService) { _anotherService = anotherService; } } 如果IAnotherService没有被注册到DI容器中，那么在运行时就会抛出异常。为了避免这种情况，你可以使用AddScoped或AddTransient来确保所有依赖都被正确注册。 --- 5. 探讨与总结 通过今天的讨论，我们可以看到，虽然依赖注入能够极大地提高代码的质量和可维护性，但它并不是万能的。设置搞错了，那可就麻烦大了，小到一个单词拼错了，大到程序跑偏、东西乱套，什么幺蛾子都可能出现。 我的建议是，在使用DI框架时要多花时间去理解和实践。不要害怕犯错，因为正是这些错误教会了我们如何更好地编写代码。同时，也要学会利用工具和日志来帮助自己排查问题。 最后，我想说的是，编程不仅仅是解决问题的过程，更是一个不断学习和成长的过程。希望大家能够在实践中找到乐趣，享受每一次成功的喜悦！ 好了，今天的分享就到这里啦，如果你有任何疑问或者想法，欢迎随时留言交流哦！😄

... 14. 安装VS Code 官网下载Linux版本的软件：Visual Studio Code - Code Editing. Redefined deepin的软件包格式为deb。安装： sudo dpkg -i code_1.61.1-1634175470_amd64.deb 最新版本 sudo dpkg -i code_1.76.0-1677667493_amd64.deb 如果报错执行 sudo apt-get -f install 15. 安装微信、QQ、迅雷 微信 sudo apt-get install -y com.qq.weixin.deepin QQ sudo apt-get install -y com.qq.im.deepin 迅雷 sudo apt-get install -y com.xunlei.download 16. 安装视频播放器 sudo apt-get -y install smplayer sudo apt-get -y install vlc 17. 安装SSH工具electerm 下载electerm的deb版本 deepin的软件包格式为deb。安装： https://github.com/electerm/electerm/releases/download/v1.25.16/electerm-1.25.16-linux-amd64.deb sudo dpkg -i electerm-1.25.16-linux-amd64.deb 18.安装FTP/SFTP工具FileZilla sudo apt-get -y install filezilla 19. 安装edge浏览器 下载edge浏览器 deepin的软件包格式为deb。安装： 下载 Microsoft Edge sudo apt-get -y install fonts-liberation sudo apt-get -y install libu2f-udev sudo dpkg -i microsoft-edge-beta_95.0.1020.30-1_amd64.deb 最新版本 sudo dpkg -i microsoft-edge-stable_110.0.1587.63-1_amd64.deb 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_42173947/article/details/119973703。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...rash，如下面示例代码所示： auto_ptr<int> p1(new int(10));auto_ptr<int> p2 = p1; //转移控制权p1 += 10; //crash，p1为空指针，可以用p1->get判空做保护 因此在C++11又推出了unique_ptr、shared_ptr、weak_ptr三种智能指针，慢慢取代auto_ptr。 unique_ptr的使用 unique_ptr是auto_ptr的继承者，对于同一块内存只能有一个持有者，而unique_ptr和auto_ptr唯一区别就是unique_ptr不允许赋值操作，也就是不能放在等号的右边（函数的参数和返回值例外），这一定程度避免了一些误操作导致指针所有权转移，然而，unique_str依然有提供所有权转移的方法move，调用move后，原unique_ptr就会失效，再用其访问裸指针也会发生和auto_ptr相似的crash，如下面示例代码，所以，即使使用了unique_ptr，也要慎重使用move方法，防止指针所有权被转移。 unique_ptr<int> up(new int(5));//auto up2 = up; // 编译错误auto up2 = move(up);cout << up << endl; //crash，up已经失效，无法访问其裸指针 除了上述用法，unique_ptr还支持创建动态数组。在C++中，创建数组有很多方法，如下所示： // 静态数组，在编译时决定了数组大小int arr[10];// 通过指针创建在堆上的数组，可在运行时动态指定数组大小，但需要手动释放内存int arr = new int[10];// 通过std::vector容器创建动态数组，无需手动释放数组内存vector<int> arr(10);// 通过unique_ptr创建动态数组，也无需手动释放数组内存，比vector更轻量化unique_ptr<int[]> arr(new int[10]); 这里需要注意的是，不管vector还是unique_ptr，虽然可以帮我们自动释放数组内存，但如果数组的元素是复杂数据类型时，我们还需要在其析构函数中正确释放内存。 真正的智能指针：shared_ptr auto_ptr和unique_ptr都有或多或少的缺陷，因此C++11还推出了shared_ptr，这也是目前工程内使用最多最广泛的智能指针，他使用引用计数（感觉有参考Objective-C的嫌疑），实现对同一块内存可以有多个引用，在最后一个引用被释放时，指向的内存才释放，这也是和unique_ptr最大的区别。 另外，使用shared_ptr过程中有几点需要注意： 构造shared_ptr的方法，如下示例代码所示，我们尽量使用shared_ptr构造函数或者make_shared的方式创建shared_ptr，禁止使用裸指针赋值的方式，这样会shared_ptr难于管理指针的生命周期。 // 使用裸指针赋值构造，不推荐，裸指针被释放后，shared_ptr就野了，不能完全控制裸指针的生命周期，失去了智能指针价值int p = new int(10);shared_ptr<int>sp = p;delete p; // sp将成为野指针，使用sp将crash// 将裸指针作为匿名指针传入构造函数，一般做法，让shared_ptr接管裸指针的生命周期，更安全shared_ptr<int>sp1(new int(10));// 使用make_shared，推荐做法，更符合工厂模式，可以连代码中的所有new，更高效；方法的参数是用来初始化模板类shared_ptr<int>sp2 = make_shared<int>(10); 禁止使用指向shared_ptr的裸指针，也就是智能指针的指针，这听起来就很奇怪，但开发中我们还需要注意，使用shared_ptr的指针指向一个shared_ptr时，引用计数并不会加一，操作shared_ptr的指针很容易就发生野指针异常。 shared_ptr<int>sp = make_shared<int>(10);cout << sp.use_count() << endl; //输出1shared_ptr<int> sp1 = &sp;cout << (sp1).use_count() << endl; //输出依然是1(sp1).reset(); //sp成为野指针cout << sp << endl; //crash 使用shared_ptr创建动态数组，在介绍unique_ptr时我们就讲过创建动态数组，而shared_ptr同样可以做到，不过稍微复杂一点，如下代码所示，除了要显示指定析构方法外（因为默认是T的析构函数，不是T[]），另外对外的数据类型依然是shared_ptr<T>，非常有迷惑性，看不出来是数组，最后不能直接使用下标读写数组，要先get()获取裸指针才可以使用下标。所以，不推荐使用shared_ptr来创建动态数组，尽量使用unique_ptr，这可是unique_ptr为数不多的优势了。 template <typename T>shared_ptr<T> make_shared_array(size_t size) {return shared_ptr<T>(new T[size], default_delete<T[]>());}shared_ptr<int>sp = make_shared_array(10); //看上去是shared<int>类型，实际上是数组sp.get()[0] = 100; //不能直接使用下标读写数组元素，需要通过get()方法获取裸指针后再操作 用shared_ptr实现多态，在我们使用裸指针时，实现多态就免不了定义虚函数，那么用shared_ptr时也不例外，不过有一处是可以省下的，就是析构函数我们不需要定义为虚函数了，如下面代码所示： class A {public:~A() {cout << "dealloc A" << endl;} };class B : public A {public:~B() {cout << "dealloc B" << endl;} };int main(int argc, const char argv[]) {A a = new B();delete a; //只打印dealloc Ashared_ptr<A>spa = make_shared<B>(); //析构spa是会先打印dealloc B，再打印dealloc Areturn 0;} 循环引用，笔者最先接触引用计数的语言就是Objective-C，而OC中最常出现的内存问题就是循环引用，如下面代码所示，A中引用B，B中引用A，spa和spb的强引用计数永远大于等于1，所以直到程序退出前都不会被退出，这种情况有时候在正常的业务逻辑中是不可避免的，而解决循环引用的方法最有效就是改用weak_ptr，具体可见下一章。 class A {public:shared_ptr<B> b;};class B {public:shared_ptr<A> a;};int main(int argc, const char argv[]) {shared_ptr<A> spa = make_shared<A>();shared_ptr<B> spb = make_shared<B>();spa->b = spb;spb->a = spa;return 0;} //main函数退出后，spa和spb强引用计数依然为1，无法释放 刚柔并济：weak_ptr 正如上一章提到，使用shared_ptr过程中有可能会出现循环引用，关键原因是使用shared_ptr引用一个指针时会导致强引用计数+1，从此该指针的生命周期就会取决于该shared_ptr的生命周期，然而，有些情况我们一个类A里面只是想引用一下另外一个类B的对象，类B对象的创建不在类A，因此类A也无需管理类B对象的释放，这个时候weak_ptr就应运而生了，使用shared_ptr赋值给一个weak_ptr不会增加强引用计数（strong_count），取而代之的是增加一个弱引用计数（weak_count），而弱引用计数不会影响到指针的生命周期，这就解开了循环引用，上一章最后的代码使用weak_ptr可改造为如下代码。 class A {public:shared_ptr<B> b;};class B {public:weak_ptr<A> a;};int main(int argc, const char argv[]) {shared_ptr<A> spa = make_shared<A>();shared_ptr<B> spb = make_shared<B>();spa->b = spb; //spb强引用计数为2，弱引用计数为1spb->a = spa; //spa强引用计数为1，弱引用计数为2return 0;} //main函数退出后，spa先释放，spb再释放，循环解开了使用weak_ptr也有需要注意的点，因为既然weak_ptr不负责裸指针的生命周期，那么weak_ptr也无法直接操作裸指针，我们需要先转化为shared_ptr，这就和OC的Strong-Weak Dance有点像了，具体操作如下：shared_ptr<int> spa = make_shared<int>(10);weak_ptr<int> spb = spa; //weak_ptr无法直接使用裸指针创建if (!spb.expired()) { //weak_ptr最好判断是否过期，使用expired或use_count方法，前者更快spb.lock() += 10; //调用weak_ptr转化为shared_ptr后再操作裸指针}cout << spa << endl; //20 智能指针原理 看到这里，智能指针的用法基本介绍完了，后面笔者来粗浅地分析一下为什么智能指针可以有效帮我们管理裸指针的生命周期。 使用栈对象管理堆对象 在C++中，内存会分为三部分，堆、栈和静态存储区，静态存储区会存放全局变量和静态变量，在程序加载时就初始化，而堆是由程序员自行分配，自行释放的，例如我们使用裸指针分配的内存；而最后栈是系统帮我们分配的，所以也会帮我们自动回收。因此，智能指针就是利用这一性质，通过一个栈上的对象（shared_ptr或unique_ptr）来管理一个堆上的对象（裸指针），在shared_ptr或unique_ptr的析构函数中判断当前裸指针的引用计数情况来决定是否释放裸指针。 shared_ptr引用计数的原理 一开始笔者以为引用计数是放在shared_ptr这个模板类中，但是细想了一下，如果这样将shared_ptr赋值给另一个shared_ptr时，是怎么做到两个shared_ptr的引用计数同时加1呢，让等号两边的shared_ptr中的引用计数同时加1？不对，如果还有第二个shared_ptr再赋值给第三个shared_ptr那怎么办呢？或许通过下面的类图便清楚个中奥秘。 [ boost中shared_ptr与weak_ptr类图 ] 我们重点关注shared_ptr<T>的类图，它就是我们可以直接操作的类，这里面包含裸指针T，还有一个shared_count的对象，而shared_count对象还不是最终的引用计数，它只是包含了一个指向sp_counted_base的指针，这应该就是真正存放引用计数的地方，包括强应用计数和弱引用计数，而且shared_count中包含的是sp_counted_base的指针，不是对象，这也就意味着假如shared_ptr<T> a = b，那么a和b底层pi_指针指向的是同一个sp_counted_base对象，这就很容易做到多个shared_ptr的引用计数永远保持一致了。 多线程安全 本章所说的线程安全有两种情况： 多个线程操作多个不同的shared_ptr对象 C++11中声明了shared_ptr的计数操作具有原子性，不管是赋值导致计数增加还是释放导致计数减少，都是原子性的，这个可以参考sp_counted_base的源码，因此，基于这个特性，假如有多个shared_ptr共同管理一个裸指针，那么多个线程分别通过不同的shared_ptr进行操作是线程安全的。 多个线程操作同一个shared_ptr对象 同样的道理，既然C++11只负责sp_counted_base的原子性，那么shared_ptr本身就没有保证线程安全了，加入两个线程同时访问同一个shared_ptr对象，一个进行释放（reset），另一个读取裸指针的值，那么最后的结果就不确定了，很有可能发生野指针访问crash。 作者：腾讯技术工程 https://mp.weixin.qq.com/s?__biz=MjM5ODYwMjI2MA==&mid=2649743462&idx=1&sn=c9d94ddc25449c6a0052dc48392a33c2&utm_source=tuicool&utm_medium=referralmp.weixin.qq.com 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_31467557/article/details/113049179。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...在一家电商公司当数据分析师，每天的工作就是跟上亿条用户的点击、浏览、下单这些行为记录打交道，简直就像在海量的信息海洋里淘宝一样！如果用传统的数据库，可能早就崩溃了。但Hadoop不一样，它可以将这些数据分散到多个服务器上进行并行处理，效率杠杠的！ 不过，Hadoop的魅力远不止于此。嘿，大家好！今天我想跟你们分享一个关于Hadoop的超棒功能——它居然能让你在不同的访问控制协议之间轻松切换文件！是不是听着就很带感？哎呀，是不是觉得这事听着有点绕？别慌，我这就用大白话给你说道说道，保证你一听就明白！ --- 二、什么是跨访问控制协议迁移？ 首先，我们得明白什么是访问控制协议。简单说，就是规定谁可以访问你的数据以及他们能做些什么的规则。好比说啊，你有个公共文件柜，你想让一些人只能打开看看里面的东西，啥都不能动；但另外一些人呢，不仅能看，还能随便改，甚至直接把东西清空或者拿走。这就是访问控制协议的作用。 那么，“跨访问控制协议迁移”又是什么意思呢？想象一下，你有两个不同的系统，它们各自有自己的访问控制规则。比如说，一个是Linux那边的ACL（访问控制列表）系统，另一个则是Windows里的NTFS权限系统，两者各有各的玩法。现在，你要把文件从一个系统迁移到另一个系统，而且你还想保留原来的访问控制设置。这就需要用到跨访问控制协议迁移的技术了。 为什么要关心这个功能呢？因为现实世界中，企业往往会有多种操作系统和存储环境。要是你对文件的权限管理不当，那可就麻烦了，要么重要数据被泄露出去，要么一不小心就把东西给搞砸了。而Hadoop通过其强大的灵活性，完美地解决了这个问题。 --- 三、Hadoop如何实现跨访问控制协议迁移？ 接下来，让我们来看看Hadoop是如何做到这一点的。其实，这主要依赖于Hadoop的分布式文件系统（HDFS）和它的API库。为了更好地理解，我们可以一步步来分析。 3.1 HDFS的基本概念 HDFS是Hadoop的核心组件之一，它是用来存储大量数据的分布式文件系统。这就像是一个超大号的硬盘，不过它有点特别，不是集中在一个地方存东西，而是把数据切成小块，分散到不同的“小房间”里去。这样做的好处是即使某个节点坏了，也不会影响整个系统的运行。 HDFS还提供了一套丰富的接口，允许开发者自定义文件的操作行为。这就为实现跨访问控制协议迁移提供了可能性。 3.2 实现步骤 实现跨访问控制协议迁移大致分为以下几个步骤： （1）读取源系统的访问控制信息 第一步是获取源系统的访问控制信息。比如，如果你正在从Linux系统迁移到Windows系统，你需要先读取Linux上的ACL配置。 java // 示例代码：读取Linux ACL import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; public class AccessControlReader { public static void main(String[] args) throws IOException { Path path = new Path("/path/to/source/file"); FileSystem fs = FileSystem.get(new Configuration()); // 获取ACL信息 String acl = fs.getAclStatus(path).toString(); System.out.println("Source ACL: " + acl); } } 这段代码展示了如何使用Hadoop API读取Linux系统的ACL信息。可以看到，Hadoop已经为我们封装好了相关的API，调用起来非常方便。 （2）转换为目标系统的格式 接下来，我们需要将读取到的访问控制信息转换为目标系统的格式。比如，将Linux的ACL转换为Windows的NTFS权限。 java // 示例代码：模拟ACL到NTFS的转换 public class AclToNtfsConverter { public static void convert(String linuxAcl) { // 这里可以编写具体的转换逻辑 System.out.println("Converting ACL to NTFS: " + linuxAcl); } } 虽然这里只是一个简单的打印函数，但实际上你可以根据实际需求编写复杂的转换算法。 （3）应用到目标系统 最后一步是将转换后的权限应用到目标系统上。这一步同样可以通过Hadoop提供的API来完成。 java // 示例代码：应用NTFS权限 public class NtfsPermissionApplier { public static void applyPermissions(Path targetPath, String ntfsPermissions) { try { // 模拟应用权限的过程 System.out.println("Applying NTFS permissions to " + targetPath.toString() + ": " + ntfsPermissions); } catch (Exception e) { e.printStackTrace(); } } } 通过这三个步骤，我们就完成了从源系统到目标系统的访问控制协议迁移。 --- 四、实战演练 一个完整的案例 为了让大家更直观地理解，我准备了一个完整的案例。好啦，想象一下，我们现在要干的事儿就是把一个文件从一台Linux服务器搬去Windows服务器，而且还得保证这个文件在新家里的“门禁权限”跟原来一模一样，不能搞错！ 4.1 准备工作 首先，确保你的开发环境中已经安装了Hadoop，并且配置好相关的依赖库。此外，还需要准备两台机器，一台装有Linux系统，另一台装有Windows系统。 4.2 编写代码 接下来，我们编写代码来实现迁移过程。首先是读取Linux系统的ACL信息。 java // 读取Linux ACL Path sourcePath = new Path("/source/file.txt"); FileSystem linuxFs = FileSystem.get(new Configuration()); String linuxAcl = linuxFs.getAclStatus(sourcePath).toString(); System.out.println("Linux ACL: " + linuxAcl); 然后，我们将这些ACL信息转换为NTFS格式。 java // 模拟ACL到NTFS的转换 AclToNtfsConverter.convert(linuxAcl); 最后，将转换后的权限应用到Windows系统上。 java // 应用NTFS权限 Path targetPath = new Path("\\\\windows-server\\file.txt"); NtfsPermissionApplier.applyPermissions(targetPath, "Full Control"); 4.3 执行结果 执行完上述代码后，你会发现文件已经被成功迁移到了Windows系统，并且保留了原有的访问控制设置。是不是很神奇？ --- 五、总结与展望 通过这篇文章，我相信你对Hadoop支持文件的跨访问控制协议迁移有了更深的理解。Hadoop不仅是一个强大的工具，更是一种思维方式的转变。它就像个聪明的老师，不仅教我们怎么用分布式的思路去搞定问题，还时不时敲打我们：嘿，别忘了数据的安全和规矩可不能丢啊！ 未来，随着技术的发展，Hadoop的功能会越来越强大。我希望你能继续探索更多有趣的话题，一起在这个充满挑战的世界里不断前行！ 加油吧，程序员们！

...“完蛋啦，是不是我的代码有问题？”但后来我慢慢发现，其实它并不是那么可怕，只要我们理解了它的原理，并且知道怎么应对，就能轻松解决这个问题。 那么，CommitQueueFullException到底是怎么回事呢？简单来说，ZooKeeper内部有一个请求队列，用来存储客户端发来的各种操作请求（比如创建节点、删除节点等）。嘿嘿，想象一下，这就好比一个超挤的电梯，已经装满了人，再有人想挤进去肯定会被拒之门外啦！ZooKeeper也一样，当它的小“队伍”排满了的时候，新来的请求就别想加塞儿了，直接就被它无情地“拒绝”了，然后还甩给你一个“异常”的小牌子，意思是说：“兄弟，这儿真的装不下了！”这种情况通常发生在高并发场景下，或者是网络延迟导致请求堆积。 为了更好地理解这个问题，我们可以看看下面这段代码： java import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.CreateMode; public class ZookeeperExample { public static void main(String[] args) throws Exception { // 创建ZooKeeper实例 ZooKeeper zk = new ZooKeeper("localhost:2181", 5000, event -> { System.out.println("ZooKeeper event: " + event); }); // 创建一个节点 String nodePath = zk.create("/testNode", "data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); System.out.println("Node created at path: " + nodePath); // 关闭连接 zk.close(); } } 在这个简单的例子中，我们尝试创建一个ZooKeeper实例并创建一个节点。如果这个时候ZooKeeper的队列满了，就会抛出CommitQueueFullException。所以，接下来我们要做的就是想办法避免这种情况的发生。 --- 二、为什么会出现CommitQueueFullException？ 在深入讨论解决方案之前，我觉得有必要先搞清楚为什么会发生这种异常。其实，这背后涉及到了ZooKeeper的一些设计细节。 首先，ZooKeeper的队列大小是由配置文件中的zookeeper.commitlog.capacity参数决定的。默认情况下，这个值是比较小的，可能只有几兆字节。想象一下，你的应用像一个忙碌的快递站，接到了无数订单（也就是那些请求）。但要是快递小哥忙得顾不上送货，订单就会越堆越多，很快整个站点就塞满了，连下一份订单都没地方放了！ 其次，网络环境也是一个重要因素。有时候，客户端和服务端之间的网络延迟会导致请求堆积。就算客户端那边请求没那么频繁，但要是服务端反应慢了，照样会出问题啊。 最后，还有一个容易被忽视的原因就是客户端的连接数过多。每个连接都会占用一定的资源，包括内存和CPU。要是连上的用户太多了，但服务器的“体力”又不够强（比如内存、CPU之类的资源有限），那它就很容易“忙不过来”，导致请求都排着队等着，根本处理不完。 说到这里，我忍不住想吐槽一下自己曾经犯过的错误。嘿，有次我在测试环境里弄了个能扛大流量的程序，结果发现ZooKeeper老是蹦出个叫“CommitQueueFullException”的错误，烦得不行！我当时就纳闷了：“我明明设了个挺合理的线程池大小啊，怎么还出问题了呢？”后来一查才发现，坏事了，是客户端的连接数配少了，结果请求都堵在那儿了，就像高速公路堵车一样。真是教训深刻啊！ --- 三、如何优雅地处理CommitQueueFullException？ 既然知道了问题的根源，那接下来就要谈谈具体的解决办法了。我觉得可以从以下几个方面入手： 1. 调整队列大小 最直接的办法当然是增大队列的容量。通过修改zookeeper.commitlog.capacity参数，可以让ZooKeeper拥有更大的缓冲空间。其实嘛，这个方法也不是啥灵丹妙药，毕竟咱们手头的硬件资源就那么多，要是傻乎乎地把队列弄得太长，说不定反而会惹出别的麻烦，比如让系统跑得更卡之类的。 代码示例： properties zookeeper.commitlog.capacity=10485760 上面这段配置文件的内容表示将队列大小调整为10MB。你可以根据实际情况进行调整。 2. 优化客户端逻辑 很多时候，CommitQueueFullException并不是因为服务器的问题，而是客户端的请求模式不合理造成的。比如说，你是否可以合并多个小请求为一个大请求？或者是否可以采用批量操作的方式减少请求次数？ 举个例子，假设你在做一个日志采集系统，每天需要向ZooKeeper写入成千上万个临时节点。与其每次都往一个节点里写东西，不如一口气往多个节点里写，这样能大大减少你发出的请求次数，省事儿又高效！ 代码示例： java List nodesToCreate = Arrays.asList("/node1", "/node2", "/node3"); List createdNodes = zk.create("/batch/", new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL, nodesToCreate.size()); System.out.println("Created nodes: " + createdNodes); 在这段代码中，我们一次性创建了三个临时节点，而不是分别调用三次create()方法。这样的做法不仅减少了请求次数，还提高了效率。 3. 增加服务器资源 如果以上两种方法都不能解决问题，那么可能就需要考虑升级服务器硬件了。比如增加内存、提升CPU性能，甚至更换更快的磁盘。当然，这通常是最后的选择，因为它涉及到成本和技术难度。 4. 使用异步API ZooKeeper提供了同步和异步两种API，其中异步API可以在一定程度上缓解CommitQueueFullException的问题。异步API可酷了！你提交个请求，它立马给你返回结果，根本不用傻等那个响应回来。这样一来啊，就相当于给任务队列放了个假，压力小了很多呢！ 代码示例： java import org.apache.zookeeper.AsyncCallback.StringCallback; public class AsyncExample implements StringCallback { @Override public void processResult(int rc, String path, Object ctx, String name) { if (rc == 0) { System.out.println("Node created successfully at path: " + name); } else { System.err.println("Failed to create node with error code: " + rc); } } public static void main(String[] args) throws Exception { ZooKeeper zk = new ZooKeeper("localhost:2181", 5000, null); zk.createAsync("/asyncTest", "data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT, new AsyncExample(), null); } } 在这段代码中，我们使用了createAsync()方法来异步创建节点。相比于同步版本，这种方式不会阻塞主线程，从而降低了队列满的风险。 --- 四、总结与展望 通过今天的探讨，我相信大家都对CommitQueueFullException有了更深刻的理解。嘿，别被这个错误吓到！其实啊，它也没那么可怕。只要你找到对的方法，保证分分钟搞定，就跟玩儿似的！ 回顾整个过程，我觉得最重要的是要保持冷静和耐心。遇到技术难题的时候啊，别慌！先搞清楚它到底是个啥问题，就像剥洋葱一样，一层层搞明白本质。接着呢，就一步一步地去找解决的办法，慢慢来，总能找到出路的！就像攀登一座高山一样，每一步都需要脚踏实地。 最后，我想鼓励大家多动手实践。理论固然重要，但真正的成长来自于不断的尝试和失败。希望大家能够在实际项目中运用今天学到的知识，创造出更加优秀的应用！ 好了，今天的分享就到这里啦！如果你还有什么疑问或者想法，欢迎随时交流哦～

...cSearch的日志分析系统。一切看起来都很顺利，数据导入、索引创建啥的都没问题。但当我尝试对某些节点进行操作时，突然蹦出了这么一行错误： org.elasticsearch.cluster.block.ClusterBlockException: blocked by: [SERVICE_UNAVAILABLE/2/no active shards]; 当时我心里那个急啊！赶紧去查文档，发现这是NodeNotActiveException的表现之一。简单说吧，就好比某个关键的小哥突然“罢工”了，可能是因为它内存不够用，或者网络断了啥的，结果整个团队的工作都乱套了，没法正常运转了。 我当时就纳闷了：“这不是应该自动恢复吗？为啥还要报错呢？”后来才明白，虽然ElasticSearch确实有自我修复机制，但有时候我们需要手动干预才能让它恢复正常。 --- 2. 理解背后的逻辑 为什么会出现这种问题？ 在深入了解之前，我觉得有必要先搞清楚这个异常的根本原因。其实NodeNotActiveException并不是什么特别复杂的概念，它主要出现在以下几种情况： - 节点宕机：某个节点由于硬件故障或者网络问题离线了。 - 磁盘空间不足：如果某个节点的磁盘满了，ElasticSearch会自动将其标记为不可用。 - 配置错误：比如分配给节点的资源不够，导致其无法启动。 对于我来说，问题出在第二个点上——磁盘空间不足。我当时为了省钱，给服务器分配的空间少得可怜，结果没多久就发现磁盘直接爆满，把自己都吓了一跳！于是ElasticSearch很生气，直接把该节点踢出了集群。 --- 3. 解决方案一 扩容磁盘空间 既然问题找到了，那就动手解决吧！首先，我决定先扩展磁盘容量。这一步其实很简单，只要登录服务器，增加磁盘大小就行。具体步骤如下： bash 查看当前磁盘状态 df -h 扩展磁盘（假设你已经购买了额外的存储） sudo growpart /dev/xvda 1 sudo resize2fs /dev/xvda1 完成后记得重启ElasticSearch服务： bash sudo systemctl restart elasticsearch 重启之后，神奇的事情发生了——我的节点重新上线了！不过这里有个小技巧分享给大家：如果你不确定扩容是否成功，可以通过以下命令检查磁盘使用情况： bash df -h 看到磁盘空间变大了，心里顿时舒坦了不少。 --- 4. 解决方案二 调整ElasticSearch配置 当然啦，仅仅扩容还不够，还需要优化ElasticSearch的配置文件。特别是那些容易导致内存不足或磁盘占用过高的参数，比如indices.memory.index_buffer_size和indices.store.throttle.max_bytes_per_sec。修改后的配置文件大概长这样： yaml cluster.routing.allocation.disk.threshold_enabled: true cluster.routing.allocation.disk.watermark.low: 85% cluster.routing.allocation.disk.watermark.high: 90% cluster.routing.allocation.disk.watermark.flood_stage: 95% cluster.info.update.interval: 30s 这些设置的意思是告诉ElasticSearch，当磁盘使用率达到85%时开始警告，达到90%时限制写入，超过95%时完全停止操作。这样可以有效避免再次出现类似的问题。 --- 5. 实战演练 代码中的应对策略 除了调整配置，我们还可以通过编写脚本来监控和处理NodeNotActiveException。比如，下面这段Java代码展示了如何捕获异常并记录日志： java import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.indices.CreateIndexRequest; import org.elasticsearch.client.indices.CreateIndexResponse; public class ElasticSearchExample { public static void main(String[] args) { RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http"))); try { CreateIndexRequest request = new CreateIndexRequest("test_index"); CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT); System.out.println("Index created: " + response.isAcknowledged()); } catch (Exception e) { if (e instanceof ClusterBlockException) { System.err.println("Cluster block detected: " + e.getMessage()); } else { System.err.println("Unexpected error: " + e.getMessage()); } } finally { try { client.close(); } catch (IOException ex) { System.err.println("Failed to close client: " + ex.getMessage()); } } } } 这段代码的作用是在创建索引时捕获可能发生的异常，并根据异常类型采取不同的处理方式。如果遇到ClusterBlockException，我们可以选择延迟重试或者其他补偿措施。 --- 6. 总结与反思 成长路上的一课 通过这次经历，我深刻体会到，作为一名开发者，不仅要掌握技术细节，还要学会从实际问题出发，找到最优解。NodeNotActiveException这个错误看着不起眼，但其实背后有不少门道呢！比如说，你的服务器硬件是不是有点吃不消了？集群那边有没有啥小毛病没及时发现？还有啊，咱们平时运维的时候是不是也有点松懈了？这些都是得好好琢磨的地方！ 最后，我想说的是，技术学习的过程就像爬山一样，有时候会遇到陡峭的山坡，但只要坚持下去，总能看到美丽的风景。希望这篇文章能给大家带来一些启发和帮助！如果还有其他疑问，欢迎随时交流哦~

...s_lastPageCode=page_video,page_video; Hm_lpvt_e99aee90ec1b2106afe7ec3b199020a7=1557209469; _dys_refer_action_code=click_author_video_cate2'try:req_content = requests.get(url,headers = headers)if req_content.status_code == 200:return req_contentprint('请求失败：',url)return Noneexcept:print('请求失败：', url)return None把时间换算成秒def str_to_int(time):try:time_array = time.split(':')time_int = (int(time_array[0])60)+int(time_array[1])return time_intexcept:print('~~~~~计算视频时间失败~~~~~')return None提取需要采集的数据def get_list(html,type = 1):data = []try:list_json = json.loads(str(html))for om in list_json['data']['list']:gtime = str_to_int(om['video_str_duration'])if gtime > config['TIME_START'] and gtime < config['TIME_ENT']:if type == 2:data.append({'title': om['title'], 'vid': om['url'].split('show/')[1]})else:data.append({'title': om['title'], 'vid': om['hash_id']})return dataexcept:print('~~~~~数据提取失败~~~~~')return None解析playlist.m3u8def get_ts_list(m3u8):data = []try:html_m3u8_json = json.loads(m3u8)m3u8_text = get_content_requests(html_m3u8_json['data']['video_url'])m3u8_vurl =html_m3u8_json['data']['video_url'].split('playlist.m3u8?')[0]if m3u8_text:get_text = re.findall(',\n(.?).ts(.?)\n',m3u8_text.text,re.S)for item in get_text:data.append(m3u8_vurl+item[0]+'.ts'+item[1])return datareturn Noneexcept:print('~~~~~解析playlist.m3u8失败~~~~~')return None 杀死moviepy产生的特定进程def killProcess(): 处理python程序在运行中出现的异常和错误try: pids方法查看系统全部进程pids = psutil.pids()for pid in pids: Process方法查看单个进程p = psutil.Process(pid) print('pid-%s,pname-%s' % (pid, p.name())) 进程名if p.name() == 'ffmpeg-win64-v4.1.exe': 关闭任务 /f是强制执行，/im对应程序名cmd = 'taskkill /f /im ffmpeg-win64-v4.1.exe 2>nul 1>null' python调用Shell脚本执行cmd命令os.system(cmd)except:pass下载.ts文件def download_ts(m3u8_list,name):try:if not os.path.exists(config['FILE_PATH']):os.makedirs(config['FILE_PATH'])if not os.path.exists(config['TS_PATH']):os.makedirs(config['TS_PATH'])if os.path.exists(config['FILE_PATH']+name+'.mp4'):name = name+'_'+str(int(time.time()))print('开始下载：',name)L = []R = []for p in m3u8_list:ts_find = get_content_requests(p)file_ts = '{0}{1}.ts'.format(config['TS_PATH'],md5(ts_find.content).hexdigest())with open(file_ts,'wb') as f:f.write(ts_find.content)R.append(file_ts)hebing = VideoFileClip(file_ts)L.append(hebing)killProcess()print('下载完成：',file_ts)mp4file = '{0}{1}.mp4'.format(config['FILE_PATH'],name)final_clip = concatenate_videoclips(L)final_clip.to_videofile(mp4file, fps=24, remove_temp=True)killProcess()loop_del_file(R)print('\n下载完成：',name)print('')return Trueexcept:print('~~~~~合成.ts文件失败~~~~~')return None下载视频列表def list_get_kong(list_json):for item in list_json:y = Trueif config['CHECKID']:if check_to_mongo(item['vid']):print('~~~~~检测到重复项~~~~~')y = Falseif y:get_show_html = get_content_requests('https://vmobile.douyu.com/video/getInfo?vid=' + item['vid'])if get_show_html:m3u8_list = get_ts_list(get_show_html.text)if m3u8_list:download = download_ts(m3u8_list, item['title'])if download: save_to_mango(item['vid'])time.sleep(config['TIME_GE'])控制器def main(page):if config['TYPE']==1:print('~~~~~按用户ID采集~~~~~')listurl = 'https://v.douyu.com/video/author/getAuthorVideoListByNew?up_id={0}&cate2_id=0&limit=30&page={1}'.format(config['UID'],page)get_list_html = get_content_requests(listurl)if get_list_html:list_json = get_list(get_list_html.text,1)if list_json:list_get_kong(list_json)else:print('~~~~~按列表ID采集~~~~~')listurl = 'https://v.douyu.com/video/video/listData?page={1}&cate2Id={0}&action=new'.format(config['CID'],page)get_list_html = get_content_requests(listurl)if get_list_html:list_json = get_list(get_list_html.text,2)if list_json:list_get_kong(list_json)初始化if __name__=='__main__':if config['POOL']:groups = [x for x in range(config['PAGE_START'],config['PAGE_END']+1)]pool = Pool()pool.map(main, groups)else:for item in range(config['PAGE_START'],config['PAGE_END']+1):main(item)print('~~~~~已经完成【所有操作】~~~~~') 总结：众所周知，BiliBili是一个学习的网站！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_35875470/article/details/89857445。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...如下所示： 一、页面分析 首先来分析一下彼岸桌面的网页的结构： 我们第一个看到的是网站的域名为http://www.netbian.com/，它有如上所示的分类，我们尝试着点开一些分类去看一下他的链接。 通过点击每个分类，发现不同的分类下，地址栏显示为域名后面拼接这对应分类的拼音，但在分类为王者荣耀之后的拼接的确是“s/分类拼音”。这样我们可以创建一个枚举类，将所有分类集中管理。在common包下创建一个Kind枚举类： package com.asahi.common;/ 分类的枚举/public enum Kind {RILI("rili"), DONGMAN("dongman"), FENGJING("fengjing"), MEINV("meinv"), YOUXI("youxi"), YINGSHI("yingshi"),DONGTAI("dongtai"), WEIMEI("weimei"), SHEJI("sheji"), KEAI("keai"), QICHE("qiche"), HUAHUI("huahui"),DONGWU("dongwu"), JIERI("jieri"), RENWU("renwu"), MEISHI("meishi"), SHUIGUO("shuiguo"), JIANZHU("jianzhu"),TIYU("tiyu"), JUNSHI("junshi"), FEIZHULIU("feizhuliu"), QITA("qita"), WANGZHERONGYAO("s/wangzherongyao"), HUYAN("s/huyan"), LOL("s/lol");String kind;Kind(String kind) {this.kind = kind;}public static boolean contains(String test) {for (Kind c : Kind.values()) {if (c.kind.equals(test)) {return true;} }return false;} } 这里我添加了一个比较的方法供之后判断输入的分类名是否包含在这些分类里面。 接下来我们在分析分类面的展示情况，以美女分类页面为例(●´∀｀●)，最下边有分页，如果只获取这个页面的图片并不能获取所有美女图，我们还需要点击每一个分页，从分页中获取所有的图片。通过分析发现，第一页的链接是在原有链接基础上拼接“/index.htm”，从第二页之后拼接的是“/index_页号.htm”。 这样我们只需要获取总页数在依次遍历拼接就可以了，现在的问题是如何获取总页数，我一开始的想法是获取分页中“共167页”这个标签后再只保留数字就可以个，但发现运行后获取不到该元素节点，经过排查了解到这个标签是通过js生成的，于是我转换了思路，通过获取最后一个页号来得到一共分了多少页 Document root_doc = Jsoup.connect("http://www.netbian.com/" + kind + "/").get();Elements els = root_doc.select("main .page a");//这里els.eq(els.size() - 2的原因是后边确定按钮用的是a标签要去掉，再去掉一个“下一页”标签Integer page = Integer.parseInt(els.eq(els.size() - 2).text()); 分类页中图片所在的标签结构为： 分类页面下的图片不是我们想要的，我们想要的是点击进去详细页的高清大图，所以需要获取a标签的链接，再从这个链接中获取真正想要的图片。 详细页中图片所在的标签结构为： 二、代码实现 到这里分类页分析的差不多了，我们通过代码来进行获取图片。首先导入Jsoup的jar包：jsoup-1.12.1.jar，如果采用Maven请导入下边的依赖。 <dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.12.1</version></dependency> 在utils创建JsoupPic类，并添加getPic方法，代码如下： public static void getPic(String kind) throws Exception {//get请求方式进行请求Document root_doc = Jsoup.connect("http://www.netbian.com/" + kind + "/").get();//获取分页标签，用于获取总页数Elements els = root_doc.select("main .page a");Integer page = Integer.parseInt(els.eq(els.size() - 2).text());for (int i = 1; i < page; i++) {Document document = null;//这里判断的是当前页号是否为1，如果为1就不拼页号，否则拼上对应的页号if (i == 1) {document = Jsoup.connect("http://www.netbian.com/" + kind + "/index.htm").get();} else {document = Jsoup.connect("http://www.netbian.com/" + kind + "/index_" + i + ".htm").get();}//获取每个分页链接里面a标签的链接，进入链接页面获取当前图拼的大尺寸图片Elements elements = document.select("main .list li a");for (Element element : elements) {String href = element.attr("href");String picUrl = "http://www.netbian.com" + href;Document document1 = Jsoup.connect(picUrl).get();Elements elements1 = document1.select(".endpage .pic p a img");//获取所有图片的链接System.out.println(elements1);} }} 在分类页中有一个隐藏的问题图片： 正常的图片链接都是以“/”开头，以“.htm”结尾，而每个分类下的第三张图片的链接都是“http://pic.netbian.com/”，如果不过滤的话会报如下错误： 所以这里必须要判断一下: Elements elements = document.select("main .list li a");for (Element element : elements) {String href = element.attr("href");//判断是否是以“/”开头if (href.startsWith("/")) {String picUrl = "http://www.netbian.com" + href;Document document1 = Jsoup.connect(picUrl).get();Elements elements1 = document1.select(".endpage .pic p a img");System.out.println(elements1);} } 到这里，页面就已经分析好了，问题基本上已经解决了，接下来我们需要将图片存到我们的系统里，这里我将图片保存到我的电脑桌面上，并按照分类来存储图片。 首先是要获取桌面路径，在utils包下创建Download类，添加getDesktop方法，代码如下： public static File getDesktop(){FileSystemView fsv = FileSystemView.getFileSystemView();File path=fsv.getHomeDirectory(); return path;} 接着我们再该类中添加下载图片的方法： //urlPath为网络图片的路径，savePath为要保存的本地路径（这里指定为桌面下的images文件夹）public static void download(String urlPath,String savePath) throws Exception {// 构造URLURL url = new URL(urlPath);// 打开连接URLConnection con = url.openConnection();//设置请求超时为5scon.setConnectTimeout(51000);// 输入流InputStream is = con.getInputStream();// 1K的数据缓冲byte[] bs = new byte[1024];// 读取到的数据长度int len;// 输出的文件流File sf=new File(savePath);int randomNo=(int)(Math.random()1000000);String filename=urlPath.substring(urlPath.lastIndexOf("/")+1,urlPath.length());//获取服务器上图片的名称filename=new java.text.SimpleDateFormat("yyyy-MM-dd-HH-mm-ss").format(new Date())+randomNo+filename;//时间+随机数防止重复OutputStream os = new FileOutputStream(sf.getPath()+"\\"+filename);// 开始读取while ((len = is.read(bs)) != -1) {os.write(bs, 0, len);}// 完毕，关闭所有链接os.close();is.close();} 写好后，我们再完善一下JsouPic中的getPic方法。 public static void getPic(String kind) throws Exception {//get请求方式进行请求Document root_doc = Jsoup.connect("http://www.netbian.com/" + kind + "/").get();//获取分页标签，用于获取总页数Elements els = root_doc.select("main .page a");Integer page = Integer.parseInt(els.eq(els.size() - 2).text());for (int i = 1; i < page; i++) {Document document = null;//这里判断的是当前页号是否为1，如果为1就不拼页号，否则拼上对应的页号if (i == 1) {document = Jsoup.connect("http://www.netbian.com/" + kind + "/index.htm").get();} else {document = Jsoup.connect("http://www.netbian.com/" + kind + "/index_" + i + ".htm").get();}File desktop = Download.getDesktop();Download.checkPath(desktop.getPath() + "\\images\\" + kind);//获取每个分页链接里面a标签的链接，进入链接页面获取当前图拼的大尺寸图片Elements elements = document.select("main .list li a");for (Element element : elements) {String href = element.attr("href");if (href.startsWith("/")) {String picUrl = "http://www.netbian.com" + href;Document document1 = Jsoup.connect(picUrl).get();Elements elements1 = document1.select(".endpage .pic p a img");Download.download(elements1.attr("src"), desktop.getPath() + "\\images\\" + kind);} }} } 在Download类中，我添加了checkPath方法，用于判断目录是否存在，不存在就创建一个。 public static void checkPath(String savePath) throws Exception {File file = new File(savePath);if (!file.exists()){file.mkdirs();} } 最后在mainapp包内创建PullPic类，并添加主方法。 package com.asahi.mainapp;import com.asahi.common.Kind;import com.asahi.common.PrintLog;import com.asahi.utils.JsoupPic;import java.util.Scanner;public class PullPic {public static void main(String[] args) throws Exception {new PullPic().downloadPic();}public void downloadPic() throws Exception {System.out.println("启动程序>>\n请输入所爬取的分类：");Scanner scanner = new Scanner(System.in);String kind = scanner.next();while(!Kind.contains(kind)){System.out.println("分类不存在，请重新输入：");kind = scanner.next();}System.out.println("分类输入正确！");System.out.println("开始下载>>");JsoupPic.getPic(kind);} } 三、成果展示 最终的运行结果如下： 最终的代码已上传到我的github中，点击“我的github”进行查看。 在学习Java爬虫的过程中，我收获了很多，一开始做的时候确实遇到了很多困难，这次写的获取图片也是最基础的，还可以继续深入。本来我想写一个通过多线程来获取图片来着，也尝试着去写了一下，越写越跑偏，暂时先放着不处理吧，等以后有时间再来弄，我想问题应该不大，只是考虑的东西有很多。希望大家多多指点不足，有哪些需要改进的地方，我也好多学习学习๑乛◡乛๑。 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_39693281/article/details/108463868。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

... valueint code_seg = 21 + (task->sel - first_task_cons_selector) / 8;//change hereint mem_seg = 30 + (task->sel - first_task_cons_selector) / 8;//22;char p = intToHexStr(mem_seg);showString(shtctl, sht_back, 0, show_pos, COL8_FFFFFF, p); show_pos += 16;set_segmdesc(gdt + code_seg, 0xfffff, (int) appBuffer->pBuffer, 0x409a + 0x60);//new memory char q = (char ) memman_alloc_4k(memman, 641024);appBuffer->pDataSeg = (unsigned char)q;set_segmdesc(gdt + mem_seg, 64 1024 - 1,(int) q ,0x4092 + 0x60);task->tss.esp0 = 0;io_sti();start_app(0, code_seg8,641024, mem_seg8, &(task->tss.esp0));io_cli();memman_free_4k(memman,(unsigned int) appBuffer->pBuffer, appBuffer->length);memman_free_4k(memman, (unsigned int) q, 64 1024);memman_free(memman,(unsigned int)appBuffer, 16);task->pTaskBuffer = 0;io_sti();}void console_task(struct SHEET sheet, int memtotal) {....for(;;) { ....else if (i == KEY_RETURN) {....} else if (strcmp(cmdline, "hlt") == 1) {//change herecmd_execute_program("abc.exe");}....}...} 原来的cmd_hlt函数默认加载并执行软盘中的abc.exe程序，现在我们把cmd_hlt改名为cmd_execute_program，并且函数需要传入一个字符串，用于表明要加载执行的程序名字。在该函数的代码实现中，我们使用showString函数把被加载执行的用户进程数据段所对应的全局描述符号给显示到桌面上，上面代码执行后情况如下： 我们看到，在控制台中执行hlt命令后，内核加载了用户进程，同时在控制台下方输出了一个字符串，也就是0x1E,这个数值对应的就是当前运行用户进程其数据段对应的全局描述符号。一旦有这个信息之后，另一个进程就可以有机可乘了。 接着我们在本地目录创建一个新文件叫crack.c,其内容如下： void main() {char p = (char)0x123;p[0] = 'c';p[1] = 'r';p[2] = 'a';p[3] = 'c';p[4] = 'k';p[5] = 0;} 它的目的简单，就是针对内存地址0x123处写入字符串”crack”.接着我们修改一下makefile，使得内核编译时，能把crack.c编译成二进制文件： CFLAGS=-fno-stack-protectorckernel : ckernel_u.asm app_u.asm crack_u.asm cp ckernel_u.asm win_sheet.h win_sheet.c mem_util.h mem_util.c write_vga_desktop.c timer.c timer.h global_define.h global_define.c multi_task.c multi_task.h app_u.asm app.c crack_u.asm crack.c makefile '/media/psf/Home/Documents/操作系统/文档/19/OS-kernel-win-sheet/'ckernel_u.asm : ckernel.o....crack_u.asm : crack.o./objconv -fnasm crack.o crack_u.asmcrack.o : crack.cgcc -m32 -fno-stack-protector -fno-asynchronous-unwind-tables -s -c -o crack.o crack.c 然后我们在本地目录下，把api_call.asm拷贝一份，并命名为crack_call.asm,后者内容与前者完全相同，只不过稍微有那么一点点改变，例如： BITS 32mov AX, 30 8mov DS, axcall mainmov edx, 4 ;返回内核int 02Dh.... 这里需要注意，语句： mov AX, 30 8mov DS, ax 其中30对应的就是前面显示的0x1E，这两句汇编的作用是，把程序crack的数据段设置成下标为30的全局描述符所指向的内存段一致。这就意味着crack进程所使用的数据段就跟hlt启动的进程所使用的数据段一致了！于是在crack.c中，它对内存地址为0x123的地方写入字符串”crack”,那就意味着对hlt加载用户进程的内存空间写入对应字符串！ 完成上面代码后，我们在java项目中，增加代码，一是用来编译crack进程，而是把crack代码写入虚拟磁盘。在OperatingSystem.java中，将代码做如下添加： public void makeFllopy() {writeFileToFloppy("kernel.bat", false, 1, 1);....header = new FileHeader();header.setFileName("crack");header.setFileExt("exe");file = new File("crack.bat");in = null;try {in = new FileInputStream(file);long len = file.length();int count = 0;while (count < file.length()) {bbuf[count] = (byte) in.read();count++;}in.close();}catch(IOException e) {e.printStackTrace();return;}header.setFileContent(bbuf);fileSys.addHeader(header);....}public static void main(String[] args) {CKernelAsmPrecessor kernelPrecessor = new CKernelAsmPrecessor();kernelPrecessor.process();kernelPrecessor.createKernelBinary();CKernelAsmPrecessor appPrecessor = new CKernelAsmPrecessor("hlt.bat", "app_u.asm", "app.asm", "api_call.asm");appPrecessor.process();appPrecessor.createKernelBinary();CKernelAsmPrecessor crackPrecessor = new CKernelAsmPrecessor("crack.bat", "crack_u.asm", "crack.asm", "crack_call.asm");crackPrecessor.process();crackPrecessor.createKernelBinary();OperatingSystem op = new OperatingSystem("boot.bat");op.makeFllopy();} 在main函数中，我们把crack.c及其附属汇编文件结合在一起，编译成二进制文件crack.bat，在makeFllopy中，我们把编译后的crack.bat二进制数据读入，并把它写入到虚拟磁盘中，当系统运行起来后，可以把crack.bat二进制内容作为进程加载执行。 完成上面代码后，回到内核的C语言部分，也就是write_vga_desktop.c做一些修改，在kernel_api函数中，修改如下： int kernel_api(int edi, int esi, int ebp, int esp,int ebx, int edx, int ecx, int eax) {....else if (edx == 14) {sheet_free(shtctl, (struct SHEET)ebx);//change herecons_putstr((char)(task->pTaskBuffer->pDataSeg + 0x123));}....}void console_task(struct SHEET sheet, int memtotal) {....for(;;) {....else if (i == KEY_RETURN) {....else if (strcmp(cmdline, "crack") == 1) {cmd_execute_program("crack.exe");}....}....} 在kernel_api中，if(edx == 14)对应的api调用是api_closewin，也就是当用户进程关闭窗口时，我们把进程数据偏移0x123处的数据当做字符串打印到控制台窗口上，在console_task控制台进程主函数中，我们增加了对命令crack的响应，当用户在控制台上输入命令”crack”时，将crack代码加载到内核中运行。上面代码完成后，编译内核，然后用虚拟机将内核加载，系统启动后，我们现在一个控制台中输入hlt，先启动用户进程。然后点击”shift + w”,启动另一个控制台窗口，在其中输入crack，运行crack程序： 接着把点击tab键，把焦点恢复到窗口task_a，然后用鼠标点击运行hlt命令的窗口，把输入焦点切换到该控制台，然后再次点击tab键，把执行权限提交给运行hlt命令的控制台，此时点击回车，介绍用户进程启动的窗口，结果情况如下： 此时我们可以看到，运行hlt命令，执行用户进程的控制台窗口居然输出了字符串”crack”,而这个字符串正是crack.c在执行时，写入地址0x123的字符串。这就意味着一个恶意进程成功修改了另一个进程的内存数据，也相当于一个流氓程序把一只咸猪手伸到其他用户进程的裙底，蹂躏一番后留下了猥琐的证据。 那么如何防范恶意进程对其他程序的非法入侵呢，这就得使用CPU提供的LDT机制，也就是局部描述符表，该机制的使用，我们将在下一节详细讲解。更详细的讲解和代码演示调试，请参看视频： 更详细的讲解和代码调试演示过程，请参看视频 Linux kernel Hacker, 从零构建自己的内核 更多技术信息，包括操作系统，编译器，面试算法，机器学习，人工智能，请关照我的公众号： 本篇文章为转载内容。原文链接：https://blog.csdn.net/tyler_download/article/details/78731905。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。