[使用CREATE INDEX语句提升查询...]的搜索结果

...击点击取消按钮，上面使用键盘按键不行，原因不明 hwnd_cancel = win32gui.FindWindowEx(hwnd,hwnd_save,"Button",None) left, top, right, bottom = win32gui.GetWindowRect(hwnd_cancel)该方法接收值必须为4个 win32api.SetCursorPos([left+35,top+13]) win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP | win32con.MOUSEEVENTF_LEFTDOWN, 0, 0, 0, 0) win32gui.GetWindowRect方法描述：Returns the rectangle for a window in screen coordinates。应该返回该句柄控件的四个顶点坐标吧 win32api.SetCursorPos方法描述：The SetCursorPos function moves the cursor to the specified screen coordinates.将光标移动到指定的屏幕坐标。 ----------------------------------------------------------------------------------------------- 查找另存为弹出框下的所有子句柄： hwndChildList = [] win32gui.EnumChildWindows(hwnd, lambda hwnd1, param: param.append(hwnd1), hwndChildList) for a in hwndChildList: print win32gui.GetParent(a) print win32gui.GetClassName(a) print win32gui.GetWindowText(a).decode('gbk').encode('utf-8') print "-----hwnd_save------",a 另外，经同事推荐ViewWizard工具比spy++更轻便快捷，查看父句柄也比之更方便 按键控制查询：http://www.mamicode.com/info-detail-1319197.html 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_39814378/article/details/110329291。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...设计理念轻量级且易于使用，旨在简化数据迁移和同步过程，使数据工程师可以更专注于数据本身而非复杂的配置工作。 Prometheus , Prometheus 是一个开源的监控系统和时间序列数据库。它专门设计用于收集和存储时间序列数据，例如服务器指标、应用程序性能指标等。Prometheus 可以抓取目标系统中暴露的指标数据，并提供强大的查询语言 PromQL 用于数据分析和可视化。在本文中，Prometheus 作为 SeaTunnel 的监控插件，用于实时监控数据传输任务的状态，确保数据传输过程中的可靠性。 Grafana , Grafana 是一个开源的度量分析和可视化套件，常与 Prometheus 结合使用以提供丰富的图表展示功能。它允许用户创建美观且交互式的仪表板，用于监控系统健康状况、性能指标以及其他关键业务数据。Grafana 支持多种数据源，包括 Prometheus，这使得它成为一个强大的数据可视化工具。在本文中，Grafana 被用来展示 SeaTunnel 任务的状态变化趋势和历史数据，帮助用户更好地理解数据传输情况并进行优化。

...任务类似，可能处理整速度快，而且分配时按善长哪一块分配哪一块的方式，较为合理。 下面说一下坏处，我认为还是弊大于利，下面列一些坏处（因为目前公司就是很多这样分配的任务） 1.3部分功能，3个文档，如果分给3个人来做，那么每个人都要求很精确的理解文档的意思，然后找出自己要做的部分来处理。 2.3个人看3个文档，假设每个文档由一个设计人员设计，那么这3个设计人员都要与3个开发人员产生沟通（所以沟通成本约为第一种方安的3倍，可能小于3倍） 3.开发人员在这种做多个相似（我们假设相似，其实这些问题因该由一个好的架构设计来处理）的编码情况下容易厌倦，产生复制修改代码的情况。 4.还有一部分成本前面3点都没有说到，也是沟通的成本，也就是一个功能里面的三个部分的衔接问题，也就是每个功能模块多了2个开发人员的沟通，也就是多出6个单位沟通成本。 　　先就说这么几点吧。但是我觉得已经很致命了，公司经常出现重复的沟通，就是上面所说的一个设计人员要同多个开发说明一件事情，而且不是在一起说，是开发在参与到开发过程中时，反馈回去，然后只有同这个开发沟通，可能与每个开发沟通的内容有一部分不是重复的，但是他们的设计内容都是一个模块当中的。而且公司经常出来开发与开发的衔接部分的沟通，有分歧时也会叫设计人员参与进来。所以这样分配的最大的成本就是沟通上面的成本，或者是变更方面的成本最大，比如一个功能模块有要变动，那么可能要通知3个开发人员。要是第一种方案可能就通知一个开发人员就行了。这里也不是说其他的人员不通知，我这里的意思是通知的力度是不一样的，如果是一个责任矩阵（Responsibility Matrix）来看的话，可能这种一点的方案会3个开发人员A,一个组长R，其它人员I。如果是上面一种方案那么可能是1个开发人员A,一个组长R,其它人员I.这里我也就是想说明他们的力度是不一样的。当然成本肯定也不一样。 　　插入：（我打算在以后的文章中加入插入系列，主要用于解释一些我认为比较有趣，或者有用，或者对我对大家来说可能陌生，但是有印像，本人也是通过查询总结出来的一些东西，多数为一些名词解释） 　　插入： 责任矩阵　责任矩阵是以表格形式表示完成工作分解结构中工作细目的个人责任方法。这是在项目管理中一个十分重要的工具，因为他强调每一项工作细目由谁负责，并表明每个人的角色在整个项目中的地位。制定责任色（RACI）（R=Responsible，A=Accountable，C=Consulted，I=Informed）。 　　插入后面继续说，刚才已经吐槽了一下一种方案的坏处，所以我认为对于分解还是逃不过模块，一个人做不下来的大模块，分解成小模块，每个模块主要就是IPO，输入什么，做什么事，出输什么，模块接口要设计好，这样一个一个的装配上就是一个大的系统，而不是把一个模块的类似部分或者说一个独立的功能模块再来分开。最小的模块我们就是函数，或者现在面向对象可以说类，但是细化下来的思想面向过程还是有用处的。这里我就强调一点，现代的设计中多用接口这个东西吧，你慢慢会发现他有很大的用处的。 　　总结：从昨天下午开始写这个，今天才完成中间有断开，所以可能思路不太清析，但是主要说的一点就是工作分解结构里面的一小部分内容，说了说两种分解方式的优劣。建议大家以接口设计，功能模块，类等去处理分解任务。 转载于:https://www.cnblogs.com/gw2010/p/3781447.html 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_34253126/article/details/94304775。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...数据分析师，每天都会使用Saiku来分析销售数据。有一天，由于服务器硬盘损坏，所有的数据都丢失了。要是没提前准备好恢复的招数，那你可就得从头再来，重建整个数据库了。而且这事儿可不小，你得花大把时间去重新找齐所有的原始数据。这样的经历，相信谁都不想再经历第二次。 3. 实践中的问题 让我们深入探讨一些实际遇到的问题。在用Saiku的时候，我发现很多小伙伴都没有定期备份的好习惯，就算备份了，也不知道怎么用这些备份来快速恢复数据。另外，大家对故障转移这部分聊得不多，也就是说，如果主服务器挂了，整个系统可能就会直接瘫痪了。 这里我有一个小建议：为什么不试试编写一个脚本，让它自动执行备份任务呢？这样不仅能够节省时间，还能确保数据的安全性。比如说，你可以在Linux下用crontab设置定时任务，让它自动跑一个简单的bash脚本。这个脚本的作用就是调用MySQL的dump命令，生成数据库的备份文件。这样就不用担心忘记备份了，挺方便的。 bash 编辑crontab crontab -e 添加如下行，每周日凌晨两点执行一次备份 0 2 0 /usr/bin/mysqldump -u username -p'password' database_name > /path/to/backup/db_backup_$(date +\%Y\%m\%d).sql 4. 恢复策略的设计 现在我们已经了解了为什么需要一个好的恢复计划，接下来谈谈如何设计这样一个计划。首先，你需要明确哪些数据是最关键的。然后，根据这些数据的重要程度制定相应的恢复策略。比如说，如果你每天都在更新的数据，那就得时不时地备份一下，甚至可以每一小时就来一次。但如果是那种好几天都不动弹的数据，那就可以放宽心，不用那么频繁地备份了。 另外，别忘了测试你的恢复计划！只有经过实践检验的恢复流程才能真正发挥作用。你可以定期模拟一些常见故障场景，看看你的系统是否能够顺利恢复到正常状态。 5. 代码示例 为了让大家更好地理解，下面我会给出几个具体的代码示例，展示如何使用Saiku API来进行数据恢复操作。 示例1：连接到Saiku服务器 java import org.saiku.service.datasource.IDatasourceService; import org.saiku.service.datasource.MondrianDatasource; public class SaikuConnectionExample { public static void main(String[] args) { // 假设我们已经有了一个名为"myDataSource"的数据源实例 MondrianDatasource myDataSource = new MondrianDatasource(); myDataSource.setName("myDataSource"); // 使用datasource服务保存数据源配置 IDatasourceService datasourceService = ...; // 获取datasource服务实例 datasourceService.save(myDataSource); } } 示例2：从备份文件中恢复数据 这里假设你已经有一个包含所有必要信息的备份文件，比如SQL脚本。 java import java.io.BufferedReader; import java.io.FileReader; import java.sql.Connection; import java.sql.DriverManager; import java.sql.Statement; public class RestoreFromBackupExample { public static void main(String[] args) { try (Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/mydb", "username", "password")) { Statement stmt = conn.createStatement(); // 读取备份文件内容并执行 BufferedReader reader = new BufferedReader(new FileReader("/path/to/backup/file.sql")); String line; StringBuilder sql = new StringBuilder(); while ((line = reader.readLine()) != null) { sql.append(line); if (line.trim().endsWith(";")) { stmt.execute(sql.toString()); sql.setLength(0); // 清空StringBuilder } } reader.close(); } catch (Exception e) { e.printStackTrace(); } } } 6. 结语 好了，到这里我们的讨论就告一段落了。希望今天聊的这些能让大家更看重系统恢复计划，也赶紧动手做点啥来提高自己的数据安全，毕竟防患于未然嘛。记住，预防总是胜于治疗，提前做好准备总比事后补救要好得多！ 最后，如果你有任何想法或建议，欢迎随时与我交流。数据分析的世界充满了无限可能，让我们一起探索吧！ --- 以上就是本次关于“Saiku的系统恢复计划不充分”的全部内容。希望这篇文章能够对你有所帮助，也欢迎大家提出宝贵的意见和建议。

...方式解决这个问题： 使用racadm温度调控，但是配置教程是Ubuntu16.04下的，过程中有些linux语句在18.04中运行报错，本身对linux就不是很熟，然后我果断放弃。 更新BIOS 和IDRAC，他2022年3月3日通过更新版本，实现了风扇转速的控制，但是我2022年6月，按照他给的下载版本，更新了，发现没用啊？？！！回退版本没用，更新版本也没用，就很离谱，难道因为他是2080ti,我是3090的问题？？操作步骤如下： 参考该博客对服务器IDRAC配置 https://www.dell.com/support/kbdoc/zh-cn/000177212，查看解决方案中的开机自检期间为F2进行配置 配置好后，在服务器后后面有个IDRAC的网线插口，用网线与笔记本连接，连接成功后会显示未识别网络（如果是红叉的话是没有连接成功，检查上一步，尝试关机重启等），修改IP地址，跟上一步设置的服务器IP在同一网段，不是同一IP！！，比如服务器是192.168.0.120，笔记本可以设置192.168.0.100。（https://new.qq.com/omn/20210119/20210119A01ROV00.html） IE浏览器打开192.168.0.100网址，提示不安全，然后忽略掉，输入账号密码就可以进去了 进去后在下图位置，上传更新文件进行安装。 2.后面又看到一篇博客：https://blog.csdn.net/qq_36810544/article/details/115734795这篇博客比上边那篇早，应该是有参考吧，说是更新版本就行了，然并卵啊，可能是因为他是Ubuntu20.04，我是18.04的原因？ 3.最后没招了，用IPMITOOL手动调节吧，参考了博客：https://blog.51cto.com/u_15072918/4392813 这篇博客也是更新后仍然无法识别3090(实际上我下的新版本的IDRAC是可以识别出有GPU的，但是还是显示不可用哇)，所以就把IDRAC的版本回退到3.30以下使用IPMITOOL进行行手动调节转速了。 具体步骤如下： 将IDRAC回退到3.30版本，下载地址：https://www.dell.com/support/home/zh-cn/drivers/driversdetails 有的版本IDRAC可能需要把IMPI取消禁用，就在笔记本访问的IP地址的网页里修改即可，应该是在IDRAC设置中，没找到的话应该是不需要操作。 下载IPMITOOLWIN版本程序后解压，终端cd进入该文件夹，然后运行ipmitool命令： 关闭自动控制：ipmitool -I lanplus -U 用户名 -P 密码 -H 服务器地址 raw 0x30 0x30 0x01 0x00 设置风扇转速：ipmitool -I lanplus -U 用户名 -P 密码 -H 192.168.0.120 raw 0x30 0x30 0x02 0xff 0x64 ，最后两位对应16进制的风扇转速。64对应100%。 3.转速现在是可以手动调节了，但是每次都要执行终端命令太麻烦了，然后我写了一个小的gui界面，可以更方便地对风扇转速进行调节。界面如下，可以通过+和-增加和降低风速，也可以设定数值进行Set。   为了防止过热，最低风扇转速设置成了30%。需要注意：这个文件中IDRAC的IP必须是192.168.0.120才可以。 本文就先写到这里了，调节软件如果有需求的话可以后续上传，我在程序中也放了IPMITOOLWIN的文件，不需要再进行下载。有更好的解决方法也欢迎评论区分享。 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_42686221/article/details/125478351。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...1. 集中管理依赖：使用如 dependencyManagement 特性，统一管理项目依赖的版本，减少版本冲突的可能性。 2. 依赖树可视化：借助 Gradle 插件如 dependencyInsight，生成依赖树图，直观地展示依赖关系，便于查找和解决冲突。 3. 版本锁定与自动更新：通过配置锁定文件（如 pom.xml 或 settings.gradle），限制特定依赖的版本，同时设置自动化脚本来定期检查和更新依赖，确保项目始终运行在稳定且兼容的状态下。 二、构建优化与性能提升 构建过程的效率直接影响到开发者的生产力。针对这一问题，可以从以下几个方面着手优化： 1. 构建缓存：合理利用 Gradle 缓存机制，避免重复构建相同的任务，显著缩短构建时间。 2. 并行构建：在多核处理器上利用 Gradle 的并行构建特性，提高构建速度。合理划分构建任务，最大化利用多线程的优势。 3. 增量构建：针对只修改了一部分代码的情况，仅构建修改的部分，避免不必要的全量构建，节省时间和资源。 三、持续集成与持续部署的整合 为了保证代码质量，持续集成（CI）和持续部署（CD）成为了现代开发流程的重要组成部分。将 Gradle 与 CI/CD 工具（如 Jenkins、GitLab CI）结合，实现自动化构建、测试和部署流程，能够极大地提升项目的交付速度和质量。 1. 自动化测试：集成自动化测试框架，如 JUnit、TestNG，确保每次构建前后的代码质量。 2. 集成环境一致性：确保开发、测试和生产环境的高度一致性，通过 Gradle 插件如 spring-boot-maven-plugin 或 maven-surefire-plugin 等，实现跨环境的部署一致性。 3. 一键部署：利用 CI/CD 工具的部署功能，实现从构建到部署的无缝衔接，提升部署效率和可靠性。 四、未来趋势与展望 随着微服务架构、云原生应用的兴起，Gradle 的角色和应用范围正在不断扩大。未来，开发者将面临更多复杂性和变化，对构建工具的要求也将更加多元化。因此，持续学习和适应新的技术和实践，对于保持项目的竞争力至关重要。 结语 在复杂项目中高效利用 Gradle 进行构建与管理，不仅要求开发者具备深厚的技术功底，还需要灵活运用最佳实践和工具，不断优化构建流程。通过上述策略的实施，不仅能够提升项目的构建效率和稳定性，还能促进团队协作，加速产品的迭代和交付，最终推动业务目标的实现。

...它有两个属性（颜色和速度）和两个方法（加速和刹车）。是不是很简单？这就是类的基础用法。 2.2 对象：具体实例 接下来，我们需要把类变成具体的“东西”，这就需要用到对象了。对象就是根据类创建出来的具体实例。比如，我们可以用Car类创建一辆红色的小汽车： cpp int main() { Car myCar; // 创建一个Car对象 myCar.color = "Red"; myCar.speed = 0; myCar.accelerate(); // 调用加速方法 myCar.brake(); // 调用刹车方法 return 0; } 运行这段代码后，你会看到输出： Car accelerated to 10 km/h. Car braked to 5 km/h. 瞧，通过类和对象，我们已经能够模拟一辆车的行为了！不过，光靠这些还不够，对吧？所以我们还得聊聊函数。 --- 3. 函数 积木之间的桥梁 3.1 函数的作用 函数就像是积木之间的桥梁，它能让不同的部分连接起来。比如说，在刚才那个例子里，accelerate（加速）和brake（刹车）都是Car类里的招数。可要是我想让好几辆车一起干活儿，这事儿就有点麻烦了。这时候就需要请个帮手——函数出场啦！ 假设我们要写一个函数，用来比较两辆汽车的速度： cpp bool isFaster(Car car1, Car car2) { return car1.speed > car2.speed; } int main() { Car carA, carB; carA.speed = 60; carB.speed = 40; if (isFaster(carA, carB)) { cout << "Car A is faster than Car B!" << endl; } else { cout << "Car B is faster than Car A!" << endl; } return 0; } 这里，isFaster函数接收两个Car对象作为参数，并返回它们速度的比较结果。这样，我们就把类的功能扩展到了更复杂的场景中。 3.2 深度思考：函数的重要性 虽然我们可以通过类和对象完成很多任务，但函数的作用不可忽视。它们不仅可以让代码更加模块化，还能提高复用性。想象一下，如果你每次都要重复写类似的功能，那岂不是累死人了？所以，学会合理使用函数是非常重要的。 --- 4. 小项目实践 做一个简单的银行系统 现在，让我们试着用类、对象和函数做一个小项目——银行系统。这个系统包括客户信息管理、存款和取款等功能。 4.1 客户类定义 首先，我们定义一个Customer类，包含客户的姓名、账户余额等信息： cpp class Customer { private: string name; double balance; public: Customer(string n, double b) : name(n), balance(b) {} void deposit(double amount) { balance += amount; cout << name << "'s account has been credited with $" << amount << "." << endl; } void withdraw(double amount) { if (balance >= amount) { balance -= amount; cout << name << "'s account has been debited with $" << amount << "." << endl; } else { cout << name << " does not have sufficient funds." << endl; } } void displayBalance() const { cout << name << "'s current balance: $" << balance << endl; } }; 4.2 主程序实现 接着，我们在主程序中创建几个客户并进行操作： cpp int main() { Customer john("John Doe", 1000); Customer jane("Jane Smith", 500); john.deposit(200); jane.withdraw(300); john.displayBalance(); jane.displayBalance(); return 0; } 运行结果如下： John Doe's account has been credited with $200. Jane Smith's account has been debited with $300. John Doe's current balance: $1200 Jane Smith's current balance: $200 看到没？通过类、对象和函数，我们已经成功实现了一个简单的银行系统！ --- 5. 总结 深入与否取决于需求 好了，朋友们，到这里我们差不多可以下结论了。如果你的目标只是做一些小型项目或者练习题，那么只用类、对象和函数确实足够了。不过呢，要是你想捣鼓那种超大又复杂的玩意儿，像游戏引擎或者那些企业专用的软件，那可得好好琢磨琢磨C++的各种花招了，什么指针啊、模板啊、STL啥的，这些东西绝对躲不掉，学精了才好办事！ 记住，编程是一门艺术，也是一门科学。它既需要逻辑思维，也需要创造力。所以，与其纠结于要不要深入学习，不如问问自己：“我的目标是什么？”如果答案是“做一个有趣的小项目”，那么你就大胆地去尝试吧！ 最后，祝大家在编程之路上越走越远，早日成为编程高手！如果你有任何疑问，欢迎随时来找我讨论哦~ 😊 --- 希望这篇文章对你有所帮助！

...状态 首先，我们需要使用Kafka提供的命令行工具kafka-log-consumer来检查日志段的状态。以下是一个基本的命令示例： bash 连接到Kafka集群 bin/kafka-log-consumer.sh --zookeeper localhost:2181 --topic your-topic-name --group your-group-name 检查特定日志段的状态 bin/kafka-log-consumer.sh --zookeeper localhost:2181 --topic your-topic-name --group your-group-name --log-segment-state INVALID 如果发现特定日志段的状态为“INVALID”，可以尝试使用kafka-log-cleaner工具来修复问题： bash 启动日志清理器，修复日志段 bin/kafka-log-cleaner.sh --zookeeper localhost:2181 --topic your-topic-name --group your-group-name --repair 示例代码2：调整日志清理策略 对于日志清理策略的调整，可以通过修改Kafka配置文件server.properties来实现。以下是一个示例配置，用于延长日志段的保留时间： properties 延长日志段保留时间 log.retention.hours=24 确保在进行任何配置更改后，重启Kafka服务器以使更改生效： bash 重启Kafka服务器 service kafka-server-start.sh config/server.properties 四、最佳实践与预防措施 为了预防“InvalidProducerGroupLogPartitionLogSegmentState”错误的发生，建议采取以下最佳实践： - 定期监控：使用Kafka监控工具（如Kafka Manager）定期检查集群状态，特别是日志清理和存储情况。 - 合理配置：根据实际业务需求合理配置Kafka的参数，如日志清理策略、备份策略等，避免过度清理导致数据丢失。 - 容错机制：设计具有高容错性的生产者和消费者逻辑，能够处理临时网络中断或其他不可预测的错误。 - 定期维护：执行定期的集群健康检查和日志清理任务，及时发现并解决问题。 五、结语 从失败到成长 面对“InvalidProducerGroupLogPartitionLogSegmentState”这样的问题，虽然它可能会带来暂时的困扰，但正是这些挑战促使我们深入理解Kafka的工作机制和最佳实践。哎呀，学着怎么识别问题，然后把它们解决掉，这事儿可真挺有意思的！不仅能让你的电脑或者啥设备运行得更稳当，还不停地长本事，就像个技术侦探一样，对各种情况都能看得透透的。这不是简单地提升技能，简直是开挂啊！记住，每一次挑战都是成长的机会，让我们在技术的道路上不断前行。

...算法，判定用户出行时使用的出行方式。 基于SSNG多源数据处理平台，可实现的技术突破包括： 1）全国长时序人口流动监测技术 针对运营商信令数据以及spark分布式计算平台的特点，独创了处理运营商信令数据的双层计算框架，填补了分布式机器学习方法处理运营商信令数据的空白，实现了大规模高效治理运营商大数据的愿景；研发了人口流动与现代大数据技术相结合的宏观监测仿真模型。 基于以上技术构建了就业、交通、疫情、春运等一系列场景模型，并开发了响应决策平台，实现了对我国人口就业、流动及疫情影响的全域实时监测。 2）全国长时序人口流动预测技术 即人口流动的大尺度OD预测技术，研发了人口跨区域流动OD预测模型，解决了信令大数据在量化模拟大尺度人口流动中的技术难题，形成了对全国人口流动在日、周、月不同时间段和社区、乡镇、县市不同地理尺度进行预测的先进技术，实现了2020年新冠疫情后全国返城返岗和2021年全国春节期间人口流动的高精度预测。 3）实时人口监测 实时人口监测是通过对用户手机信令进行实时处理、计算和分析，得出指定区域的实时人口数量、特征和迁徙情况。包括区域人口密度、人口数量、人口结构、人口来源、人口画像、人口迁徙、职住分析、人口预测等信息。 4）超强数据处理及AI能力 引入Bitmap大数据处理算法及Pilosa数据库集群，采用实时流式计算，集成Kafka、redis、RabbitMQ等分布式大数据处理组件，搭建自有信令大数据处理平台，使用百亿计算go-kite架构，实现毫秒级响应，实时批量处理数据达500000条 /秒，每天可处理1000亿条数据。集成AI分析能力（A/B轨），有效避免了运营商数据采集及传输过程中的时延及中断情况，大幅提高数据结果的实时性。 已获专利情况： 专利名称 专利号 出行统计方法、装置、计算机设备和可读存储介质 ZL 2020 1 0908424.3 信令数据匹配方法、装置及电子设备 ZL 2019 1 1298869.8 轨道交通用户识别方法和装置 ZL 2019 1 0755903.3 公共聚集事件识别方法、装置、计算机设备及存储介质 ZL 2020 1 1191917.6 广域高铁基站识别方法、装置、服务器及存储介质 ZL 2020 1 1325543.2 相关荣誉： 2021地理信息科技进步奖一等奖、中国测绘学会科技进步奖特等奖、2021数博会领先科技成果奖、兼容系统创新应用大赛大数据专项赛优秀奖。 开发团队 ·带队负责人：陶周天 公司CTO，北京大学理学学士。长期任职于微软等世界500强企业，曾任上市公司优炫软件VP，具备丰富的IT架构、数据安全、数据分析建模、机器学习、项目管理经验。牵头组织突破多个技术难题（人地匹配、人车匹配、室内基站优化、行为集成AI等），研发一系列技术专利。 ·团队其他重要成员：刘祖军 高级算法工程师，美国爱荷华大学计算机科学本硕，曾任职于美国俄亥俄州立大学研究院。 ·隶属机构：智慧足迹 智慧足迹数据科技有限公司是中国联通控股，京东科技参股的专业大数据及智能科技公司。公司依托中国联通卓越的数据资源和5G能力，京东科技强大的人工智能、物联网等技术和“产业X科技”能力，聚焦“人口+”大数据，连接人-物-企，成为全域数据智能科技领先服务商。 公司以P·A·Dt为核心能力，面向数字政府、智慧城市、企业数字化转型广大市场主体，专注经济治理、社会治理和企业数字化服务，构建“人口+”七大多源数据主题库，提供“人口+” 就业、经济、消费、民生、城市、企业等大数据产品平台，服务支撑国家治理现代化和国家战略，推动经济社会发展。 目前，公司已服务国家二十多个部委及众多省市政府、300+城市规划、知名企业和高校等智库、国有及股份制银行等数百家头部客户，已建成全球最强大的手机信令处理平台，是中国就业、城规、统计等领域大数据领先服务商。 相关评价 新一代SSNG多源大数据处理平台，提升了手机信令数据在空间数据计算的精度，信令处理结果对室内场景更具敏锐性，在区域范围的职住人群空间分布更加接近实际情况。 ——某央企大数据部技术负责人 新一代SSNG多源大数据处理平台，可处理实时及历史信令数据，应对不同客户应用场景。并且根据长时间序列历史数据实现人口预测，为提高数据精度可对接室内基站数据，从而提供更加准确的人员定位。 ——某企业政府事业部总监 提示：了解更多相关内容，点击文末左下角“阅读原文”链接可直达该机构官网。 《2021企业数智化转型升级服务全景图/产业图谱1.0版》 《2021中国数据智能产业图谱3.0升级版》 《2021中国企业数智化转型升级发展研究报告》 《2021中国数据智能产业发展研究报告》 ❷ 创新服务企业榜 ❸ 创新服务产品榜 ❸ 最具投资价值榜 ❺ 创新技术突破榜 ☆条漫:《看过大佬们发的朋友圈之后，我相信：明天会更好！》 联系数据猿 北京区负责人:Summer 电话：18500447861(微信) 邮箱：summer@datayuan.cn 全国区负责人:Yaphet 电话：18600591561(微信) 邮箱：yaphet@datayuan.cn 本篇文章为转载内容。原文链接：https://blog.csdn.net/YMPzUELX3AIAp7Q/article/details/122314407。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...，特别是文件描述符的使用情况。 以下是一个简单的Python脚本，用于统计MySQL当前使用的文件描述符数量： python import psutil import subprocess def get_mysql_open_files(): 获取所有MySQL进程ID mysql_pids = [] result = subprocess.run(['pgrep', 'mysqld'], capture_output=True, text=True) for line in result.stdout.splitlines(): mysql_pids.append(int(line)) total_open_files = 0 for pid in mysql_pids: try: proc = psutil.Process(pid) open_files = len(proc.open_files()) print(f"Process {pid} has opened {open_files} files.") total_open_files += open_files except Exception as e: print(f"Error checking process {pid}: {e}") print(f"Total open files by MySQL processes: {total_open_files}") if __name__ == "__main__": get_mysql_open_files() 运行这个脚本后，我发现某些特定的查询会导致文件描述符迅速增加。经过分析，这些问题主要出现在涉及大文件读写的场景中。所以呢，我觉得咱们开发的小伙伴们得好好捯饬捯饬这些查询语句啦！比如说，能不能少建那些没用的临时表啊？再比如，能不能换个更快的存储引擎啥的？反正就是得让这个程序跑得更顺畅些，别老是卡在那里干瞪眼不是？ --- 4. 总结与反思 从问题中学到的东西 回顾这次经历，我深刻体会到，处理数据库问题时，不能仅凭直觉行事，而是要结合实际数据和技术手段，逐步排查问题的根本原因。同时，我也认识到，预防胜于治疗。如果能在日常运维中提前做好监控和预警，就可以避免很多突发状况。 最后，我想分享一点个人感悟：技术之路永无止境，每一次遇到难题都是一次成长的机会。说实话，有时候真的会觉得头大，甚至怀疑自己是不是走错了路。但我觉得啊，这就好比在黑暗里找钥匙，你得不停地摸索、试错才行。只要别轻易放弃，一直在学、一直在练，总有一天你会发现，“！原来它在这儿呢！”就跟我在处理这个MySQL报错的时候似的，最后不光把问题搞定了，还顺带学了不少实用的招儿呢！ 如果你也遇到了类似的情况，不妨试试上面提到的方法，也许能帮到你！

...程语言或API而需要使用不同的语言和库进行编程，这就需要维护各自独立的代码库。 由于跨平台的工具支持不一致，因此开发人员必须学习和使用一整套不同的工具。单独投入精力给每种硬件平台开发软件。 oneAPI则可以利用一种统一的编程模型以及支持并行性的库，支持包括CPU、GPU、FPGA等硬件等同于原生高级语言的开发性能，并且可以与现有的HPC编程模型交互。 SYCL SYCL支持C++数据并行编程，SYCL和OpenCL一样都是由Khronos Group管理的，SYCL是建立在OpenCL之上的跨平台抽象层，支持用C++用单源语言方式编写用于异构处理器的与设备无关的代码。 DPC++ DPC++(Data Parallel C++)是一种单源语言，可以将主机代码和异构加速器内核写在同一个文件当中，在主机中调用DPC++程序，计算由加速器执行。DPC++代码简洁且效率高，并且是开源的。现有的CUDA应用、Fortran应用、OpenCL应用都可以用不同方式很方便地迁移到DPC++当中。 下图显示了原来使用不同架构的HPC开发人员的一些推荐的转换方法。 编译和运行DPC++程序 编译和运行DPC++程序主要包括三步： 初始化环境变量 编译DPC++源代码 运行程序 例如本地运行，在本地系统上安装英特尔基础工具套件，使用以下命令编译和运行DPC++程序。 source /opt/intel/inteloneapi/setvars.shdpcpp simple.cpp -o simple./simple 编程实例 实现矢量加法 以下实例描述了使用DPC++实现矢量加法的过程和源代码。 queue类 queue类用来提交给SYCL执行的命令组，是将作业提交到运算设备的一种机制，多个queue可以映射到同一个设备。 Parallel kernel Parallel kernel允许代码并行执行，对于一个不具有相关性的循环数据操作，可以用Parallel kernel并行实现 在C++代码中的循环实现 for(int i=0; i < 1024; i++){a[i] = b[i] + c[i];}); 在Parallel kernel中的并行实现 h.parallel_for(range<1>(1024), [=](id<1> i){A[i] = B[i] + C[i];}); 通用的并行编程模板 h.parallel_for(range<1>(1024), [=](id<1> i){// CODE THAT RUNS ON DEVICE }); range用来生成一个迭代序列，1为步长，在循环体中，i表示索引。 Host Accessor Host Accessor是使用主机缓冲区访问目标的访问器，它使访问的数据可以在主机上使用。通过构建Host Accessor可以将数据同步回主机，除此之外还可以通过销毁缓冲区将数据同步回主机。 buf是存储数据的缓冲区。 host_accessor b(buf,read_only); 除此之外还可以将buf设置为局部变量，当系统超出buf生存期，buf被销毁，数据也将转移到主机中。 矢量相加源代码 根据上面的知识，这里展示了利用DPC++实现矢量相加的代码。 //第一行在jupyter中指明了该cpp文件的保存位置%%writefile lab/vector_add.cppinclude <CL/sycl.hpp>using namespace sycl;int main() {const int N = 256;// 初始化两个队列并打印std::vector<int> vector1(N, 10);std::cout<<"\nInput Vector1: "; for (int i = 0; i < N; i++) std::cout << vector1[i] << " ";std::vector<int> vector2(N, 20);std::cout<<"\nInput Vector2: "; for (int i = 0; i < N; i++) std::cout << vector2[i] << " ";// 创建缓存区buffer vector1_buffer(vector1);buffer vector2_buffer(vector2);// 提交矢量相加任务queue q;q.submit([&](handler &h) {// 为缓存区创建访问器accessor vector1_accessor (vector1_buffer,h);accessor vector2_accessor (vector2_buffer,h);h.parallel_for(range<1>(N), [=](id<1> index) {vector1_accessor[index] += vector2_accessor[index];});});// 创建主机访问器将设备中数据拷贝到主机当中host_accessor h_a(vector1_buffer,read_only);std::cout<<"\nOutput Values: ";for (int i = 0; i < N; i++) std::cout<< vector1[i] << " ";std::cout<<"\n";return 0;} 运行结果 统一共享内存 (Unified Shared Memory USM) 统一共享内存是一种基于指针的方法，是将CPU内存和GPU内存进行统一的虚拟化方法，对于C++来说，指针操作内存是很常规的方式，USM也可以最大限度的减少C++移植到DPC++的代价。 下图显示了非USM(左)和USM(右)的程序员开发视角。 类型 函数调用 说明 在主机上可访问 在设备上可访问 设备 malloc_device 在设备上分配（显式） 否 是 主机 malloc_host 在主机上分配（隐式） 是 是 共享 malloc_shared 分配可以在主机和设备之间迁移（隐式） 是 是 USM语法 初始化： int data = malloc_shared<int>(N, q); int data = static_cast<int >(malloc_shared(N sizeof(int), q)); 释放 free(data,q); 使用共享内存之后，程序将自动在主机和运算设备之间隐式移动数据。 数据依赖 使用USM时，要注意数据之间的依赖关系以及事件之间的依赖关系，如果两个线程同时修改同一个内存区，将产生不可预测的结果。 我们可以使用不同的选项管理数据依赖关系： 内核任务中的 wait() 使用 depends_on 方法 使用 in_queue 队列属性 wait() q.submit([&](handler &h) {h.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });}).wait(); // <--- wait() will make sure that task is complete before continuingq.submit([&](handler &h) {h.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });}); depends_on auto e = q.submit([&](handler &h) { // <--- e is event for kernel taskh.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });});q.submit([&](handler &h) {h.depends_on(e); // <--- waits until event e is completeh.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });}); in_order queue property queue q(property_list{property::queue::in_order()}); // <--- this will make sure all the task with q are executed sequentially 练习1：事件依赖 以下代码使用 USM，并有三个提交到设备的内核。每个内核修改相同的数据阵列。三个队列之间没有数据依赖关系 为每个队列提交添加 wait() 在第二个和第三个内核任务中实施 depends_on() 方法 使用 in_order 队列属性，而非常规队列： queue q{property::queue::in_order()}; %%writefile lab/usm_data.cppinclude <CL/sycl.hpp>using namespace sycl;static const int N = 256;int main() {queue q{property::queue::in_order()};//用队列限制执行顺序std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";int data = static_cast<int >(malloc_shared(N sizeof(int), q));for (int i = 0; i < N; i++) data[i] = 10;q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 5; });q.wait();//wait阻塞进程for (int i = 0; i < N; i++) std::cout << data[i] << " ";std::cout << "\n";free(data, q);return 0;} 执行结果 练习2：事件依赖 以下代码使用 USM，并有三个提交到设备的内核。前两个内核修改了两个不同的内存对象，第三个内核对前两个内核具有依赖性。三个队列之间没有数据依赖关系 %%writefile lab/usm_data2.cppinclude <CL/sycl.hpp>using namespace sycl;static const int N = 1024;int main() {queue q;std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";//设备选择int data1 = malloc_shared<int>(N, q);int data2 = malloc_shared<int>(N, q);for (int i = 0; i < N; i++) {data1[i] = 10;data2[i] = 10;}auto e1 = q.parallel_for(range<1>(N), [=](id<1> i) { data1[i] += 2; });auto e2 = q.parallel_for(range<1>(N), [=](id<1> i) { data2[i] += 3; });//e1,e2指向两个事件内核q.parallel_for(range<1>(N),{e1,e2}, [=](id<1> i) { data1[i] += data2[i]; }).wait();//depend on e1,e2for (int i = 0; i < N; i++) std::cout << data1[i] << " ";std::cout << "\n";free(data1, q);free(data2, q);return 0;} 运行结果 UMS实验 在主机中初始化两个vector，初始数据为25和49，在设备中初始化两个vector，将主机中的数据拷贝到设备当中，在设备当中并行计算原始数据的根号值，然后将data1_device和data2_device的数值相加，最后将数据拷贝回主机当中，检验最后相加的和是否是12，程序结束前将内存释放。 %%writefile lab/usm_lab.cppinclude <CL/sycl.hpp>include <cmath>using namespace sycl;static const int N = 1024;int main() {queue q;std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";//intialize 2 arrays on hostint data1 = static_cast<int >(malloc(N sizeof(int)));int data2 = static_cast<int >(malloc(N sizeof(int)));for (int i = 0; i < N; i++) {data1[i] = 25;data2[i] = 49;}// STEP 1 : Create USM device allocation for data1 and data2int data1_device = static_cast<int >(malloc_device(N sizeof(int),q));int data2_device = static_cast<int >(malloc_device(N sizeof(int),q));// STEP 2 : Copy data1 and data2 to USM device allocationq.memcpy(data1_device, data1, sizeof(int) N).wait();q.memcpy(data2_device, data2, sizeof(int) N).wait();// STEP 3 : Write kernel code to update data1 on device with sqrt of valueauto e1 = q.parallel_for(range<1>(N), [=](id<1> i) { data1_device[i] = std::sqrt(25); });auto e2 = q.parallel_for(range<1>(N), [=](id<1> i) { data2_device[i] = std::sqrt(49); });// STEP 5 : Write kernel code to add data2 on device to data1q.parallel_for(range<1>(N),{e1,e2}, [=](id<1> i) { data1_device[i] += data2_device[i]; }).wait();// STEP 6 : Copy data1 on device to hostq.memcpy(data1, data1_device, sizeof(int) N).wait();q.memcpy(data2, data2_device, sizeof(int) N).wait();// verify resultsint fail = 0;for (int i = 0; i < N; i++) if(data1[i] != 12) {fail = 1; break;}if(fail == 1) std::cout << " FAIL"; else std::cout << " PASS";std::cout << "\n";// STEP 7 : Free USM device allocationsfree(data1_device, q);free(data1);free(data2_device, q);free(data2);// STEP 8 : Add event based kernel dependency for the Steps 2 - 6return 0;} 运行结果 本篇文章为转载内容。原文链接：https://blog.csdn.net/MCKZX/article/details/127630566。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...常见，很多开发人员在使用数据库连接池时都会遇到类似的情况。我当时就纳闷了：这回收策略怎么这么磨人啊？是我哪儿配错了，还是我对HessianRPC这块儿理解得不够透彻呢？抱着这些小问号，我就这么一头扎进去了，开启了我的探索小冒险。 二、问题的本质 为什么回收策略如此重要？ 先来说说为什么数据库连接池的回收策略这么重要。其实啊，数据库连接池就像是一个专门帮大家管数据库连接的小管家，它的主要任务就是让大家用起来更方便、更快，同时还能省下不少资源，不浪费！要是回收策略没弄好，连接池里的连接可能就老也放不出来，然后就像多米诺骨牌一样，一连串的问题就跟着来了。 举个例子吧，假设你的系统正在高峰期运行，突然因为某个查询语句卡住了，导致连接池中的所有连接都被占用。要是没弄对回收的办法，这些连接就会一直挂着，啥时候超时了或者系统挂了才肯罢休。这种情况下，你的系统不仅性能下降，还可能面临服务中断的风险。 所以，当你在使用HessianRPC时，一定要认真对待连接池的回收策略。这个策略决定了连接什么时候可以被回收，以及如何避免不必要的资源消耗。 三、实践中的困惑 从代码中发现问题 接下来，我们来看一段典型的HessianRPC代码片段： java public class DatabaseService { private PoolingDataSource dataSource; public DatabaseService() { dataSource = new PoolingDataSource(); dataSource.setMinPoolSize(5); dataSource.setMaxPoolSize(20); dataSource.setInitialPoolSize(10); dataSource.setIdleConnectionTestPeriod(60); dataSource.setAcquireIncrement(5); } public void performQuery(String query) throws SQLException { Connection conn = null; Statement stmt = null; ResultSet rs = null; try { conn = dataSource.getConnection(); stmt = conn.createStatement(); rs = stmt.executeQuery(query); while (rs.next()) { System.out.println(rs.getString("column_name")); } } finally { if (rs != null) rs.close(); if (stmt != null) stmt.close(); if (conn != null) conn.close(); } } } 这段代码看起来没什么问题，对吧？但问题往往就藏在细节里。比如，dataSource.setTestOnBorrow(true) 这个方法，很多人可能会忘记设置。听着，要是你不把这个选项打开的话，当你要从连接池里拿连接的时候，连接池就懒得去管这条连接是不是还能用。那问题就来了，没准你就得了个坏家伙——一个根本没法用的连接！ 再比如，setMinPoolSize 和 setMaxPoolSize 的关系也很重要。如果 minPoolSize 设置得比 maxPoolSize 大，那连接池的行为就会变得不可预测。我当时就因为没注意到这个点，结果一到高并发的时候，系统就老是出现连接不够用的问题，烦死了！ 四、解决方案 一步步优化回收策略 既然问题已经浮出水面，那我们就来解决它吧！首先，我们需要明确几个关键点： 1. 连接测试 确保每次获取连接时都进行有效性测试。 2. 最大最小值设置 合理设置 minPoolSize 和 maxPoolSize，避免资源浪费。 3. 连接回收 设置合适的回收时间，防止连接长时间占用。 基于这些原则，我们可以调整代码如下： java dataSource.setTestOnBorrow(true); // 每次获取连接前测试其有效性 dataSource.setMinPoolSize(10); // 最小连接数 dataSource.setMaxPoolSize(50); // 最大连接数 dataSource.setIdleTimeout(300); // 空闲连接的最大存活时间（秒） dataSource.setAcquireIncrement(5); // 每次增加的连接数 通过这些设置，我们可以在一定程度上缓解连接池的压力。嘿，告诉你一个小窍门啊！你可以根据自己的业务需求，灵活调整连接池的大小，想大就大，想小就小， totally up to you!例如，在高峰时段适当增加 maxPoolSize，而在低谷时段减少它。 五、反思与总结 学习的旅程永无止境 回顾整个过程，我深刻体会到，技术学习是一个不断试错和改进的过程。一开始捣鼓 HessianRPC 的时候，我就是照着文档把配置抄下来了，压根没琢磨这些参数到底是干啥的，就觉得照着做就行了吧，管它什么意思呢！直到出现问题，我才意识到自己对底层机制的理解是多么浅薄。 不过，也正是因为这次经历，我学会了更加细致地思考每一个配置项的作用。而且，通过实际动手调试代码，我发现了很多之前忽略的小细节。比如，有时候一个小小的布尔值设置错误，就能让整个系统陷入混乱。 最后，我想说的是，无论是使用HessianRPC还是其他技术框架，都要保持一颗好奇的心。只有真正理解了工具的工作原理，才能在遇到问题时从容应对。希望这篇文章能给大家带来一些启发，让我们一起在这个充满挑战的技术世界中不断进步！

...运行在周末建立但每天使用的dakboard系列仪表板。 We have at 3 that are set up for retrogaming - one in a 3d printed Gameboy (A pi-grrl, in fact), one in a X-Arcade Tankstick, one in a tiny laser-cut arcade case for the desktop. 我们有3个可以进行复古游戏的游戏-一个是3D打印的Gameboy (实际上是pi-grrl )，一个是X-Arcade Tankstick ，一个是用于台式机的小型激光切割游戏机。 I have a Raspberry Pi that runs one of my 3D Printers running Octoprint. This one also has as camera and does time-lapse videos of my 3D prints. 我有一台Raspberry Pi，它运行我的一台运行Octoprint的3D打印机。 这也有作为相机，并播放我的3D打印的延时视频。 We have another 3 that run little robots my sons and I have built 我们还有3个运行着我儿子和我建造的小机器人 6 are running in a local Kubernetes Cluster 6在本地Kubernetes集群中运行 These 6 Pis are my personal cloud, so maybe there's 16 Pis in the house and one Pi Cloud/Cluster. 这6个Pis是我的个人云，所以也许房子里有16个Pis和一个Pi Cloud / Cluster。 6 are running in a local Kubernetes Cluster 6在本地Kubernetes集群中运行 One is an internet radio in the 13 year old's room running PiMusicBox. 一个是13岁的房间里运行PiMusicBox的互联网广播。 One is a touchscreen tablet the 11 year old uses for Scratch. Imagine a Linux iPad. 一个是11岁的Scratch使用的触摸屏平板电脑。 想象一下一个Linux iPad。 One runs Kodi as an entertainment center in the kids' play room. 其中一个将科迪作为儿童游乐室的娱乐中心。 One lives in a CrowPi that we use for experiments and .NET Core remote debugging. 一个住在我们用于实验和.NET Core远程调试的CrowPi中。 Another three are Raspbery Pi Zero Ws for various experiments with one Pi Zero W acting as as backup Open Source Artificial Pancreas. 另外三个是Raspbery Pi Zero Ws，用于各种实验，其中一个Pi Zero W作为备用开源人工胰腺。 and most recently one is a Pi-hole. A Black hole that eats tracking cookies, advertising, and other bad stuff. See also "shut your pie hole." AKA that place you put pie. 最近的一个是PiKong。 一个黑洞，它吞噬了跟踪Cookie，广告和其他不良内容。 另请参阅“关闭派Kong” 。 又就是你放馅饼的那个地方。 A Pi-hole is a Raspbery Pi appliance that takes the form of an DNS blocker at the network level. You image a Pi, set up your network to use that Pi as a DNS server and maybe white-list a few sites when things don't work. PiKong是Raspbery Pi设备，在网络级别采用DNS阻止程序的形式。 您对Pi进行映像，将网络设置为将该Pi用作DNS服务器，并在无法正常工作时将一些站点列入白名单。 I was initially skeptical, but I'm giving it a try. It doesn't process all network traffic, it's a DNS hop on the way out that intercepts DNS requests for known problematic sites and serves back nothing. 最初我对此表示怀疑，但现在尝试一下。 它不会处理所有网络流量，它是途中的DNS跃点，可拦截对已知问题站点的DNS请求，并且不提供任何服务。 Installation is trivial if you just run unread and untrusted code from the 'net ;) 如果您只是从'net;)运行未读和不受信任的代码，则安装很简单。 curl -sSL https://install.pi-hole.net | bash Otherwise, follow their instructions and download the installer, study it, and run it. 否则，请遵循他们的指示并下载安装程序，对其进行研究并运行。 I put my pi-hole installation on the metal, but there's also a very nice Docker Pi-hole setup if you prefer that. You can even go further, if, like me, you have Synology NAS which can also run Docker, which can in turn run a Pi-hole. 我将pi-hole安装在金属上，但是如果您愿意的话，还有一个非常好的Docker Pi-hole设置。 如果像我一样，如果您拥有也可以运行Docker的Synology NAS ，那么它甚至可以运行Pi-hole，您甚至可以走得更远。 Within the admin interface you can tail the logs for the entire network, which is also amazing to see. You think you know what's talking to the internet from your house - you don't. Everything is logged and listed. After installing the Pi-hole roughly 18% of the DNS queries heading out of my house were blocked. At one point over 23% were blocked. Oy. 在管理界面中，您可以跟踪整个网络的日志，这也很令人惊讶。 您认为自己知道从家里到互联网的谈话内容，而您却不知道。 一切都记录并列出。 安装完Pi漏洞后，大约有18％的DNS查询从我家出来。 一度超过23％被阻止。 哦 NOTE: If you're using an Amplifi HD or any "clever" router, you'll want to change the setting "Bypass DNS cache" otherwise the Amplifi will still remain the DNS lookup of choice on your network. This setting will also confuse the Pi-hole and you'll end up with just one "client" of the Pi-hole - the router itself. 注意：如果您使用Amplifi HD或任何“智能”路由器，则需要更改设置“绕过DNS缓存”，否则Amplifi仍将是您网络上首选的DNS查找。 此设置还会混淆PiKong，您最终只会得到PiKong的一个“客户端”，即路由器本身。 For me it's less about advertising - especially on small blogs or news sites I want to support - it's about just obnoxious tracking cookies and JavaScript. I'm going to keep using Pi-hole for a few months and see how it goes. Do be aware that some things WILL break. Could be a kid's iPhone free-to-play game that won't work unless it can download an add, could be your company's VPN. You'll need to log into http://pi.hole/admin (make sure you save your password when you first install, and you can only change it at the SSH command line with "pihole -a -p") and sometimes disable it for a few minutes to test, then whitelist certain domains. I suspect after a few weeks I'll have it nicely dialed in. 对我来说，它与广告无关，尤其是在我要支持的小型博客或新闻网站上，它只是关于令人讨厌的跟踪cookie和JavaScript。 我将继续使用Pi-hole几个月，看看效果如何。 请注意，有些事情会中断。 可能是一个孩子的iPhone免费游戏，除非可以下载附件，否则它将无法正常工作，可能是您公司的VPN。 您需要登录http：//pi.hole/admin (确保在首次安装时保存密码，并且只能在SSH命令行中使用“ pihole -a -p”更改密码)，有时将其禁用几分钟以进行测试，然后将某些域列入白名单。 我怀疑几周后我会拨好电话。 翻译自: https://www.hanselman.com/blog/blocking-ads-before-they-enter-your-house-at-the-dns-level-with-pihole-and-a-cheap-raspberry-pi pi-hole 本篇文章为转载内容。原文链接：https://blog.csdn.net/cunfusq0176/article/details/109051003。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...户快速定位问题并作出响应。此外，它支持大规模分布式环境下的监控，并能够无缝集成各类第三方工具和服务，如Prometheus、Grafana等，实现全方位的监控解决方案。 与此同时，开源社区对Nagios的贡献也日益丰富，涌现出了像Icinga、Naemon等基于Nagios核心的衍生项目，它们在保持兼容性的同时，引入更多现代化特性，比如灵活的插件体系、API驱动的自动化运维能力等，进一步提升了监控系统的灵活性和可扩展性。 而在最新的行业实践案例中，许多大型企业已成功运用Nagios搭建起高效稳定的监控平台，通过精细化的配置管理，有效预防潜在故障，确保业务连续性和稳定性。因此，对于任何想要提升IT基础设施监控管理水平的组织来说，深入研究Nagios的配置技巧并跟进其最新发展动态，无疑是一项极具价值的工作。

...osFactory.createConfigService("http://localhost:8848"); 这段代码看起来没问题啊，路径明明指向的是本地的Nacos服务器。而且我之前测试的时候也是这么写的，一直都没问题。 “会不会是配置路径格式变了？”我又重新检查了一遍Nacos的配置管理页面，确认路径确实正确无误。然后我又检查了权限设置，确保服务有权限访问这些配置。 “权限应该没问题吧，毕竟之前都好好的。”我自言自语道。不过嘛，我总觉得不放心，就随手叫上咱们的运维小伙伴帮我看了一下Nacos服务端的配置权限。没想到一看还真发现了点小问题，仔细一排查才发现权限其实没啥大事儿，一切正常！ “看来不是路径和权限的问题，那问题到底出在哪呢？”我有点沮丧，但还是不死心，继续往下查。 --- 三、深入排查 网络连接与超时设置 接下来，我开始怀疑是不是网络连接出了问题。毕竟Nacos是基于网络通信的，如果网络不通畅，那自然会导致读取失败。 我先检查了Nacos服务端的日志，发现并没有什么异常。再瞧瞧服务端的那个监听端口，嘿，8848端口不仅开着呢，而且服务还稳稳地在跑着，一点问题没有！ “难道是客户端的网络问题？”我心中一动，赶紧查看了服务端的防火墙规则，确认没有阻断任何请求。接着我又尝试ping了一下Nacos服务端的IP地址，结果发现网络连通性很好。 “网络应该没问题啊，那会不会是超时时间设置得太短了？”我灵机一动，想到之前在其他项目中遇到过类似的问题，可能是客户端等待响应的时间太短，导致请求超时。 于是我修改了Nacos客户端的配置，增加了超时时间： java Properties properties = new Properties(); properties.put(PropertyKeyConst.SERVER_ADDR, "localhost:8848"); properties.put(PropertyKeyConst.CONNECT_TIMEOUT_MS, "5000"); // 增加到5秒 NacosConfigService configService = NacosFactory.createConfigService(properties); 重新启动服务后，问题依然存在。看来超时时间也不是主要原因。 “真是搞不懂啊，难道是Nacos本身的问题？”我有些泄气，但还是决定继续深挖下去。 --- 四、终极排查 代码逻辑与异常处理 最后，我决定从代码逻辑入手，看看是不是程序内部的某些逻辑出了问题。于是我打开了Nacos客户端的源码，开始逐行分析。 在Nacos客户端的实现中，有一个方法是用来获取配置的： java String content = configService.getConfig(dataId, group, timeoutMs); 我仔细检查了这个方法的调用点，发现它是在服务启动时被调用的。你瞧，服务一启动呢，就会加载一堆东西，像数据库连接池啦，缓存配置啦，各种各样的“装备”都得准备好，这样它才能顺利开工干活呀！ “会不会是某个配置项的加载顺序影响了Nacos的读取？”我突然想到这一点。我琢磨着这事儿，干脆把所有的配置加载顺序仔仔细细捋了一遍，就为了确保Nacos的配置能在服务刚启动的时候就给安排上，别拖到后面出了幺蛾子。 同时，我还加强了异常处理逻辑，给Nacos的读取操作加上了try-catch块，以便捕获具体的异常信息： java try { String content = configService.getConfig(dataId, group, timeoutMs); System.out.println("Config loaded successfully: " + content); } catch (NacosException e) { System.err.println("Failed to load config: " + e.getMessage()); } 经过一番调整后，我再次启动服务，终于看到了一条令人振奋的消息：“Config loaded successfully”。 “太好了！”我长舒一口气，“原来问题就出在这里啊。” --- 五、总结与感悟 经过这次折腾，我对Nacos有了更深的理解。Nacos这东西确实挺牛的，是个超棒的配置管理工具，但用着用着你会发现，它也不是完美无缺的，各种小问题啊、坑啊，时不时就冒出来折腾你一下。其实吧，这些问题真不一定是Nacos自己惹的祸，八成是咱们的代码写得有点问题，或者是环境配错了，带偏了Nacos。 “其实啊，调试的过程就像侦探破案一样，需要耐心和细心。我坐在电脑前忍不住感慨：“哎，有时候觉得这问题看起来平平无奇的，可谁知道背后可能藏着啥惊天大秘密呢！”” 总之，这次经历让我明白了一个道理：遇到问题不要慌，要冷静分析，逐步排查。只有这样，才能找到问题的根本原因，解决问题。希望我的经验能对大家有所帮助，如果有类似的问题，不妨按照这个思路试试看！

... 在这个例子中，我们使用了go.uber.org/zap库来初始化日志器。咱们用个俏皮点的糖糖(Sugar())功能做了一个小版的日志记录工具，这样就能更轻松地往里面塞进各种日志信息了。就像是给日记本添上了便利贴，想记录啥就直接贴上去，简单又快捷！当服务器启动失败时，日志器会自动记录错误信息并结束程序执行。 3. 结合错误处理与日志记录的最佳实践 在实际应用中，错误处理和日志记录通常是紧密相连的。正确的错误处理策略应该包括： - 异常捕获：确保捕获所有潜在的错误，并适当处理或记录它们。 - 上下文信息：在日志中包含足够的上下文信息，帮助快速定位问题根源。 - 日志级别：根据错误的严重程度选择合适的日志级别（如INFO、ERROR）。 - 错误重试：对于可以重试的操作，实现重试机制，并在日志中记录重试尝试。 示例代码： go package main import ( "context" "math/rand" "time" "go.uber.org/zap" ) func main() { rand.Seed(time.Now().UnixNano()) ctx, cancel := context.WithTimeout(context.Background(), 5time.Second) defer cancel() for i := 0; i < 10; i++ { err := makeNetworkCall(ctx) if err != nil { zap.Sugar().Errorf("Network call %d failed: %s", i, err) } else { zap.Sugar().Infof("Network call %d succeeded", i) } time.Sleep(1 time.Second) } } func makeNetworkCall(ctx context.Context) error { time.Sleep(time.Duration(rand.Intn(10)) time.Millisecond) return fmt.Errorf("network call failed after %d ms", rand.Intn(10)) } 在这个例子中，我们展示了如何在一个循环中处理网络调用，同时利用context来控制调用的超时时间。在每次调用失败时，我们记录详细的错误信息和调用次数。这种做法有助于在出现问题时快速响应和诊断。 结论 通过上述实践，我们可以看到GoSpring如何通过结构化错误处理和日志记录来提升应用的健壮性和维护性。哎呀，兄弟！如果咱们能好好执行这些招数，那可真是大有裨益啊！不仅能大大缩短遇到问题时，咱们得花多少时间去修复，还能省下一大笔银子呢！更棒的是，还能让咱们团队里的小伙伴们，心往一处想，劲往一处使，互相理解，配合得天衣无缝。这感觉，就像是大家在一块儿打游戏，每个人都有自己的角色，但又都为了一个共同的目标而努力，多带劲啊！哎呀，你知道吗？当咱们的应用越做越大，用GoSpring的那些工具和好方法，简直就是如虎添翼啊！这样咱就能打造出一个既稳如泰山又快如闪电，还特别容易打理的系统。想象一下，就像给你的小花园施肥浇水，让每一朵花都长得茁壮又美丽，是不是感觉棒极了？所以啊，别小看了这些工具和最佳实践，它们可是你建大事业的得力助手！

...vate Date createTime;public String getName() {return name;}public void setName(String name) {this.name = name;}public File[] getUpload() {return upload;}public void setUpload(File[] upload) {this.upload = upload;}public String[] getUploadContentType() {return uploadContentType;}public void setUploadContentType(String[] uploadContentType) {this.uploadContentType = uploadContentType;}public String[] getUploadFileName() {return uploadFileName;}public void setUploadFileName(String[] uploadFileName) {this.uploadFileName = uploadFileName;}public String getSavePath() {return savePath;}public void setSavePath(String savePath) {this.savePath = savePath;}public Date getCreateTime(){ createTime=new Date();return createTime;}public static void copy(File source,File target){ InputStream inputStream=null;OutputStream outputStream=null;try{inputStream=new BufferedInputStream(new FileInputStream(source));outputStream=new BufferedOutputStream(new FileOutputStream(target));byte[] buffer=new byte[1024];int length=0;while((length=inputStream.read(buffer))>0){outputStream.write(buffer, 0, length);} }catch(Exception e){e.printStackTrace();}finally{if(null!=inputStream){try {inputStream.close();} catch (IOException e2) {e2.printStackTrace();} }if(null!=outputStream){try{outputStream.close();}catch(Exception e2){e2.printStackTrace();} }} }@Overridepublic String execute() throws Exception { for(int i=0;i<upload.length;i++){ String path=ServletActionContext.getServletContext().getRealPath(this.getSavePath())+"\\"+this.uploadFileName[i];File target=new File(path);copy(this.upload[i],target);}return SUCCESS;} } /20171105_shiyan_upanddown/src/nuc/sw/action/LoginAction.java package nuc.sw.action;import java.util.regex.Pattern;import com.opensymphony.xwork2.ActionContext;import com.opensymphony.xwork2.ActionSupport;public class LoginAction extends ActionSupport {//属性驱动校验private String username;private String password;public String getUsername() {return username;}public void setUsername(String username) {this.username = username;}public String getPassword() {return password;}public void setPassword(String password) {this.password = password;}//手动检验@Overridepublic void validate() {// TODO Auto-generated method stub//进行数据校验，长度6~15位 if(username.trim().length()<6||username.trim().length()>15||username==null) {this.addFieldError("username", "用户名长度不合法！");}if(password.trim().length()<6||password.trim().length()>15||password==null) {this.addFieldError("password", "密码长度不合法！");} }//登陆业务逻辑public String loginMethod() {if(username.equals("chenghaoran")&&password.equals("12345678")) {ActionContext.getContext().getSession().put("user", username);return "loginOK";}else {this.addFieldError("err","用户名或密码不正确！");return "loginFail";} }//手动校验validateXxxpublic void validateLoginMethod() {//使用正则校验if(username==null||username.trim().equals("")) {this.addFieldError("username","用户名不能为空！");}else {if(!Pattern.matches("[a-zA-Z]{6,15}", username.trim())) {this.addFieldError("username", "用户名格式错误！");} }if(password==null||password.trim().equals("")) {this.addFieldError("password","密码不能为空！");}else {if(!Pattern.matches("\\d{6,15}", password.trim())) {this.addFieldError("password", "密码格式错误！");} }} } /20171105_shiyan_upanddown/src/nuc/sw/interceptor/LoginInterceptor.java package nuc.sw.interceptor;import com.opensymphony.xwork2.Action;import com.opensymphony.xwork2.ActionContext;import com.opensymphony.xwork2.ActionInvocation;import com.opensymphony.xwork2.ActionSupport;import com.opensymphony.xwork2.interceptor.AbstractInterceptor;public class LoginInterceptor extends AbstractInterceptor {@Overridepublic String intercept(ActionInvocation arg0) throws Exception {// TODO Auto-generated method stub//判断是否登陆，通过ActionContext访问SessionActionContext ac=arg0.getInvocationContext();String username=(String)ac.getSession().get("user");if(username!=null&&username.equals("chenghaoran")) {return arg0.invoke();//放行}else {((ActionSupport)arg0.getAction()).addActionError("请先登录！");return Action.LOGIN;} }} /20171105_shiyan_upanddown/src/struts.xml <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.1.7//EN""http://struts.apache.org/dtds/struts-2.1.7.dtd"><struts><constant name="struts.i18n.encoding" value="utf-8"/><package name="default" extends="struts-default"><interceptors><interceptor name="login" class="nuc.sw.interceptor.LoginInterceptor"></interceptor></interceptors> <action name="docUpload" class="nuc.sw.action.DocUploadAction"><!-- 使用fileUpload拦截器 --><interceptor-ref name="fileUpload"><!-- 指定允许上传的文件大小最大为50000字节 --><param name="maximumSize">50000</param></interceptor-ref><!-- 配置默认系统拦截器栈 --><interceptor-ref name="defaultStack"/><!-- param子元素配置了DocUploadAction类中savePath属性值为/upload --><param name="savePath">/upload</param><result>/showFile.jsp</result><!-- 指定input逻辑视图，即不符合上传要求，被fileUpload拦截器拦截后，返回的视图页面 --><result name="input">/uploadFile.jsp</result></action> <action name="docDownload" class="nuc.sw.action.DocDownloadAction"><!-- 指定结果类型为stream --><result type="stream"><!-- 指定下载文件的文件类型 text/plain表示纯文本 --><param name="contentType">application/msword,text/plain</param><!-- 指定下载文件的入口输入流 --><param name="inputName">inputStream</param><!-- 指定下载文件的处理方式与文件保存名 attachment表示以附件形式下载，也可以用inline表示内联即在浏览器中直接显示，默认值为inline --><param name="contentDisposition">attachment;filename="${downloadFileName}"</param><!-- 指定下载文件的缓冲区大小，默认为1024 --><param name="bufferSize">40960</param></result></action><action name="loginAction" class="nuc.sw.action.LoginAction" method="loginMethod"><result name="loginOK">/uploadFile.jsp</result><result name="loginFail">/login.jsp</result><result name="input">/login.jsp</result></action> </package></struts> /20171105_shiyan_upanddown/WebContent/login.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>登录页</title><s:head/></head><body><s:actionerror/><s:fielderror fieldName="err"></s:fielderror><s:form action="loginAction" method="post"> <s:textfield label="用户名" name="username"></s:textfield><s:password label="密码" name="password"></s:password><s:submit value="登陆"></s:submit></s:form></body></html> /20171105_shiyan_upanddown/WebContent/showFile.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>显示上传文档</title></head><body><center><font style="font-size:18px;color:red">上传者：<s:property value="name"/></font><table width="45%" cellpadding="0" cellspacing="0" border="1"><tr><th>文件名称</th><th>上传者</th><th>上传时间</th></tr><s:iterator value="uploadFileName" status="st" var="doc"><tr><td align="center"><a href="docDownload.action?downPath=upload/<s:property value="doc"/>"><s:property value="doc"/> </a></td><td align="center"><s:property value="name"/></td><td align="center"><s:date name="createTime" format="yyyy-MM-dd HH:mm:ss"/></td></tr></s:iterator></table></center></body></html> /20171105_shiyan_upanddown/WebContent/uploadFile.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>多文件上传</title></head><body><center><s:form action="docUpload" method="post" enctype="multipart/form-data"><s:textfield name="name" label="姓名" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:submit value="确认上传" align="center"/></s:form></center></body></html> 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_34101492/article/details/78811741。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...助于增强类型安全性和提升性能。 同时，随着JIT即时编译器的发展，如GraalVM项目，其先进的动态编译技术能更高效地将字节码转换为机器码，使得Java应用程序执行效率大幅提升。对于Class文件内部结构的理解，有助于我们更好地利用这些新特性和工具进行优化配置。 此外，随着微服务、容器化和云原生架构的普及，Class文件在服务启动速度和资源占用上的优化也显得尤为重要。例如，通过提前解析和验证Class文件以减少运行时开销，或者采用Ahead-of-Time(AOT)编译技术将部分Class文件直接编译成本地代码，从而提升系统启动速度和降低内存使用。 另外，对于安全领域，深入理解Class文件结构有助于分析恶意字节码攻击手段，以及如何通过虚拟机层面的安全防护措施来避免有害类文件的加载执行。例如，最新的Java版本不断强化类加载验证机制，防止非法或恶意篡改的Class文件危害系统安全。 综上所述，随着Java技术栈的持续演进，Class文件这一基础而又关键的概念，在实际开发和运维过程中仍具有极高的研究价值和实战意义，值得开发者们密切关注和深入探索。

...ock 所有命令需要使用root 权限 nvidia@nvidia-desktop:~$ hwclockhwclock: Cannot access the Hardware Clock via any known method.hwclock: Use the --debug option to see the details of our search for an access method.nvidia@nvidia-desktop:~$nvidia@nvidia-desktop:~$nvidia@nvidia-desktop:~$ sudo hwclock2023-03-21 11:18:49.607690+0800nvidia@nvidia-desktop:~$ 将系统时间同步到硬件时间 hwclock -w 将硬件时间同步到系统时间 hwclock -s 二、不同机器间时间同步 为了避免主机时间因为长期运作下所导致的时间偏差，进行时间同步(synchronize)的工作是非常必要的。Linux系统下，一般使用ntp服务器来同步不同机器的时间。一台机器，可以同时是ntp服务器和ntp客户机。 2.1 ntpdate命令实现 ntpdate 安装： yum install ntpdate -y Centos系统======================================sudo apt install ntpdate Ubuntu系统 时间同步 sudo ntpdate -u cn.pool.ntp.org18 Mar 18:25:22 ntpdate[18673]: adjust time server 84.16.73.33 offset 0.015941 sec 使用ntpdate 只是强制将系统时间设置为ntp服务器时间，如果cpu tick有问题，时间还是会不准。所以，一般配合cron命令，来进行定期同步设置。比如，在crontab中添加： sudo crontab -e0 12 /usr/sbin/ntpdate 192.168.10.110 上述命令的意思是：每天的12点整，从192.168.10.110 ntp服务器同步一次时间（前提是 192.168.10.110有ntp服务）。 2.2 Ntp客户端代码实现 本质上还是创建socket连接去获取ntp服务的时间与本地时间比较，不一致修改本机时间即可。 NtpClient.h //// Created by lwang on 2023-03-18.//ifndef NTP_CLIENT_Hdefine NTP_CLIENT_Hinclude <stdio.h>include <stdlib.h>include <string.h>include <time.h>include <iostream>include <unistd.h>include <sys/select.h>include <sys/time.h>include <sys/socket.h>include <arpa/inet.h>include <netdb.h>include <errno.h>include <endian.h>include <map>include <string>include <mutex>using namespace std;define NTP_LI 0define NTP_VERSION_NUM 3define NTP_MODE_CLIENT 3define NTP_MODE_SERVER 4define NTP_STRATUM 0define NTP_POLL 4define NTP_PRECISION -6define NTP_MIN_LEN 48define NTP_SERVER_PORT 123define NTP_SERVER_ADDR "119.28.183.184"define TIMEOUT 2define BUFSIZE 1500define JAN_1970 0x83aa7e80define NTP_CONV_FRAC32(x) (uint64_t)((x) ((uint64_t)1 << 32))define NTP_REVE_FRAC32(x) ((double)((double)(x) / ((uint64_t)1 << 32)))define NTP_CONV_FRAC16(x) (uint32_t)((x) ((uint32_t)1 << 16))define NTP_REVE_FRAC16(x) ((double)((double)(x) / ((uint32_t)1 << 16)))define USEC2FRAC(x) ((uint32_t)NTP_CONV_FRAC32((x) / 1000000.0))define FRAC2USEC(x) ((uint32_t)NTP_REVE_FRAC32((x)1000000.0))define NTP_LFIXED2DOUBLE(x) ((double)(ntohl(((struct l_fixedpt )(x))->intpart) - JAN_1970 + FRAC2USEC(ntohl(((struct l_fixedpt )(x))->fracpart)) / 1000000.0))struct s_fixedpt{uint16_t intpart;uint16_t fracpart;};struct l_fixedpt{uint32_t intpart;uint32_t fracpart;};struct ntphdr{if __BYTE_ORDER == __BID_ENDIANunsigned int ntp_li : 2;unsigned int ntp_vn : 3;unsigned int ntp_mode : 3;endifif __BYTE_ORDER == __LITTLE_ENDIANunsigned int ntp_mode : 3;unsigned int ntp_vn : 3;unsigned int ntp_li : 2;endifuint8_t ntp_stratum;uint8_t ntp_poll;int8_t ntp_precision;struct s_fixedpt ntp_rtdelay;struct s_fixedpt ntp_rtdispersion;uint32_t ntp_refid;struct l_fixedpt ntp_refts;struct l_fixedpt ntp_orits;struct l_fixedpt ntp_recvts;struct l_fixedpt ntp_transts;};class NtpClient {public:NtpClient();virtual ~NtpClient();void GetNtpTime(std::string &ntpTime);in_addr_t HostTransfer(const char host);int PaddingNtpPackage(void buf, size_t size);double GetOffset(const struct ntphdr ntp, const struct timeval recvtv);private:int m_sockfd;};endif / NTP_CLIENT_H / NtpClient.cpp //// Created by lwang on 2023-03-18.//include "NtpClient.h"NtpClient::NtpClient() { }NtpClient::~NtpClient() {}in_addr_t NtpClient::HostTransfer(const char host){in_addr_t saddr;struct hostent hostent;if ((saddr = inet_addr(host)) == INADDR_NONE){if ((hostent = gethostbyname(host)) == NULL){return INADDR_NONE;}memmove(&saddr, hostent->h_addr, hostent->h_length);}return saddr;}int NtpClient::PaddingNtpPackage(void buf, size_t size) // 构建并发送NTP请求报文{if (!size)return -1;struct ntphdr ntp;struct timeval tv;memset(buf, 0, BUFSIZE);ntp = (struct ntphdr )buf;ntp->ntp_li = NTP_LI;ntp->ntp_vn = NTP_VERSION_NUM;ntp->ntp_mode = NTP_MODE_CLIENT;ntp->ntp_stratum = NTP_STRATUM;ntp->ntp_poll = NTP_POLL;ntp->ntp_precision = NTP_PRECISION;gettimeofday(&tv, NULL); // 把目前的时间用tv 结构体返回ntp->ntp_transts.intpart = htonl(tv.tv_sec + JAN_1970);ntp->ntp_transts.fracpart = htonl(USEC2FRAC(tv.tv_usec));size = NTP_MIN_LEN;return 0;}double NtpClient::GetOffset(const struct ntphdr ntp, const struct timeval recvtv) // 偏移量{double t1, t2, t3, t4;t1 = NTP_LFIXED2DOUBLE(&ntp->ntp_orits);t2 = NTP_LFIXED2DOUBLE(&ntp->ntp_recvts);t3 = NTP_LFIXED2DOUBLE(&ntp->ntp_transts);t4 = recvtv->tv_sec + recvtv->tv_usec / 1000000.0;return ((t2 - t1) + (t3 - t4)) / 2;}void NtpClient::GetNtpTime(std::string &ntpTime){char buffer[64] = {0};char cmd[128] = {0};tm local;char buf[BUFSIZE];size_t nbytes;int maxfd1;struct sockaddr_in servaddr;fd_set readfds;struct timeval timeout, recvtv, tv;double offset;servaddr.sin_family = AF_INET;servaddr.sin_port = htons(NTP_SERVER_PORT);servaddr.sin_addr.s_addr = HostTransfer(NTP_SERVER_ADDR);if ((m_sockfd = socket(AF_INET, SOCK_DGRAM, 0)) < 0){perror("socket error");return ;}if (connect(m_sockfd, (struct sockaddr )&servaddr, sizeof(struct sockaddr)) != 0){perror("connect error");return ;}nbytes = BUFSIZE;if (PaddingNtpPackage(buf, &nbytes) != 0){fprintf(stderr, "construct ntp request error \n");exit(-1);}send(m_sockfd, buf, nbytes, 0);FD_ZERO(&readfds);FD_SET(m_sockfd, &readfds);maxfd1 = m_sockfd + 1;timeout.tv_sec = TIMEOUT;timeout.tv_usec = 0;if (select(maxfd1, &readfds, NULL, NULL, &timeout) > 0){if (FD_ISSET(m_sockfd, &readfds)){if ((nbytes = recv(m_sockfd, buf, BUFSIZE, 0)) < 0){perror("recv error");exit(-1);}// 计算C/S时间偏移量gettimeofday(&recvtv, NULL);offset = GetOffset((struct ntphdr )buf, &recvtv);gettimeofday(&tv, NULL);tv.tv_sec += (int)offset;tv.tv_usec += offset - (int)offset;local = localtime((time_t )&tv.tv_sec);strftime(buffer, 64, "%Y-%m-%d %H:%M:%S", local);ntpTime = std::string(buffer);} }return ;} main.cpp include "NtpClient.h"int main(){std::string ntpTime = "";char curBuf[64] = {0};struct timeval cur;tm local;NtpClient client;client.GetNtpTime(ntpTime);cout << "ntpTime: " << ntpTime << endl;gettimeofday(&cur, NULL);local = localtime((time_t )&cur.tv_sec);strftime(curBuf, 64, "%Y-%m-%d %H:%M:%S", local);std::string curTime = std::string(curBuf);cout << "curTime: " << curTime << endl;if (curTime != ntpTime){cout << "start time calibrate!" << endl;std::string cmd = "sudo date -s \"" + ntpTime + "\"";system(cmd.c_str());cout << "cmd: " << cmd << endl;}else{cout << "time seem" << endl;}return 0;} 推荐一个零声学院免费教程，个人觉得老师讲得不错， 分享给大家：[Linux，Nginx，ZeroMQ，MySQL，Redis， fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker， TCP/IP，协程，DPDK等技术内容，点击立即学习: 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_46935110/article/details/129683157。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

HDFS读取速度慢？别急，我们一起来找原因！ 最近我在使用Hadoop的过程中，发现了一个让我非常头疼的问题——HDFS的读取速度慢得让人抓狂！作为一个对大数据技术充满热情的技术宅男（或者宅女），这种问题简直就像一道数学题里的“未知数”一样困扰着我。今天，我就想跟大家聊聊这个话题，希望能找到一些解决办法。 一、背景介绍 HDFS为什么重要？ 首先，让我们简单回顾一下HDFS是什么。HDFS（Hadoop分布式文件系统）就像是Hadoop这个大家族里的“顶梁柱”之一，它专门用来管理海量的数据，就像一个超级大的仓库，能把成千上万的数据文件整整齐齐地存放在不同的电脑上，还能保证它们既安全又容易取用。简单来说，就是把一个大文件分成很多小块，然后把这些小块分散存储在不同的服务器上。这么做的好处嘛，简直太明显了！就算哪台机器突然“罢工”了，数据也能稳稳地保住，完全不会丢。而且呢，还能同时对这些数据进行处理，效率杠杠的！ 但是，任何技术都有它的局限性。HDFS虽然功能强大，但在实际应用中也可能会遇到各种问题，比如读取速度慢。这可能是由于网络延迟、磁盘I/O瓶颈或者其他因素造成的。那么，具体有哪些原因会导致HDFS读取速度变慢呢？接下来，我们就来一一分析。 二、可能的原因及初步排查 1. 网络延迟过高 想象一下，你正在家里看电影，突然发现画面卡顿了，这是因为你的网络连接出了问题。同样地，在HDFS中，如果网络延迟过高，也会导致读取速度变慢。比如说，假如你的数据节点散落在天南海北的各种数据中心里，那数据跑来跑去就得花更多时间，就像你在城市两端都有家一样，来回折腾肯定比在同一个小区里串门费劲得多。 示例代码： java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path filePath = new Path("/user/hadoop/input/file.txt"); FSDataInputStream in = null; try { in = fs.open(filePath); byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); while (bytesRead != -1) { bytesRead = in.read(buffer); } } catch (IOException e) { e.printStackTrace(); } finally { if (in != null) { try { in.close(); } catch (IOException e) { e.printStackTrace(); } } } 这段代码展示了如何从HDFS中读取文件。如果你发现每次执行这段代码时都需要花费很长时间，那么很可能是网络延迟的问题。 2. 数据本地性不足 还记得小时候玩过的接力赛吗？如果接力棒总是从一个人传到另一个人再传回来，效率肯定不高。这就跟生活中的事儿一样啊，在HDFS里头，要是数据没分配到离客户端最近的那个数据节点上，那不是干等着嘛，多浪费时间呀！ 解决方案： 可以通过调整副本策略来改善数据本地性。比如说，默认设置下，HDFS会把文件的备份分散存到集群里的不同机器上。不过呢，如果你想让这个过程变得更高效或者更适合自己的需求，完全可以去调整那个叫dfs.replication的参数！ xml dfs.replication 3 3. 磁盘I/O瓶颈 磁盘读写速度是影响HDFS性能的一个重要因素。要是你的服务器用的是那些老掉牙的机械硬盘，那读文件的速度肯定就慢得像乌龟爬了。 实验验证： 为了测试磁盘I/O的影响，可以尝试将一部分数据迁移到SSD上进行对比实验。好啦，想象一下，你手头有一堆日志文件要对付。先把它们丢到普通的老硬盘（HDD）里待着，然后又挪到固态硬盘（SSD）上，看看读取速度变了多少。是不是感觉像在玩拼图游戏，只不过这次是在折腾文件呢？ 三、进阶优化技巧 经过前面的分析，我们可以得出结论：要提高HDFS的读取速度，不仅仅需要关注硬件层面的问题，还需要从软件配置上下功夫。以下是一些更高级别的优化建议： 1. 增加带宽 带宽就像是高速公路的车道数量，车道越多，车辆通行就越顺畅。对于HDFS来说，增加带宽意味着可以同时传输更多的数据块。 实际操作： 联系你的网络管理员，询问是否有可能升级现有的网络基础设施，比如更换更快的交换机或者部署新的光纤线路。 2. 调整副本策略 默认情况下，HDFS会将每个文件的三个副本均匀分布在整个集群中。然而，在某些特殊场景下，这种做法并不一定是最优解。比如说，你家APP平时就爱扎堆在那几个服务器节点上干活儿，那就可以把副本都放一块儿，这样它们串门聊天、传文件啥的就方便多了，也不用跑太远浪费时间啦！ 配置修改： xml dfs.block.local-path-access.enabled true 3. 使用缓存机制 缓存就像冰箱里的剩饭，拿出来就能直接吃，不用重新加热。HDFS也有类似的机制，叫做“DataNode Cache”。打开这个功能之后啊，那些经常用到的数据就会被暂时存到内存里，这样下次再用的时候就嗖的一下快多了！ 启用步骤： bash hadoop dfsadmin -setSpaceQuota 100g /cachedir hadoop dfs -cache /inputfile /cachedir 四、总结与展望 通过今天的讨论，我相信大家都对HDFS读取速度慢的原因有了更深的理解。其实，无论是网络延迟、数据本地性还是磁盘I/O瓶颈，都不是不可克服的障碍。其实吧，只要咱们肯花点心思去琢磨、去试试，肯定能找出个适合自己情况的办法。 最后，我想说的是，作为一名技术人员，我们应该始终保持好奇心和探索精神。不要害怕失败，也不要急于求成，因为每一次挫折都是一次成长的机会。希望这篇文章能给大家带来启发，让我们一起努力，让Hadoop变得更加高效可靠吧！ --- 以上就是我对“HDFS读取速度慢”的全部看法和建议。如果你还有其他想法或者遇到类似的问题，请随时留言交流。咱们共同进步，一起探索大数据世界的奥秘！

...，掌握一门技术并合理使用它的最好办法就是深入理解这项技术背后的工作原理。通常情况 下，一项新技术的诞生常常会伴随着媒体的大肆宣传和炒作，这使得用户很难看清技术的本质。更确切地说，新技术总是会发明一些新的术语或者隐喻词来帮助宣 传，这在初期是非常有帮助的，但是这给技术的原理蒙上了一层砂纸，不利于用户在后期掌握技术的真谛。 Git就是一个很好的例子。我之前不能够很好的使用Git，于是我花了一段时间去学习Git的原理，直到这时，我才真正明白了Git的用法。我坚信只有真正理解Git内部原理的人才能够掌握这个工具。 Image Definition 镜像（Image）就是一堆只读层（read-only layer）的统一视角，也许这个定义有些难以理解，下面的这张图能够帮助读者理解镜像的定义。 从左边我们看到了多个只读层，它们重叠在一起。除了最下面一层，其它层都会有一个指针指向下一层。这些层是Docker内部的实现细节，并且能够 在主机（译者注：运行Docker的机器）的文件系统上访问到。统一文件系统（union file system）技术能够将不同的层整合成一个文件系统，为这些层提供了一个统一的视角，这样就隐藏了多层的存在，在用户的角度看来，只存在一个文件系统。 我们可以在图片的右边看到这个视角的形式。 你可以在你的主机文件系统上找到有关这些层的文件。需要注意的是，在一个运行中的容器内部，这些层是不可见的。在我的主机上，我发现它们存在于/var/lib/docker/aufs目录下。 sudo tree -L 1 /var/lib/docker/ /var/lib/docker/├── aufs├── containers├── graph├── init├── linkgraph.db├── repositories-aufs├── tmp├── trust└── volumes7 directories, 2 files Container Definition 容器（container）的定义和镜像（image）几乎一模一样，也是一堆层的统一视角，唯一区别在于容器的最上面那一层是可读可写的。 细心的读者可能会发现，容器的定义并没有提及容器是否在运行，没错，这是故意的。正是这个发现帮助我理解了很多困惑。 要点：容器 = 镜像 + 可读层。并且容器的定义并没有提及是否要运行容器。 接下来，我们将会讨论运行态容器。 Running Container Definition 一个运行态容器（running container）被定义为一个可读写的统一文件系统加上隔离的进程空间和包含其中的进程。下面这张图片展示了一个运行中的容器。 正是文件系统隔离技术使得Docker成为了一个前途无量的技术。一个容器中的进程可能会对文件进行修改、删除、创建，这些改变都将作用于可读写层（read-write layer）。下面这张图展示了这个行为。 我们可以通过运行以下命令来验证我们上面所说的： docker run ubuntu touch happiness.txt 即便是这个ubuntu容器不再运行，我们依旧能够在主机的文件系统上找到这个新文件。 find / -name happiness.txt /var/lib/docker/aufs/diff/860a7b...889/happiness.txt Image Layer Definition 为了将零星的数据整合起来，我们提出了镜像层（image layer）这个概念。下面的这张图描述了一个镜像层，通过图片我们能够发现一个层并不仅仅包含文件系统的改变，它还能包含了其他重要信息。 元数据（metadata）就是关于这个层的额外信息，它不仅能够让Docker获取运行和构建时的信息，还包括父层的层次信息。需要注意，只读层和读写层都包含元数据。 除此之外，每一层都包括了一个指向父层的指针。如果一个层没有这个指针，说明它处于最底层。 Metadata Location: 我发现在我自己的主机上，镜像层（image layer）的元数据被保存在名为”json”的文件中，比如说： /var/lib/docker/graph/e809f156dc985.../json e809f156dc985...就是这层的id 一个容器的元数据好像是被分成了很多文件，但或多或少能够在/var/lib/docker/containers/<id>目录下找到，<id>就是一个可读层的id。这个目录下的文件大多是运行时的数据，比如说网络，日志等等。 全局理解（Tying It All Together） 现在，让我们结合上面提到的实现细节来理解Docker的命令。 docker create <image-id> docker create 命令为指定的镜像（image）添加了一个可读写层，构成了一个新的容器。注意，这个容器并没有运行。 docker start <container-id> Docker start命令为容器文件系统创建了一个进程隔离空间。注意，每一个容器只能够有一个进程隔离空间。 docker run <image-id> 看到这个命令，读者通常会有一个疑问：docker start 和 docker run命令有什么区别。 从图片可以看出，docker run 命令先是利用镜像创建了一个容器，然后运行这个容器。这个命令非常的方便，并且隐藏了两个命令的细节，但从另一方面来看，这容易让用户产生误解。 题外话：继续我们之前有关于Git的话题，我认为docker run命令类似于git pull命令。git pull命令就是git fetch 和 git merge两个命令的组合，同样的，docker run就是docker create和docker start两个命令的组合。 docker ps docker ps 命令会列出所有运行中的容器。这隐藏了非运行态容器的存在，如果想要找出这些容器，我们需要使用下面这个命令。 docker ps –a docker ps –a命令会列出所有的容器，不管是运行的，还是停止的。 docker images docker images命令会列出了所有顶层（top-level）镜像。实际上，在这里我们没有办法区分一个镜像和一个只读层，所以我们提出了top-level 镜像。只有创建容器时使用的镜像或者是直接pull下来的镜像能被称为顶层（top-level）镜像，并且每一个顶层镜像下面都隐藏了多个镜像层。 docker images –a docker images –a命令列出了所有的镜像，也可以说是列出了所有的可读层。如果你想要查看某一个image-id下的所有层，可以使用docker history来查看。 docker stop <container-id> docker stop命令会向运行中的容器发送一个SIGTERM的信号，然后停止所有的进程。 docker kill <container-id> docker kill 命令向所有运行在容器中的进程发送了一个不友好的SIGKILL信号。 docker pause <container-id> docker stop和docker kill命令会发送UNIX的信号给运行中的进程，docker pause命令则不一样，它利用了cgroups的特性将运行中的进程空间暂停。具体的内部原理你可以在这里找到：https://www.kernel.org/doc/Doc ... m.txt，但是这种方式的不足之处在于发送一个SIGTSTP信号对于进程来说不够简单易懂，以至于不能够让所有进程暂停。 docker rm <container-id> docker rm命令会移除构成容器的可读写层。注意，这个命令只能对非运行态容器执行。 docker rmi <image-id> docker rmi 命令会移除构成镜像的一个只读层。你只能够使用docker rmi来移除最顶层（top level layer）（也可以说是镜像），你也可以使用-f参数来强制删除中间的只读层。 docker commit <container-id> docker commit命令将容器的可读写层转换为一个只读层，这样就把一个容器转换成了不可变的镜像。 docker build docker build命令非常有趣，它会反复的执行多个命令。 我们从上图可以看到，build命令根据Dockerfile文件中的FROM指令获取到镜像，然后重复地1）run（create和start）、2）修改、3）commit。在循环中的每一步都会生成一个新的层，因此许多新的层会被创建。 docker exec <running-container-id> docker exec 命令会在运行中的容器执行一个新进程。 docker inspect <container-id> or <image-id> docker inspect命令会提取出容器或者镜像最顶层的元数据。 docker save <image-id> docker save命令会创建一个镜像的压缩文件，这个文件能够在另外一个主机的Docker上使用。和export命令不同，这个命令为每一个层都保存了它们的元数据。这个命令只能对镜像生效。 docker export <container-id> docker export命令创建一个tar文件，并且移除了元数据和不必要的层，将多个层整合成了一个层，只保存了当前统一视角看到的内容（译者注：expoxt后 的容器再import到Docker中，通过docker images –tree命令只能看到一个镜像；而save后的镜像则不同，它能够看到这个镜像的历史镜像）。 docker history <image-id> docker history命令递归地输出指定镜像的历史镜像。 参考： http://www.cnblogs.com/bethal/p/5942369.html 本篇文章为转载内容。原文链接：https://blog.csdn.net/u010098331/article/details/53485539。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...个状态下可以最后一次使用存储在 half_stream 数据结构中的缓存数据 / / 校验和 / define NIDS_DO_CHKSUM 0 / 表示告诉 Libnids要计算校验和 / define NIDS_DONT_CHKSUM 1 / 表示告诉 Libnids不要计算校验和 / struct tuple4 / 描述一个地址端口对 , 它表示发送发IP 和端口以及接收方 IP 和端口 , 适用 TCP,UDP/ { u_short source; / 源 IP 地址的端口号/ u_short dest; / 目的 IP 地址的端口号/ u_int saddr; / 源 IP 地址 / u_int daddr; / 目的 IP 地址 / }; struct half_stream / 描述在 TCP 连接中一端的所有信息, 可以是客户端 , 也可以是服务端 / { char state; / 表示套接字的状态 , 也就是TCP 的状态 / char collect; / 可以表示有数据到达 , 此数据存放在data 成员中 , 也可以表示不存储此数据到 data中 , 此数据忽略 . 如果大于0 就存储 , 否则就忽略 / char collect_urg; / 可以表示有紧急数据到达 , 此数据就存放在urgdata 中 , 也可以表示不存储此数据到 urgdata中 , 此速数据忽略 . 如果大于0 就存储 , 否则就忽略 / char data; / 用户存储正常接受到的数据 / int offset; / 表示存储在 data 中数据的第一个字节的偏移量/ int count; / 表示从 TCP 连接开始已经存储到data 中的数据的字节数 / int count_new; / 有多少新的数据存储到 data 中, 如果为 0, 则表示没有新的数据到达 / int bufsize; int rmem_alloc; int urg_count; / 用来存储紧急数据 / u_int acked; u_int seq; u_int ack_seq; u_int first_data_seq; u_char urgdata; //存储紧急数据 u_char count_new_urg; / 表示有新的紧急数据到达 , 如果为0 表示没有新的紧急数据 / u_char urg_seen; //新的urg数据，不是以前重复的数据 u_int urg_ptr;/指向urg在流中的位置/ u_short window; u_char ts_on; u_char wscale_on; u_int curr_ts; u_int wscale; struct skbuff list; struct skbuff listtail; }; struct tcp_stream / 描述一个 TCP 连接的所有信息/ { struct tuple4 addr; char nids_state; struct lurker_node listeners; struct half_stream client; / 表示客户端信息 / struct half_stream server; / 表示服务端信息 / struct tcp_stream next_node; struct tcp_stream prev_node; int hash_index; struct tcp_stream next_time; struct tcp_stream prev_time; int read; struct tcp_stream next_free; }; struct nids_prm / 描述了 Libnids 的一些全局参数信息/ { int n_tcp_streams; / 表示哈西表大小 , 此哈西表用来存放tcp_stream 数据结构 , 默认值 1040.在同一时刻 Libnids 捕获的 TCP 数据包的最大个数必须是此参数值的3/4/ int n_hosts; / 表示哈西表的大小 , 此哈西表用来存储IP 碎片信息的 , 默认值为 256/ char device; / 表示网络接口 ,Libnids 将在此网络接口上捕获数据, 默认值为 NULL. 这样 Libnids将使用 pcap_lookupdev来查找可以用的网络接口 . 如果其值为 all, 表示捕获所有网络接口的数据/ char filename; / 表示用来存储网络数据的捕获文件 , 此文件的类型必须与 Libpcap 类型一致 , 如果设置了文件, 与此同时就应该设置 device 为 NULL,默认值为 NULL/ int sk_buff_size; / 表示的是数据接口 sk_buff 的大小 .sk_buff 是Linux 内核中一个重要的数据结构, 是用来进行数据包排队操作的 , 默认值为 168/ int dev_addon; / 表示在数据结构 sk_buff 中用于网络接口上信息的字节数. 如果是 -1( 默认值 ),那么 Libnids 会根据不同的网络接口进行修正 / void (syslog) (); / 是一个函数指针 , 默认值为nids_syslog() 函数 . 在 syslog函数中可以检测入侵攻击 , 如网络扫描攻击 , 也可以检测一些异常情况, 如无效 TCP 标记 / int syslog_level; / 表示日志等级 , 默认值是LOG_ALERT/ int scan_num_hosts; / 表示一个哈西表的大小 ,( 此哈西表用来存储端口扫描信息) 表示 Libnids 将要检测的同时扫描的端口数据 . 如果其值为 0,Libnids将不提供端口扫描功能 . 默认值 256/ int scan_delay; / 表示在扫描检测中 , 俩端口扫描的间隔时间, 以毫秒来计算 , 缺省值为 3000/ int scan_num_ports; / 表示相同源地址必须扫描的 TCP 端口数目 , 默认值为10/ void (no_mem) (char ); / 是一个函数指针 , 当Libnids 发生内存溢出时被调用/ int (ip_filter) (); / 是一个函数指针 , 此函数可以用来分析IP 数据包 , 当有 IP 数据包到达时 , 此函数就被调用. 如果此函数返回非零值 , 此数据包就被处理 ;如果返回零 , 此 IP 数据包就被丢弃. 默认值为 nids_ip_filter 函数 , 总是返回 1./ char pcap_filter; / 表示过滤规则 , 即Libpcap 的过滤规则 , 默认值为 NULL,表示捕获所有数据包 . 可以在此设置过滤规则 , 只捕获感兴趣的开发包/ int promisc; / 表示网卡模式 , 如果是非零, 就把此网卡设置为混杂模式 ; 否则 , 设为非混杂模式 . 默认值为1/ int one_loop_less; / 初始值为 0/ int pcap_timeout; / 表示捕获数据返回的时间 , 以毫秒计算. 实际上它表示的就是 Libpcap 函数中的 pcap_open_live函数的 timeout 参数 , 默认值 1024/ }; / 返回值 : 调用成功返回 1,失败返回 0 参 数 : 无 功 能 : 对 Libnids 初始化, 这是所有设计基于 Libnids 的程序最开始调用的函数 . 它的主要内容包括打开网络接口 , 打开文件 , 编译过滤规则 , 判断网络链路层类型, 进行必要的初始化工作 / int nids_init (void); / 返回值 : 无 参 数 : 回调函数名字 功 能 : 注册一个能够检测所有 IP 数据包的回调函数, 包括 IP 碎片 .e.g nids_register_ip_frag(ip_frag_function); void ip_frag_function(struct ip a_packet,int len) a_packet 表示接收的IP 数据包 len 表示接收的数据包长度 此回调函数可以检测所有的IP 数据包 , 包括 IP 碎片 / void nids_register_ip_frag (void ()); // / 返回值 : 无 参 数 : 回调函数名字 功 能 : 注册一个回调函数 , 此回调函数可以接收正常的IP 数据包 .e.g nids_register_ip_frag(ip_frag_function); void ip_frag_function(struct ip a_packet) a_packet 表示接收的IP 数据包 此回调函数可以接收正常的IP 数据包 , 并在此函数中对捕获数到的 IP数据包进行分析 . / void nids_register_ip (void ()); // / 返回值 : 无 参 数 : 回调函数 功 能 : 注册一个 TCP 连接的回调函数. 回调函数的类型定义如下 : void tcp_callback(struct tcp_stream ns,void param) ns 表示一个TCP 连接的所有信息 , param 表示要传递的参数信息 , 可以指向一个 TCP连接的私有数据 此回调函数接收的TCP 数据存放在 half_stream 的缓存中 , 应该马上取出来 ,一旦此回调函数返回 , 此数据缓存中存储的数据就不存在 了 .half_stream 成员 offset描述了被丢弃的数据字节数 . 如果不想马上取出来 , 而是等到存储一定数量的数据之后再取出来, 那么可 以使用函数nids_discard(struct tcp_stream ns, int num_bytes)来处理 . 这样回调函数返回时 ,Libnids 将丢弃缓存数据之前 的 num_bytes 字节的数据 .如果不调用 nids_discard()函数 , 那么缓存数据的字节应该为 count_new 字节 . 一般情况下, 缓存中的数据 应该是count-offset 字节 / void nids_register_tcp (void ()); / 返回值 : 无 参 数 : 回调函数 功 能 : 注册一个分析 UDP 协议的回调函数, 回调函数的类型定义如下 : void udp_callback(struct tuple4 addr,char buf,int len,struct ip iph) addr 表示地址端口信息buf 表示 UDP 协议负载的数据内容 len表是 UDP 负载数据的长度 iph 表示一个IP 数据包 , 包括 IP 首部 ,UDP 首部以及UDP 负载内容 / void nids_register_udp (void ()); / 返回值 : 无 参 数 : 表示一个 TCP 连接 功 能 : 终止 TCP 连接 . 它实际上是调用 Libnet的函数进行构造数据包 , 然后发送出去 / void nids_killtcp (struct tcp_stream ); / 返回值 : 无 参 数 : 参数 1 一个 TCP 连接 参数 2 个数 功 能 : 丢弃参数 2 字节 TCP 数据 , 用于存储更多的数据 / void nids_discard (struct tcp_stream , int); / 返回值 : 无 参 数 : 无 功 能 : 运行 Libnids, 进入循环捕获数据包状态. 它实际上是调用 Libpcap 函数 pcap_loop()来循环捕获数据包 / void nids_run (void); / 返回值 : 调用成功返回文件描述符 ,失败返回 -1 参 数 : 无 功 能 : 获得文件描述符号 / int nids_getfd (void); / 返回值 : 调用成功返回个数 ,失败返回负数 参 数 : 表示捕获数据包的个数 功 能 : 调用 Libpcap 中的捕获数据包函数pcap_dispatch() / int nids_dispatch (int); / 返回值 : 调用成功返回 1,失败返回 0 参 数 : 无 功 能 : 调用 Libpcap 中的捕获数据包函数pcap_next() / int nids_next (void); extern struct nids_prm nids_params; /libnids.c定以了一个全部变量 , 其定义和初始值在 nids_params/ extern char nids_warnings[]; extern char nids_errbuf[]; extern struct pcap_pkthdr nids_last_pcap_header; struct nids_chksum_ctl { / 描述的是计算校验和 , 用于决定是否计算校验和/ u_int netaddr; / 表示地址 / u_int mask; / 表示掩码 / u_int action; / 表示动作 , 如果是NIDS_DO_CHKSUM, 表示计算校验和; 如果是 NIDS_DONT_CHKSUM, 表示不计算校验和 / u_int reserved; / 保留未用 / }; / 返回值 : 无 参 数 : 参数 1 表示 nids_chksum_ctl 列表 参数 2 表示列表中的个数 功 能 : 决定是否计算校验和 . 它是根据数据结构nids_chksum_ctl 中的action 进行决定的 , 如果所要计算的对象不在列表中 , 则必须都要计算校验和 / extern void nids_register_chksum_ctl(struct nids_chksum_ctl , int); endif / _NIDS_NIDS_H / 本篇文章为转载内容。原文链接：https://blog.csdn.net/xieqb/article/details/7681968。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。