[排序字段值]的搜索结果

...| 客户端握手中的头字段： Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ== 具体而言，如上例所示，| Sec-WebSocket-Key | 标题字段的值为“dGhlIHNhbXBsZSBub25jZQ ==”，服务器 将串联字符串“258EAFA5-E914-47DA-95CA-C5AB0DC85B11” 形成字符串“dGhl ... 我找到了解决方法。 我已经修改了我的wsgi.py，现在它可以工作： import os os.environ.setdefault("DJANGO_SETTINGS_MODULE", "myapp.settings") This application object is used by any WSGI server configured to use this file. This includes Django's development server, if the WSGI ... 好吧，就我而言， RewriteBase /元素解决了这个问题。 如果有人因为shauninmann视网膜代码而遇到这个问题，我就把它留在那里。 Options -MultiViews RewriteEngine on RewriteBase / RewriteCond %{HTTP_COOKIE} HTTP_IS_RETINA [NC] RewriteCond %{REQUEST_FILENAME} !@2x RewriteRule ^(.)\ ... 如果您的服务器正在侦听端口80上的连接，它是否在谈论http？ 因为如果没有，不要在端口80上侦听：端口80已经建立为携带http流量。 下一步 - ipaddress和端口一起是端点的唯一标识符。 如果远程客户端通过端口80连接到您的服务器，而不是目标IP和端口，则没有其他信息表明网络层必须识别哪个应用程序(在端口80上侦听)应该获得该数据包。 鉴于配置多个IP地址非常困难 - 在NAT上是不可能的 - 将数据包路由到正确的侦听器的唯一信息就是端口。 所以你不能让两个应用程序在同一个端口上侦听。 ... 您无法通过直接在浏览器中打开它来连接到WebSocket。 您应该使用某个HTML页面创建HTTP服务器和响应。 在此HTML页面中，您应该包含连接到WebSocket服务器的javascript： var socket = new WebSocket("ws://localhost:8080"); You can't connect to WebSocket by open it directly in a browser. You should crea ... 所以我通过握手解决了我的特殊问题，而且非常无聊。 我需要两套“\ r \ n”才能完成握手。 所以为了解决我上面描述的握手问题(Javascript WebSocket没有进入OPEN状态)我需要对我的服务器端PHP进行以下更改(注意最后的\ r \ n \ r \ n，doh) ： function dohandshake($user,$buffer){ // getheaders and calcKey are confirmed working, can provide source ... 是。 独立的WebSocket服务器通常可以在任何端口上运行。 浏览器客户端打开与非HTTP(S)端口上的服务器的WebSocket连接没有问题。 默认端口为80/443的主要原因是它们是最可靠的大规模使用端口，因为它们能够遍历阻止所有其他端口上所有流量的许多企业防火墙。 如果这对您的受众来说不是问题(或者您有基于HTTP的回退)，那么为WebSocket服务器使用备用端口是完全合理的(并且更容易)。 另一种选择是使用80/443端口，但使用单独的IP地址/主机名。 Yes. A standalo ... Tyrus抱怨Connection: keep-alive, Upgrade header。 Firefox在这里没有做错任何事。 关于如何处理Connection标头，Tyrus过于严格，没有遵循WebSocket规范( RFC-6455 )。 RFC 4.1中的RFC规定： 6. The request MUST contain a |Connection| header field whose value MUST include the "Upgrade" tok ... 说实话，我不能100％确定地说这是什么，但我有一个非常强烈的怀疑。 我的代码中包含了太多的命名空间，我相信在编译器等实际运行时会出现一些混乱。 显然，Microsoft.Web.Websockets和SignalR的命名空间都包含WebSocketHandler。 虽然我不知道SignalR的所有细节，但看起来THAT命名空间中的WebSocketHandler并不意味着在SignalR之外使用。 我相信这个类正在被引用，而不是Microsoft.Web.Websockets中的那个，因为它现在起 ... 您应该使用websocket处理程序，而不是请求处理程序，尝试使用此示例 You should use the websocket handler, not the request handler, try with this example 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_34862561/article/details/119512220。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...原理，它把我们关心的字段整理好，这样当我们需要查询时，数据库就能直接跳到对应的位置，不用翻遍整个仓库，大大提高了速度，让数据响应更快，用户体验也更棒！哎呀，你可能在搞数据库操作的时候遇到了点小麻烦。比如说，你正兴致勃勃地想给数据表添个索引，让它跑得更快更顺溜，结果却蹦出个怪怪的错误信息：“IndexBuildingPrivilegeNotFound”。这意思就是说，你的小手还缺那么一丁点儿权限，没法儿建索引呢！别急，你只需要去找管理员大哥，或者自己在设置里开开这个权限开关，问题就迎刃而解啦！记得，权限这东西可得小心用，别乱来，不然可能会影响整个系统的稳定性和安全呢。嘿，小伙伴们！这篇文章就像是一次探险之旅，带你深入探索这个棘手问题的根源，揭秘那些神奇的解决策略，顺便给你几个小贴士，让你在日后的生活中轻松避开这些坑坑洼洼。准备好出发了吗？让我们一起揭开谜团，让生活变得更加顺畅吧！ 二、理解索引权限问题 在 MongoDB 中，当你尝试创建索引时，系统会检查你是否有足够的权限来执行这个操作。这通常涉及到两个主要方面： 1. 用户角色 你需要被赋予正确的角色，这些角色允许你在特定的数据库上创建索引。 2. 数据库配置 确保你的 MongoDB 配置允许创建索引，并且相关角色已正确分配给用户。 三、排查步骤与解决策略 面对 “IndexBuildingPrivilegeNotFound” 错误，以下是一些排查和解决问题的步骤： 1. 确认用户角色 - 使用 db.getUsers() 或 db.runCommand({ users: 1 }) 命令查看当前用户的角色及其权限。 - 确认是否拥有 db.createUser 和 createIndexes 权限。 javascript // 创建新用户并赋予权限 db.createUser({ user: "indexCreator", pwd: "password", roles: [ { role: "readWrite", db: "yourDatabase" }, { role: "createIndexes", db: "yourDatabase" } ] }); 2. 检查数据库配置 - 确保你的 MongoDB 实例允许创建索引。可以通过查看 /etc/mongod.conf（Linux）或 mongod.exe.config（Windows）文件中的配置选项来确认。 - 确保 security.authorizationMechanism 设置为 mongodb 或 scram-sha-1。 3. 权限验证 - 使用 db.auth("username", "password") 命令验证用户身份和权限。 javascript db.auth("indexCreator", "password"); 四、预防与最佳实践 为了避免此类错误，遵循以下最佳实践： - 权限最小化原则：只为需要执行特定操作的用户赋予必要的权限。 - 定期审核权限：定期检查数据库中的用户角色和权限设置，确保它们与当前需求相匹配。 - 使用角色聚合：考虑使用 MongoDB 的角色聚合功能来简化权限管理。 五、总结与反思 在 MongoDB 中管理索引权限是一个既关键又细致的过程。哎呀，兄弟！掌握并恰到好处地运用这些招数，不仅能让你在处理数据库这事儿上效率爆棚，还能给你的系统安全和稳定打上一个大大的保险扣儿。就像是有了秘密武器一样，让数据跑得快又稳，而且还能防着那些不怀好意的小坏蛋来捣乱。这样一来，你的数据保管工作就不仅是个技术活，还成了守护宝藏的秘密行动呢！哎呀，你遇到了“IndexBuildingPrivilegeNotFound”的小麻烦？别急嘛，我来给你支个招！按照我刚刚说的步骤一步步来，就像解密游戏一样，慢慢找啊找，你会发现那个藏起来的小秘密。说不定，问题就在这儿呢！找到原因了，解决起来自然就快多了，就像解开了一道数学难题，是不是超有成就感的？别忘了，耐心是关键，就像慢慢炖一锅好汤，火候到了，味道自然就出来了。加油，你一定行的！嘿！兄弟，听好了，每次碰上难题，那都是咱们提升自己，长知识的好时机，就像我们在数据库这片大海上航行，每一步都让咱们更懂水性，越来越厉害！ --- 通过本文的探索，我们不仅解决了“IndexBuildingPrivilegeNotFound”这一常见问题，还深入了解了索引在数据库性能优化中的重要性，以及如何通过正确的权限管理和配置来确保数据库操作的顺利进行。希望这篇文章能为 MongoDB 用户提供有价值的参考，共同提升数据库管理的效率和安全性。

...没被初始化的对象或者字段时。为了避免这种情况，我们需要养成良好的编程习惯，比如： - 检查null值：在访问任何对象前，先检查是否为null。 - 初始化变量：确保所有对象在使用前都被正确初始化。 - 使用Optional类：Java 8引入的Optional类可以帮助我们更好地处理可能为空的情况。 例如，假设我们在处理索引文档时遇到了一个可能为空的字段，我们可以这样处理： java // 假设我们有一个可能为空的内容字段 String content = getContent(); // 这里可能会返回null if (content != null) { doc.add(new Field("content", content, Field.Store.YES, Field.Index.ANALYZED)); } else { System.out.println("内容字段为空！"); } 三、深入探索 Lucene的高级特性 3.1 搜索：不仅仅是查找 除了创建索引外，Lucene还提供了强大的搜索功能。让我们来看一个简单的搜索示例： java import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; public class SimpleSearcher { public static void main(String[] args) throws Exception { Directory directory = new RAMDirectory(); IndexWriterConfig config = new IndexWriterConfig(new StandardAnalyzer()); IndexWriter indexWriter = new IndexWriter(directory, config); Document doc = new Document(); doc.add(new Field("content", "Hello Lucene!", Field.Store.YES, Field.Index.ANALYZED)); indexWriter.addDocument(doc); indexWriter.close(); DirectoryReader reader = DirectoryReader.open(directory); IndexSearcher searcher = new IndexSearcher(reader); QueryParser parser = new QueryParser("content", new StandardAnalyzer()); Query query = parser.parse("lucene"); TopDocs results = searcher.search(query, 10); for (ScoreDoc scoreDoc : results.scoreDocs) { System.out.println(searcher.doc(scoreDoc.doc).get("content")); } reader.close(); } } 这段代码展示了如何使用QueryParser解析查询字符串，并使用IndexSearcher执行搜索操作。通过这种方式，我们可以轻松地从索引中检索出相关的文档。 3.2 高级搜索技巧：优化你的查询 当你开始构建更复杂的搜索逻辑时，Lucene提供了许多高级功能来帮助你优化搜索结果。比如说，你可以用布尔查询把好几个搜索条件拼在一起，或者用模糊匹配让搜索变得更灵活一点。这样找东西就方便多了！ java import org.apache.lucene.index.Term; import org.apache.lucene.search.BooleanClause; import org.apache.lucene.search.BooleanQuery; import org.apache.lucene.search.FuzzyQuery; // 构建布尔查询 BooleanQuery booleanQuery = new BooleanQuery(); booleanQuery.add(new TermQuery(new Term("content", "hello")), BooleanClause.Occur.MUST); booleanQuery.add(new FuzzyQuery(new Term("content", "lucen")), BooleanClause.Occur.SHOULD); TopDocs searchResults = searcher.search(booleanQuery, 10); 在这个例子中，我们创建了一个布尔查询，其中包含两个子查询：一个是必须满足的精确匹配查询，另一个是可选的模糊匹配查询。这种组合可以显著提升搜索的准确性和相关性。 四、结语 享受编码的乐趣 通过这篇文章，我们不仅学习了如何使用Apache Lucene来创建和搜索索引，还一起探讨了如何有效地避免NullPointerException。希望这些示例代码和技巧能对你有所帮助。记住，编程不仅仅是一门技术，更是一种艺术。尽情享受编程的乐趣吧，一路探索和学习，你会发现自己的收获多到让人惊喜！如果你有任何问题或想法，欢迎随时与我交流！ --- 以上就是关于Apache Lucene与javalangNullPointerException: null的讨论。希望能通过这篇文章点燃你对Lucene的热情，让你在实际开发中游刃有余，玩得更嗨！让我们一起继续探索更多有趣的技术吧！

...这个事件，包括表名、字段定义、所属数据库等信息。这么做的好处嘛，简直不要太明显！就好比给你的数据加上了一个“出生证”和“护照”，不仅能随时知道它是从哪儿来的、去过哪儿，还能记录下它一路上经历的所有变化。这样一来，管理起来就方便多了，也不用担心数据会“走丢”或者被搞砸啦！ 然而，正因如此，Hook的部署显得尤为重要。要是Hook没装好，那Atlas就啥元数据也收不到啦，整个数据治理的工作就得卡在那里干瞪眼了。这也是为什么当我的Hook部署失败时，我会感到特别沮丧的原因。 --- 3. 部署失败 从错误日志中寻找线索 那么，Hook到底为什么会部署失败呢？为了找出答案，我打开了Atlas的日志文件，开始逐行分析那些晦涩难懂的错误信息。说实话，第一次看这些日志的时候，我直接傻眼了，那感觉就跟对着一堆乱码似的，完全摸不着头脑。 不过，经过一番耐心的研究，我发现了一些关键点。比如： - 依赖冲突：有些情况下，Hook可能会因为依赖的某些库版本不兼容而导致加载失败。 - 配置错误：有时候，我们可能在application.properties文件中漏掉了必要的参数设置。 - 权限不足：Hook需要访问目标系统的API接口，但如果权限配置不当，自然会报错。 为了验证我的猜测，我决定先从最简单的配置检查做起。打开atlas-application.properties文件，我仔细核对了以下内容： properties atlas.hook.kafka.enabled=true atlas.hook.kafka.consumer.group=atlas-kafka-group atlas.kafka.bootstrap.servers=localhost:9092 确认无误后，我又检查了Kafka服务是否正常运行，确保Atlas能够连接到它。虽然这一系列操作看起来很基础，但它们往往是排查问题的第一步。 --- 4. 实战演练 动手修复Hook部署失败 接下来，让我们一起动手试试如何修复Hook部署失败吧！首先，我们需要明确一点：问题的根源可能有很多，因此我们需要分步骤逐一排除。 Step 1: 检查依赖关系 假设我们的Hook是基于Hive的，那么首先需要确保Hive的客户端库已经正确添加到了项目中。例如，在Maven项目的pom.xml文件里，我们应该看到类似如下的配置： xml org.apache.hive hive-jdbc 3.1.2 如果版本不对，或者缺少了必要的依赖项，就需要更新或补充。记得每次修改完配置后都要重新构建项目哦！ Step 2: 调试日志级别 为了让日志更加详细，帮助我们定位问题，可以在log4j.properties文件中将日志级别调整为DEBUG级别： properties log4j.rootLogger=DEBUG, console 这样做虽然会让日志输出变得冗长，但却能为我们提供更多有用的信息。 Step 3: 手动测试连接 有时候，Hook部署失败并不是代码本身的问题，而是网络或者环境配置出了差错。这时候，我们可以尝试手动测试一下Atlas与目标系统的连接情况。例如，对于Kafka Hook，可以用下面的命令检查是否能正常发送消息： bash kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic 如果这条命令执行失败，那就可以确定是网络或者Kafka服务的问题了。 --- 5. 总结与反思 成长中的点滴收获 经过这次折腾，我对Apache Atlas有了更深的理解，同时也意识到，任何技术工具都不是万能的，都需要我们投入足够的时间和精力去学习和实践。 最后想说的是，尽管Hook部署失败的经历让我一度感到挫败，但它也教会了我很多宝贵的经验。比如： - 不要害怕出错，错误往往是进步的起点； - 日志是排查问题的重要工具，要学会善加利用； - 团队合作很重要，遇到难题时不妨寻求同事的帮助。 希望这篇文章对你有所帮助，如果你也有类似的经历或见解，欢迎随时交流讨论！我们一起探索技术的世界，共同进步！

...MySQL表上为联接字段创建索引，可以大大加速查询速度。同时，在Kylin中，确保相关维度的列已经进行了适当的索引，可以进一步提升性能。 sql -- MySQL创建索引 CREATE INDEX idx_kylin_table_id ON kylin_table(id); -- Kylin配置维度索引 id long true 通过这样的配置，不仅MySQL的查询速度得到提升，Kylin的聚合计算也更加高效。 五、策略三 批量导入与增量更新 实践示例： 对于大型数据集，考虑使用批量导入策略，而不是频繁的增量更新。哎呀，你瞧，咱们用批量导入这招，就像是给MySQL服务器做了一次减压操，让它不那么忙碌，喘口气。同时，借助Kylin的离线大法，我们就能让那些实时查询快如闪电，不拖泥带水。这样一来，不管是数据处理还是查询速度，都大大提升了，用户满意度也蹭蹭往上涨呢！ bash 批量导入脚本示例 $ hadoop fs -put data.csv /input/ $ bin/hive -e "LOAD DATA INPATH '/input/data.csv' INTO TABLE kylin_table;" 六、策略四 优化联接模式 选择合适的联接模式（如内联接、外联接等）对于性能优化至关重要。哎呀，你得知道，在咱们实际干活的时候，选对了数据联接的方式，就像找到了开锁的金钥匙，能省下不少力气，避免那些没必要的数据大扫荡。比如说，你要是搞个报表啥的，用对了联接方法，数据就乖乖听话，找起来快又准，省得咱们一个个文件翻，一个个字段找，那得多费劲啊！所以，挑对工具，效率就是王道！ 实践示例： 假设我们需要查询所有在特定时间段内的订单信息，并且关联了用户的基本信息。这里，我们可以使用内联接： sql SELECT FROM orders o INNER JOIN users u ON o.user_id = u.user_id WHERE o.order_date BETWEEN '2023-01-01' AND '2023-12-31'; 七、总结与展望 通过上述策略的实施，我们能够显著提升Kylin与MySQL联接操作的性能。哎呀，你知道优化数据库操作这事儿，可真是个门道多得很！比如说，调整联接条件啊，用上索引来提速啊，批量导入数据也是一大妙招，还有就是选对联接方式，这些小技巧都能让咱们的操作变得顺畅无比，响应速度嗖嗖的快起来。就像开车走高速，不堵车不绕弯，直奔目的地，那感觉，爽歪歪！哎呀，随着咱手里的数据越来越多，就像超市里的货物堆积如山，技术这玩意儿也跟咱们的手机更新换代一样快。所以啊，要想让咱们的系统运行得又快又好，就得不断调整和改进策略。就像是给汽车定期加油、保养，让它跑得既省油又稳定。这事儿，可得用心琢磨，不能偷懒！未来，随着更多高级特性如分布式计算、机器学习集成等的引入，Kylin与MySQL的联接优化将拥有更广阔的应用空间，助力数据分析迈向更高层次。

...”。 5. 选择时间字段（通常是@timestamp），点击“Create index pattern”完成配置。 > 思考点：这里的关键在于选择合适的索引名称和时间字段。如果你的时间字段命名不规范，后续可能会导致数据无法正确筛选哦！ 3.2 第二步：设置索引生命周期策略 接下来，我们要为索引创建生命周期策略。这是Kibana中最核心的部分，直接决定了数据的保留方式。 示例代码： javascript PUT _ilm/policy/my_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "50gb", "max_age": "30d" } } }, "delete": { "min_age": "1y", "actions": { "delete": {} } } } } } 这段代码的意思是： - 热阶段（Hot Phase）：当索引大小达到50GB或者超过30天时，触发滚动操作。 - 删除阶段（Delete Phase）：超过1年后，自动删除该索引。 > 小贴士：这里的max_size和max_age可以根据你的实际需求调整。比如，如果你的服务器内存较小，可以将max_size调低一点。 3.3 第三步：将策略应用到索引 设置好生命周期策略后，我们需要将其绑定到具体的索引上。具体步骤如下： bash POST /my-index/_settings { "index.lifecycle.name": "my_policy", "index.lifecycle.rollover_alias": "my_index" } 这段代码的作用是将之前创建的my_policy策略应用到名为my-index的索引上。同时，通过rollover_alias指定滚动索引的别名。 --- 4. 实战案例 数据保留策略的实际效果 为了让大家更直观地理解数据保留策略的效果，我特意准备了一个小案例。假设你是一名电商公司的运维工程师，每天都会收到大量的订单日志，格式如下： json { "order_id": "123456789", "status": "success", "timestamp": "2023-09-01T10:00:00Z" } 现在，你想对这些日志进行生命周期管理，具体要求如下： - 最近3个月的数据需要保留。 - 超过3个月的数据自动归档到冷存储。 - 超过1年的数据完全删除。 实现方案： 1. 创建索引模式，命名为orders-。 2. 定义生命周期策略 javascript PUT _ilm/policy/orders_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "10gb", "max_age": "3m" } } }, "warm": { "actions": { "freeze": {} } }, "delete": { "min_age": "1y", "actions": { "delete": {} } } } } } 3. 将策略绑定到索引 bash POST /orders-/_settings { "index.lifecycle.name": "orders_policy", "index.lifecycle.rollover_alias": "orders" } 运行以上代码后，你会发现： - 每隔3个月，新的订单日志会被滚动到一个新的索引中。 - 超过3个月的旧数据会被冻结，存入冷存储。 - 超过1年的数据会被彻底删除，释放存储空间。 --- 5. 总结与展望 通过今天的分享，相信大家对如何在Kibana中设置数据保留策略有了更深的理解。虽然设置过程看似繁琐，但实际上只需要几步就能搞定。而且啊，要是咱们好好用数据保留这招，不仅能让系统跑得更快、更顺畅，还能帮咱们把那些藏在数据里的宝贝疙瘩给挖出来，多好呀！ 最后，我想说的是，技术学习是一个不断探索的过程。如果你在实践中遇到问题，不妨多查阅官方文档或者向社区求助。毕竟，我们每个人都是技术路上的探索者，一起努力才能走得更远！ 好了，今天的分享就到这里啦！如果你觉得这篇文章有用，记得点赞支持哦~咱们下次再见！

...则表达式匹配或者修改字段之类的。最后，它还支持不少输出插件，比如往Elasticsearch或者Kafka里面扔数据，简直不要太方便！这种灵活性使得Logstash成为了处理复杂数据流的理想选择。 1.2 Elasticsearch：实时搜索与分析的利器 Elasticsearch 是一个基于Lucene构建的开源分布式搜索引擎，它提供了强大的全文搜索功能，同时也支持结构化搜索、数值搜索以及地理空间搜索等多种搜索类型。此外，Elasticsearch还拥有出色的实时分析能力，这得益于其独特的倒排索引机制。当你将数据导入Elasticsearch后，它会自动对数据进行索引，从而大大提高了查询速度。 2. 实时索引优化 让数据飞起来 现在我们已经了解了Logstash和Elasticsearch各自的特点，接下来就让我们看看如何通过它们来实现高效的实时索引优化吧！ 2.1 数据采集与预处理 首先，我们需要利用Logstash从各种数据源采集数据。好嘞，咱们换个说法：比如说，我们要从服务器的日志里挖出点儿有用的东西，就像找宝藏一样，目标就是那些访问时间、用户ID和请求的网址这些信息。我们可以用Filebeat这个工具来读取日志文件，然后再用Grok这个插件来解析这些数据，让信息变得更清晰易懂。下面是一个具体的配置示例： yaml input { file { path => "/var/log/nginx/access.log" start_position => "beginning" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } } 这段配置告诉Logstash，从/var/log/nginx/access.log这个路径下的日志文件开始读取，并使用Grok插件中的COMBINEDAPACHELOG模式来解析每一行日志内容。这样子一来，原始的文本信息就被拆成了一个个有组织的小块儿，给接下来的处理铺平了道路，简直不要太方便！ 2.2 高效索引策略 一旦数据被Logstash处理完毕，下一步就是将其导入Elasticsearch。为了确保索引操作尽可能高效，我们可以采取一些策略： - 批量处理：减少网络往返次数，提高吞吐量。 - 动态映射：允许Elasticsearch根据文档内容自动创建字段类型，简化索引管理。 - 分片与副本：合理设置分片数量和副本数量，平衡查询性能与集群稳定性。 下面是一个简单的Logstash输出配置示例，演示了如何将处理后的数据批量发送给Elasticsearch： yaml output { elasticsearch { hosts => ["localhost:9200"] index => "nginx-access-%{+YYYY.MM.dd}" document_type => "_doc" user => "elastic" password => "changeme" manage_template => false template => "/path/to/template.json" template_name => "nginx-access" template_overwrite => true flush_size => 5000 idle_flush_time => 1 } } 在这段配置中，我们设置了批量大小为5000条记录，以及空闲时间阈值为1秒，这意味着当达到这两个条件之一时，Logstash就会将缓冲区内的数据一次性发送至Elasticsearch。此外，我还指定了自定义的索引模板，以便更好地控制字段映射规则。 3. 实战案例 打造高性能日志分析平台 好了，理论讲得差不多了，接下来让我们通过一个实际的例子来看看这一切是如何运作的吧！ 假设你是一家电商网站的运维工程师，最近你们网站频繁出现访问异常的问题，客户投诉不断。为了找出问题根源，你需要对Nginx服务器的日志进行深入分析。幸运的是，你们已经部署了Logstash和Elasticsearch作为日志处理系统。 3.1 日志采集与预处理 首先，我们需要确保Logstash能够正确地从Nginx服务器上采集到所有相关的日志信息。根据上面说的设置，我们可以搞一个Logstash配置文件，用来从特定的日志文件里扒拉出重要的信息。嘿，为了让大家看日志的时候能更轻松明了，我们可以加点小技巧，比如说统计每个用户逛网站的频率，或者找出那些怪怪的访问模式啥的。这样一来，信息就一目了然啦！ 3.2 索引优化与查询分析 接下来，我们将这些处理后的数据发送给Elasticsearch进行索引存储。有了合适的索引设置，就算同时来一大堆请求，我们的查询也能嗖嗖地快，不会拖泥带水的。比如说，在上面那个输出配置的例子里面，我们调高了批量处理的门槛，同时把空闲时间设得比较短，这样就能大大加快数据写入的速度啦！ 一旦数据被成功索引，我们就可以利用Elasticsearch的强大查询功能来进行深度分析了。比如说，你可以写个DSL查询，找出最近一周内访问量最大的10个页面；或者，你还可以通过用户ID捞出某个用户的操作记录，看看能不能从中发现问题。 4. 结语 拥抱变化，不断探索 通过以上介绍，相信大家已经对如何使用Logstash与Elasticsearch实现高效的实时索引优化有了一个全面的认识。当然啦，技术这东西总是日新月异的，所以我们得保持一颗好奇的心，不停地学新技术，这样才能更好地迎接未来的各种挑战嘛！ 希望这篇文章能对你有所帮助，如果你有任何疑问或建议，欢迎随时留言交流。让我们一起加油，共同成长！

...：你可能会想到在对应字段上使用field1 like '%?%'，?即用户输出的关键词 比如你的底层数据库用的是mongo：你可能会想到在对应字段上使用db.collection.find({ "field1": { $regex: /aaa/ } })做查询，aaa即用户输入的关键词 比如你的底层数据库用的是elasticsearch：那厉害了，专业全文搜索神奇，全文搜索或搜索相关的需求使用elasticsearch绝对是最合适的选择 比如你的底层数据库用的是hive、impala、clickhouse等大数据计算引擎：鸟枪换炮，其实用作全文索引和搜索的场景并不合适，你可能依旧会使用sql数据库那样用like做交互 2. 方案选择 调研之后，可能会发现对于数据量相对大一点的搜索场景，在当下流行的数据库或计算引擎中，elasticsearch是其中最合适的解决方案。 无论是sql的like、还是mongo的regex，在线上环境下，数据量较多的情况下，都不是很高效的查询，甚至有的公司的dba会禁止在线上使用类似的查询语法。 与elasticsearch是“亲戚”的，大家还常提到lucene、solr，但是无论从现在的发展趋势还是公司运维人才的储备（不得不说当下的运维人才中，对es熟悉的人才会更多一些），elasticsearch是相对较合适的选择。 一些大数据计算引擎，其实更多的适合OLAP场景。当然也完全可以使用，因为比如clickhouse、starrocks等的查询速度已经发展的非常快。但你会发现在中文分词搜索上，实现起来有一定困扰。 所以，如果你不差机器，首选方案还是elasticsearch。 3. elasticsearch的适用场景 3.1 经典的日志搜索场景 提到elasticsearch不得不提到它的几个好朋友： 一些公司里经常用elasticsearch来收集日志，然后用kibana来展示和分析。 展开来说，举个例子，你的app打印日志打印到了线上日志文件，当app出现故障你需要做定位筛查的时候，可能需要登录线上机器用grep命令各种查看。 但如果你不差机器资源，可以搭建上述架构，app的日志会被收集到elasticsearch中，最终你可以在kibana中查看日志，kibana里面可以很方面的做各种筛查操作。 这个流畅大概是这样的： 3.2 通用搜索场景 但是没有上图的beats、logstash、kibana，elasticsearch可以自己工作吗？完全可以的！ elasticsearch也支持单机部署，数据规模不是很大的情况下，表现也是不错的。所以，你也不用担心因为自己机器资源不够而对elasticsearch望而却步。当然，单机部署的情况下，更多的适合自己玩，对于可靠性的要求就不能太苛刻了。 如果你在用宝塔，那你可以在宝塔面板，左侧“软件商店”中直接找到elasticsearch，并“没有痛苦”的安装。 本篇文章主要讨论选型，所以不涉及安装细节。 3.2.1 性能顾虑 上面提到了“表现”，其实性能只是elasticsearch的一个方面，主要你的机器资源足够（机器资源？对，包括你的机器个数，elasticsearch可以非常方便的横向扩展，以及单机的配置，cpu+内存，内存越高越好，elasticsearch比较吃内存！），它一定会给你很好的性能反应。试想，公司里的app打印线上日志的行数其实可比一般业务系统产生的订单数量要大很多很多，elasticsearch都可以常在日志的实时分析，所以如果你要做通用场景，而且机器资源不是问题，这是完全行得通的。 3.2.2 易用性和可玩性 此外，在使用elasticsearch的时候，会有很多的可玩性。这里不引经据典，呈现很多elasticsearch官方文章的列举优秀特性（当然，确实很优秀！）。 这里举几个例子： （1）中文分词：第一章提到的其它引擎几乎很难实现，elasticsearch对分词器的支持是原生的，因为elasticsearch天生就为全文索引而生，elasticsearch的汉语名字就是“弹性搜索”。这家伙可是专门搞搜索的！ 有的朋友可能不了解分词器，比如你的一个字段里存储“今天我要吃冰激凌”，在分词器的加持下，es最终会存储为“今天|我|要|吃|冰激凌”，并且使用倒排索引的形式进行存储。当你搜索“冰激凌”的时候，可以很快的反馈回来。 关于elasticsearch的原理，这里不展开说明，分词器和倒排索引是elasticsearch的最基本的概念。如果有不了解的朋友，可以自行百度一下。而且这两个概念，与elasticsearch其实不挂钩，是搜索中的通用概念。 关于倒排索引，其核心表现如下图： 如果你要用mysql、mongo实现中文分词，这......其实挺麻烦的，可能在后面的版本支持中会实现的很好，但在当前的流行版本中，它们对中文分词是不够友好的。 mysql5.7之后支持外挂第三方分词器，支持中文分词。而在数据量较大的情况下，mysql的多机器部署几乎很难实现，elasticsearch可以很容易的水平扩展。 mongo支持西方语言的分词，但不支持中文、日语、汉语等东方语言，你需要在自己的逻辑代码中实现分词器。 ngram分词，你看看效果：依旧是“今天我要吃冰激凌”，ngram二元分词后即将得到结果“今天、天我、我要、要吃、吃冰、冰激、激凌”。这....，那你搜索冰激凌就搜不出来！咋办呢，当然可以使用三元分词。但是更好的解决方案还是中文分词器，但它们原生并不支持的。 （2）自定义排名场景：比如你的搜索“冰激凌”，结果中返回了有10条，这10条应该有你想对它指定的顺序。最简单的就是用默认的得分，但是如果你想人为干预这个得分怎么办？ elasticsearch支持function_score功能（可以不用，这个是增强功能），es会在计算最终得分之前回调这个你指定的function_score回调函数，传入原始得分、行的原始数据，你可以在里面做计算，比如查询其它参考表、或查看是否是广告位，以得到新的score返回给用户。 function_scrore的功能不展开描述，是一个在自定义得分场景下十分有用又简单易用的功能！下面是一个使用示例，不仅如此，它是支持自定义函数的，自由度非常高。 （3）文本高亮：你用mysql或mongo也可以实现，比如用户搜索“冰激凌”，你只需要在逻辑代码中对“冰激凌”替换为“<span class='highlight-term'>冰激凌</span>”，然后前端做样式即可。但如果用户搜索了“好吃的冰激凌”咋办呢？还有就是英文大小写的场景，用户搜索"MAIN"，那结果及时匹配到了“main”（小写的），这个单词是否应该高亮呢？也许这时候你会用业务代码实现toLowerCase下基于位置下标的匹配。 挺麻烦的吧，elasticsearch，自动可以返回高亮字段！并且可以自由指定高亮的html前后标签。 （4）实在太多了....这家伙天生为索引而生，而且版本还在不断地迭代。不差机器的话，用用吧！ 4. 退而求其次 4.1 普通数据库 尽管elasticsearch在搜索场景下，是非常好用的利器！但是它比较消耗机器资源，如果你的数据规模并不大，而且想快速实现功能。你可以使用mysql或mongo来代替，完全没有问题。 技术是为了解决特定业务场景下的问题，结合当前手头的资源，适合自己的才是最好的。也许你搞了一个单机器的elasticsearch，单机器内存只有2G，它的表现并不会比mysql、mongo来的好。 当然，如果你为了使用上边提到的一些优秀的独有的特性，那elasticsearch一定还是最佳选择！ 对于mysql（关系型数据库）和mongo（文档数据库）的区别这里不展开描述了，但对于搜索而言，两种都合适。有时候选型也不用很纠结，其实都是差不太多的东西，适合自己的、自己熟悉的、运维起来顺手的，就是最好的。 4.2 普通数据库实现中文分词搜索的原理 尽管mysql在5.7以后支持外挂第三方分词器，mongo在截止目前的版本中也不支持中文分词（你可能会看到一些文章中说可以指定language为chinese，但其实会报错的）。 其实当你选择普通数据库，你就不得不在逻辑代码中自己实现一套索引分词+搜索分词逻辑。 索引分词+搜索分词？为什么分开写，如果你有用过elasticsearch或solr，你会知道，在指定字段的时候，需要指定index分词器和search分词器。 下面以mongo为例做简要说明。 4.2.1 index分词器 意思是当数据“索引”截断如何分词。首先，这里必须要承认，数据之后存储了，才能被查询。在搜索中，这句话可以换成是“数据只有被索引了，才能被搜索”。 这时候请求打过来了，要索引一条数据，其中某字段是“今天我要吃冰激凌”，分词后得到“今天|我|要|吃|冰激凌”，这个就可以入库了。 如果你使用elasticsearch或solr，这个过程是自动的。如果你使用不支持外观分词器的常规数据库，这个过程你就要手动了，并把分词后的结果用空格分开（最好使用空格，因为西方语言的分词规则就是按空格拆分，以及逗号句号），存入数据库的一个待搜索的字段上。 效果如下图： 本站的其它博文中有介绍IKAnalyzer：https://www.52itw.com/java/6268.html 4.2.2 search分词器 当用户的查询请求打过来，用户输入了“好吃的冰激凌”，分词后得到“好吃|冰激凌”（“的”作为停用词stopwords，被自动忽略了，IKAnalyzer可以指定停用词表）。 于是这时候就回去上图的数据库表里面搜索“好吃 冰激凌”（与index分词器结果统一，还是用空格分隔）。 当然，对于mongo而言，你需要事先开启全文索引db.xxx.ensureIndex({content: "text"})，xxx是集合名，content是字段名，text是全文索引的标识。 mongo搜索的时候用这个语法：db.xxx.find( { $text: { $search: "好吃 冰激凌" } },{ score: { $meta: "textScore" } }).sort( { score: { $meta: "textScore" } } ) 4.2.3 索引库和存储库分开 为了减少单表的大小，为了让普通的列表查询、普通筛选可以跑的更快，你可以对原有的数据原封不动的做一张表。 然后对于搜索场景，再单独对需要被搜索的字段单独拎一张表出来！ 然后二者之间做增量信号同步或定时差额同步，可能会有延迟，这个就看你能容忍多长时间（悄悄告诉你，elasticsearch也需要指定这个refresh时间，一般是1s到几秒、甚至分钟级。当然，二者的这个时间对饮的底层目的是不一样的）。 这样，搜索的时候先查询搜索库，拿到一个指针id的列表，然后拿到指针id的列表区存储里把数据一次性捞出来。当然，也是支持分页的，你查询搜索库其实也是普通的数据库查询嘛，支持分页参数的。 4.3 存储库和索引库的延伸阅读 很多有名的开源软件也是使用的存储库与索引库分离的技术方案，如apache atlas： apache atlas对于大数据领域的数据资产元数据管理、数据血缘上可谓是专家，也涉及资产搜索的特性，它的实现思路就是：从搜索库中做搜索、拿到key、再去存储库中做查询。 搜索库：上图右下角，可以看到使用的是elasticsearch、solr或lucene，多个选一个 存储库：上图左下角，可以看到使用的是Cassandra、HBase或BerkeleyDB，多个选一个 虽然apache atlas在只有搜索库或只有存储库的时候也可以很好的工作，但只针对于数据量并不大的场景。 搜索库，擅长搜索！存储库，擅长海量存储！搜索库多样化搜索，然后去存储库做点查。 当你的数据达到海量的时候，es+hbase也是一种很好的解决方案，不在这里展开说明了。

...运用描述符来实现模型字段的动态行为，如django.db.models.fields.files.FieldFile就是利用描述符实现文件字段的上传、下载及删除等功能。此外，针对数据验证和业务逻辑封装，一些高级ORM库也引入了自定义描述符设计模式，以提供更为灵活且安全的数据访问控制。 另一方面，Python 3.9引入了新的__set_name__方法，该方法适用于描述符对象，以便在描述符被绑定到类属性时通知其宿主类和名称，为描述符提供了更多的上下文信息，增强了其在复杂场景下的适用性和可读性。 同时，随着Python异步编程的发展，一些库也开始尝试将描述符应用于异步环境，比如通过实现异步描述符来控制异步属性的获取和设置，确保在处理并发请求时能够遵循正确的执行顺序，从而提高程序性能和稳定性。 综上所述，描述符作为Python面向对象编程的核心技术之一，其应用正不断拓展深化，并随着Python语言的演进保持着极高的时效性和实用性。对于开发者而言，掌握并合理运用描述符机制不仅能提升代码质量，还能有效应对各种复杂的业务场景需求。

...amount两个字段。我们的目标是计算每个产品的总销售额。 javascript // 首先，我们定义Map函数 db.sales.mapReduce( function() { // 输出键为产品ID，值为销售金额 emit(this.product_id, this.amount); }, function(key, values) { // 将所有销售金额相加得到总销售额 var total = 0; for (var i = 0; i < values.length; i++) { total += values[i]; } return total; }, { "out": { "inline": 1, "pipeline": [ {"$group": {"_id": "$_id", "total_sales": {$sum: "$value"} }} ] } } ); 这段代码首先通过map()函数将每个销售记录映射到键为product_id和值为amount的键值对。哎呀，这事儿啊，就像是这样：首先，你得有个列表，这个列表里头放着一堆商品，每一项商品下面还有一堆数字，那是各个商品的销售价格。然后，咱们用一个叫 reduce() 的魔法棒来处理这些数据。这个魔法棒能帮咱们把每一样商品的销售价格加起来，就像数钱一样，算出每个商品总共卖了多少钱。这样一来，我们就能知道每种商品的总收入啦！哎呀，你懂的，我们用out这个参数把结果塞进了一个临时小盒子里面。然后，我们用$group这个魔法棒，把数据一通分类整理，看看哪些地方数据多，哪些地方数据少，这样就给咱们的数据做了一次大扫除，整整齐齐的。 3. 性能优化与注意事项 在使用MapReduce时，有几个关键点需要注意，以确保最佳性能： - 数据分区：合理的数据分区可以显著提高MapReduce的效率。通常，我们会根据数据的分布情况选择合适的分区策略。 - 内存管理：MapReduce操作可能会消耗大量内存，特别是在处理大型数据集时。合理设置maxTimeMS选项，限制任务运行时间，避免内存溢出。 - 错误处理：在实际应用中，处理潜在的错误和异常情况非常重要。例如，使用try-catch块捕获并处理可能出现的异常。 4. 进阶技巧与高级应用 对于那些追求更高效率和更复杂数据处理场景的开发者来说，以下是一些进阶技巧： - 使用索引：在Map阶段，如果数据集中有大量的重复键值对，使用索引可以在键的查找过程中节省大量时间。 - 异步执行：对于高并发的应用场景，可以考虑将MapReduce操作异步化，利用MongoDB的复制集和分片集群特性，实现真正的分布式处理。 结语 MapReduce在MongoDB中的应用，为我们提供了一种高效处理大数据集的强大工具。哎呀，看完这篇文章后，你可不光是知道了啥是MapReduce，啥时候用，还能动手在自己的项目里把MapReduce用得溜溜的！就像是掌握了新魔法一样，你学会了怎么给这玩意儿加点料，让它在你的项目里发挥出最大效用，让工作效率蹭蹭往上涨！是不是感觉整个人都精神多了？这不就是咱们追求的效果嘛！嘿，兄弟！听好了，掌握新技能最有效的办法就是动手去做，尤其是像MapReduce这种技术。别光看书上理论，找一个你正在做的项目，大胆地将MapReduce实践起来。你会发现，通过实战，你的经验会大大增加，对这个技术的理解也会更加深入透彻。所以，行动起来吧，让自己的项目成为你学习路上的伙伴，你肯定能从中学到不少东西！让我们继续在数据处理的旅程中探索更多可能性！

...，内容涵盖基础知识、排序和顺序统计量、数据结构、高级设计和分析技术、高级数据结构、图算法、算法问题选编，以及数学基础知识。书中深入浅出地介绍了大量的算法及相关的数据结构，以及用于解决一些复杂计算问题的高级策略（如动态规划、贪心算法、摊还分析等），重点在于算法的分析与设计。对于每一个专题，作者都试图提供目前最新的研究成果及样例解答，并通过清晰的图示来说明算法的执行过程。 六、深入理解计算机系统 《深入理解计算机系统》是将计算机软件和硬件理论结合讲述的经典教程，内容覆盖计算机导论、体系结构和处理器设计等多门课程。本书的大优点是为程序员描述计算机系统的实现细节，通过描述程序是如何映射到系统上，以及程序是如何执行的，使读者更好地理解程序的行为为什么是这样的，以及造成效率低下的原因。 七、鸟哥的Linux私房菜 《鸟哥的Linux私房菜基础学习篇》全面而详细地介绍了Linux操作系统。着重说明计算机的基础知识、Linux的学习方法，如何规划和安装Linux主机以及CentOS 7.x的安装、登录与求助方法；介绍Linux的文件系统、文件、目录与磁盘的管理；文字模式接口shell和管理系统的好帮手shell脚本，另外还介绍了文字编辑器vi和vim的使用方法；对于系统安全非常重要的Linux账号的管理、磁盘配额、高级文件系统管理、计划任务以及进程管理，系统管理员（root）的管理事项。 本书内容丰富全面，基本概念的讲解非常细致，深入浅出。各种功能和命令的介绍，都配以大量的实例操作和详尽的解析。本书是初学者学习Linux不可多得的一本入门好书。 八、计算机网络自顶向下方法 《计算机网络自顶向下方法》是经典的计算机网络教材，采用作者独创的自顶向下方法来讲授计算机网络的原理及其协议，自第1版出版以来已经被数百所大学和学院选作教材，被译为14种语言。 新版保持了以前版本的特色，继续关注因特网和计算机网络的现代处理方式，注重原理和实践，为计算机网络教学提供一种新颖和与时俱进的方法。同时，第7版进行了相当多的修订和更新，首次改变了各章的组织结构，将网络层分成两章（第4章关注网络层的数据平面，第5章关注网络层的控制平面） 九、MySQL是怎样运行的 《MySQL是怎样运行的》采用诙谐幽默、通俗易懂的写作风格，针对上面这些问题给出了相应的解答方案。尽管本书的表达方式与司空见惯的学术派、理论派IT图书有显著区别，但本书的确是相当正经的专业技术图书，内容涵盖了使用MySQL的同学在求职面试和工作中常见的一些核心概念。无论是身居MySQL专家身份的技术人员，还是技术有待进一步提升的DBA，甚至是刚投身于数据库行业的“萌新”人员，本书都是他们彻底了解MySQL运行原理的优秀图书。 十、编程珠玑 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_65485112/article/details/122007938。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...七个行业按照收入水平排序依次为：信息传输、软件和信息技术服务业，建筑业，交通运输、 仓储和邮政业，制造业，批发零售业，住宿和餐饮业，居民服务、修理和其他服务业。月均收入分别为10571元、6587元、6489元、6017元、5888元、5668元和5195元。其中，收入最高的信息传输、软件和信息技术服务业从业人员月均收入比上年同期增长15.5%；从业人数最多、收入最低的居民服务、修理和其他服务业从业人员月均收入比上年同期降低2.6%。 2.不同收入段间收入差距加大 高收入段人员收入增速高于中低收入段。月均收入5000元及以上人员平均月收入为7507元，比上年同期提高2.8个百分点；月均收入4000-5000元人员平均月收入为4175元，比上年同期降低3.4个百分点；月均收入4000元以下人员平均月收入为3064元，比上年同期提高1.1个百分点。 （三）自营人员收入高，工作强度大 自营就业的新生代农民工月均收入6716元，比务工就业人员高568元；自营就业的新生代农民工平均每周工作6.5天，每天工作9.5小时，分别比务工就业人员多0.9天和0.7小时。 三、新生代农民工生活情况 （一）消费支出下降，吃穿住消费占新生代农民工总消费支出的7成以上 受疫情影响，未来收入的不确定性增加，新生代农民工户均消费支出降低。2020年，新生代农民工家庭户均生活消费支出42395元，比上年减少1833元，下降4.1%。 按照金额排序，新生代农民工消费支出排在前三位的依次为：食品烟酒、居住、衣着及其他日用品和服务，分别为14032元、10861元和5141元，前三位消费支出占总消费支出的70.8%。 （二）居住性质略有改变，居住满意度小幅提升 租赁私房人员占比减少，单位提供住房比例提升。从住房性质来看，新生代农民工主要以租赁私房为主，租赁私房的占60.5%，比上年同期降低3.2个百分点；单位提供住房的占33.1%，比上年同期提高4.7个百分点。 单位提供住房，居住消费支出减少，新生代农民工对现在居住条件表示满意的占66.5%，比上年提高3.0个百分点，其中，表示非常满意的占18.6%，比较满意的占47.9%。 （三）网络依赖增加，自我提升类活动减少 上网已经成为新生代农民工业余时间的主要休闲活动。新生代农民工业余时间的主要活动排在前三位的依次是：上网、休息和朋友聚会，其中上网占60.1%，比上年同期提高4.7个百分点。 自我提升类活动减少。业余时间参加学习培训、读书看报的新生代农民工占比分别为3.8%和7.6%，比上年同期分别下降2.5个和1.3个百分点。 四、“90后”农民工工作和生活特点 （一）“90后”农民工工作特点 1.“90后”农民工从事行业略有不同 “90后”农民工喜好略有不同，就业人数最多的七个行业依次为：制造业，建筑业，居民服务、修理和其他服务业，信息传输、软件和信息技术服务业，住宿和餐饮业，文化和娱乐服务业，批发和零售业。与新生代农民工群体差距最大的两个行业是信息传输、软件和信息技术服务业，批发和零售业，其中，从事信息传输、软件和信息技术服务业的占11.6%，比新生代农民工群体高3.7个百分点；从事批发和零售业的占5.8%，比新生代农民工群体低6.3个百分点。 2.“90后”农民工收入略高 调查样本中，“90后”农民工月均收入6424元，比新生代农民工群体平均水平高210元。其中，月均收入在5000元及以上的占68.4%，比新生代农民工群体高1.9个百分点。 3.自营人员占比较低 由于年纪尚轻，积累不够，“90后”农民工中的96.3%以受雇就业为主，自营就业人员仅占3.7%，低于新生代农民工群体7.9个百分点。 （二）“90后”农民工生活特点 1.消费支出略低，更偏重于衣着及教育文化娱乐方面 “90后”农民工家庭户均生活消费支出42009元，比新生代农民工群体低386元。其中，衣着及其他日常用品和服务、教育文化娱乐支出占总消费支出的比重分别为14.0%和5.9%，分别比新生代农民工群体高1.9个和1.0个百分点；居住和交通通信费支出占总消费支出的比重分别为23.9%和9.2%，分别比新生代农民工群体低1.8个和1.0个百分点。 2.业余生活更注重休息和自我提升 “90后”农民工业余时间的主要活动排在前三位的依旧是上网、休息和朋友聚会，但与整个新生代农民工群体不同的是，“90后”农民工更注重休息和自我提升，其中，业余时间休息的占34.5%，比新生代农民工群体高5.6个百分点；业余时间参加文娱体育活动、学习培训和读书看报的占27.5%，分别比新生代农民工群体、全部外来农民工整体高5.7个和11.8个百分点。 新生代农民工定义：出生于20世纪80年代以后，年龄在16周岁及以上，在异地以非农就业为主的农业户籍人口 推荐阅读： 世界的真实格局分析，地球人类社会底层运行原理 不是你需要中台，而是一名合格的架构师（附各大厂中台建设PPT） 企业IT技术架构规划方案 论数字化转型——转什么，如何转？ 华为干部与人才发展手册（附PPT） 企业10大管理流程图，数字化转型从业者必备！ 【中台实践】华为大数据中台架构分享.pdf 华为的数字化转型方法论 华为如何实施数字化转型（附PPT） 超详细280页Docker实战文档！开放下载 华为大数据解决方案（PPT） 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_45727359/article/details/119745674。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

... 类和接口的全限名 字段的名称和描述符 方法的名称和描述符 在之前的文章（详谈类加载的全过程）中有详细讲到，在加载类过程的第二大阶段连接的第三个阶段解析的时候，会将常量池中的符号引用替换为直接引用。相信很多人在开始了解那里的时候也是一头雾水，作者我也是，当我了解到常量池的构成的时候才明白真正意思。Java代码在编译的时候，是在虚拟机加载Class文件的时候才会动态链接，也就是说Class文件中不会保存各个方法、字段的最终内存布局信息，因此这些字段、方法的符号引用不经过运行期转换的话无法获得真正的内存入口地址，也就无法直接被虚拟机使用。当虚拟机运行时，需要从常量池获得对应的符号引用，再在类创建时或运行时解析、翻译到具体的内存地址之中。 常量池中每一项常量都是一张表，这里我只找到了JDK1.7之前的常量池项目类型表，见下图。 常量池项目类型表： 常量池常量项的结构总表： 比如我这里测试的class文件第一项常量，它的标志位是Ox0a，即十进制10，即表示tag为10的常量项，查表发现是CONSTANT_Methodref_info类型，和上面反编译之后的到的第一个常量是一致的，Methodref表示类中方法的符号引用。查上面《常量池常量项的结构总表》可以看到Methodref中含有3个项目，第一个tag就是上述的Ox0a，那么第二个项目就是Ox0006，第三个项目就是Ox000f，分别指向的CONSTANT_Class_info索引项和CONSTANT_NameAndType_info索引项为6和15，那么反编译的结果该项常量指向的应该是6和15，查看上面反编译的图应证我们的推测是对的。后面的常量项就以此类推。 这里需要特殊说明一下utf8常量项的内容，这里我以第29项常量项解释，也就是最后一项常量项。查《常量池常量项的结构总表》可以看到utf8项有三个内容：tag、length、bytes。tag表示常量项类型，这里是Ox01，表示是CONSTANT_Utf8_info类型，紧接着的是长度length，这里是Ox0015，即十进制21，那么再紧接着的21个字节都表示该项常量项的具体内容。特别注意length表示的最大值是65535，所以Java程序中仅能接收小于等于64KB英文字符的变量和变量名，否则将无法编译。 5.访问标志（Access Flags） 在常量池结束后，紧接着的两个字节代表访问标志（Access Flags），该标志用于识别一些类或者接口层次的访问信息，其中包括：Class是类还是接口、是否定义为public、是否定义为abstract类型、类是否被声明为final等。 访问标志表 标志位一共有16个，但是并不是所有的都用到，上表只列举了其中8个，没有使用的标志位统统置为0，access_flags只有2个字节表示，但是有这么多标志位怎么计算而来的呢？它是由标志位为true的标志位值取或运算而来，比如这里我演示的class文件是一个类并且是public的，所以对应的ACC_PUBLIC和ACC_SIPER标志应该置为true，其余标志不满足则为false，那么access_flags的计算过程就是：Ox0001 | Ox0020 = Ox0021 篇幅原因，未完待续...... 参考文献：《深入理解Java虚拟机》 END 本篇文章为转载内容。原文链接：https://javar.blog.csdn.net/article/details/97532925。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...一张包含大量JSON字段的表导出到HDFS时，Sqoop直接报错了。我当时就在心里嘀咕：“为啥别的工具处理起来轻轻松松的事儿，到Sqoop这儿就变得这么棘手呢？”后来，我一咬牙，开始翻遍各种资料，想着一定要找出个解决办法来。 思考与尝试： 经过一番研究，我发现Sqoop默认情况下并不会对数据进行深度解析，这意味着如果数据本身存在问题，Sqoop可能无法正确处理。所以，为了验证这个假设，我又做了一次测试。 bash sqoop import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password mypassword \ --table problematic_table \ --fields-terminated-by '\t' \ --lines-terminated-by '\n' 这次我特意指定了分隔符和换行符，希望能避免之前遇到的那些麻烦。嘿，没想到这次作业居然被我搞定了！中间经历了不少波折，不过好在最后算是弄懂了个中奥秘，也算没白费功夫。 --- 三、透明性的重要性 Sqoop到底懂不懂我的需求？ 说到Sqoop的透明性，我觉得这是一个非常重要的概念。所谓的透明性嘛，简单来说，就是Sqoop能不能明白咱们的心思，然后老老实实地按咱们想的去干活儿，不添乱、不出错！显然，在我遇到的这些问题中，Sqoop的表现并不能让人满意。 举个例子来说，假设你有一个包含多列的大表，其中某些列的数据类型比较复杂（例如数组、嵌套对象等）。在这种情况下，Sqoop可能会因为无法正确识别这些数据类型而失败。更糟糕的是，它并不会给出明确的提示，而是默默地报错，让你一头雾水。 为了更好地应对这种情况，我在后续的工作中加入了更多的调试步骤。比如说啊，你可以先用describe这个命令去看看表的结构，确保所有的字段都乖乖地被正确识别了；接着呢，再用--check-column这个选项去瞅一眼，看看有没有重复的记录藏在里面。这样一来，虽然增加了工作量，但至少能减少不必要的麻烦。 示例代码： bash sqoop job --create my_job \ -- import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password mypassword \ --table employees \ --check-column id \ --incremental append \ --last-value 0 这段代码展示了如何创建一个增量作业，用于定期更新目标目录中的数据。通过这种方式，可以有效避免一次性加载过多数据带来的性能瓶颈。 --- 四、总结与展望 与Sqoop共舞 总的来说，尽管Sqoop在某些场景下表现得不尽人意，但它依然是一个强大的工具。通过不断学习和实践，我相信自己能够更加熟练地驾驭它。未来的计划里，我特别想试试一些更酷的功能，比如说用Sqoop直接搞出Avro文件，或者把Spark整进来做分布式计算，感觉会超级带劲！ 最后，我想说的是，技术这条路从来都不是一帆风顺的。遇到困难并不可怕，可怕的是我们因此放弃努力。正如那句话所说：“失败乃成功之母。”只要保持好奇心和求知欲，总有一天我们会找到属于自己的答案。 如果你也有类似的经历，欢迎随时交流！我们一起进步，一起成长！ --- 希望这篇文章对你有所帮助，如果有任何疑问或者想要了解更多细节，请随时告诉我哦！

...ongodb 子文档排序_猫鼬101：基础知识，子文档和人口简介 特征工程 计算方法Gauss-Jordan消去法求线性方程组的解 使用(VAE)生成建模,理解可变自动编码器背后的数学原理 视觉SLAM入门 -- 学习笔记 - Part2 带你入门nodejs第一天——node基础语法及使用 python3数据结构_Python3-数据结构 debezium-connect-oracle使用 相关数值分析多种算法代码 android iphone treeview,Android之IphoneTreeView带组指示器的ExpandableListView效果 nginx rewrite功能使用 3-3 OneHot编码 JavaWeb：shiro入门小案例 MySQL的定义、操作、控制、查询语言的用法 MongoDB入门学习(三)：MongoDB的增删查改 赋值、浅复制和深复制解析 以及get/set应用 他是吴恩达导师，被马云聘为「达摩院」首座 Jordan 标准型定理 列主元的Gauss-Jordan消元法-python实现 Jordan 块的几何 若尔当型（The Jordan form） 第七章 其他神经网络类型 解决迁移系统后无法配置启用WindowsRE环境的问题 宝塔面板迁移系统盘/www到数据盘/home 使用vmware vconverter从物理机迁移系统到虚拟机P2V 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_62695120/article/details/124510157。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...按结束时间从小到大大排序int cou=0;int end=-1;for(int i=0;i<n;i++)if(ans[i].a>end){//注意时间不能重叠cou++;end=ans[i].b;}cout<<cou<<endl;return 0;} C: 秘密大厦的访客 题目描述 Kimi最近在负责一栋秘密大厦的安保工作，他的工作是记录大厦的来访者情况。 每个来访者都有一个与之对应的唯一编号，在每一条到访记录中记录了该来访者的编号。 现在Kimi需要统计每一条记录中的来访者是第几次光临秘密大厦。 输入 单组输入，每组两行。 第1行包含一个正整数n，表示记录的条数，n不超过1000； 第2行包含n个正整数，依次表示Kimi的记录中每位来访者的编号，两两之间用空格隔开。 输出 输出1行，包含n个正整数，两两之间用空格隔开，依次表示每条记录中的来访者编号是第几次出现。 签到题 直接模拟，做法很多 include<bits/stdc++.h>using namespace std;define ll long longint main(){int n,m;scanf("%d",&n);map<int,int>mp;for(int i=1;i<=n;i++){scanf("%d",&m);mp[m]++;printf("%d%c",mp[m],i==n ? '\n':' ');}return 0;} D: 最大能量 题目描述 一年一度的宇宙超级运动会在宇宙奥特英雄体育场隆重举行。X星人为这场运动会准备了很长时间，他大显身手的时刻终于到了！ 为了保持良好的竞技状态和充沛的体能，X星人准备了N种不同的能量包。 虽然每种能量包都有无限个，但是因为同一种能量包使用太多会带来副作用，因此同样的能量包不能同时使用超过两个，也就是说最多同时可以使用两个相同的能量包。 每种能量包都有一个重量值和能量值。由于这些能量包的特殊性，必须要完整地使用一个能量包才能够发挥功效，否则将失去对应的能量值。 考虑到竞赛的公平性，竞赛组委会规定每个人赛前补充的能量包的总重量不能超过W。 现在需要你编写一个程序计算出X星人能够拥有的最大能量值是多少？ 输入 单组输入。 第1行包含两个正整数N和W，其中N<=10^ 3，W<=10^ 3。 第2行到第N+1行，每一行包含两个正整数，分别表示每一种能量包的重量和能量值，两个正整数之间用空格隔开。每一种能量包的重量和能量值都是小于等于100的正整数。 输出 输出X星人能够拥有的最大能量值。 背包 可以看成每个物品个数为2的多重背包，用多重背包的方法做；也可以看成总共有2n个物品，用一般背包的方法做 //方法1include <bits/stdc++.h>using namespace std;int c[1005],w[1005];//重量 能量int f[10005];int main(){int n,m;cin>>n>>m;for(int i=1;i<=n;i++)cin>>c[i]>>w[i];for(int i=1;i<=n;i++)for(int j=m;j>=c[i];--j){for(int k=1;k<=2&&kc[i]<=j;k++){f[j]=max(f[j],f[j-c[i]k]+w[i]k);} }cout<<f[m]<<endl;return 0;}//方法2include<bits/stdc++.h>using namespace std;const int N=1e3+5;int a[2N],b[2N],dp[N],n,m;int main(){cin>>n>>m;for(int i=1;i<=n;i++){cin>>a[i]>>b[i];a[i+n]=a[i],b[i+n]=b[i];}for(int i=1;i<=2n;i++){for(int j=m;j>=a[i];j--){dp[j]=max(dp[j],dp[j-a[i]]+b[i]);} }cout<<dp[m]<<'\n';return 0;} E: 最大素数 题目描述 输入一个数字字符串，从中删除若干个（包含0个）数字后可以得到一个素数，请编写一个程序求解删除部分数字之后能够得到的最大素数。 例如，输入“1234”，删除1和4，可以得到的最大素数为23。 输入 输入一个数字字符串，从中删除若干个（包含0个）数字后可以得到一个素数，请编写一个程序求解删除部分数字之后能够得到的最大素数。 例如，输入“1234”，删除1和4，可以得到的最大素数为23。 输出 输入一个数字字符串，从中删除若干个（包含0个）数字后可以得到一个素数，请编写一个程序求解删除部分数字之后能够得到的最大素数。 例如，输入“1234”，删除1和4，可以得到的最大素数为23。 搜索 这里用的bfs，优先搜索当前最大的数，如果这个数已经是素数那么就是答案 我说不清楚，参考代码吧 include <bits/stdc++.h>using namespace std;bool isprime(int n){//素数判断if(n<2)return 0;for(int i=2;i<=(int)sqrt(n);++i)if(n%i==0)return 0;return 1;}struct node {string s;int len;bool operator<(const node &q)const{if(len!=q.len)return len<q.len;return s<q.s;} };bool check(string str){int m=0;for(int i=0;i<str.size();i++){m=m10+str[i]-'0';}return isprime(m);}bool flag;map<string,bool>vis;string s;void bfs(){priority_queue<node>q;q.push({s,s.size()});while(!q.empty()){node k=q.top();q.pop();if(vis[k.s])continue;vis[k.s]=1;if(check(k.s)){cout<<k.s<<endl;flag=1;return ;}for(int i=0;i<k.s.size();i++){//去掉第i个字符string s1=k.s.substr(0,i)+k.s.substr(i+1);q.push({s1,s1.size()});} }}int main(){cin>>s;bfs();if(!flag)puts("No result.");return 0;} F: 最大计分 题目描述 小米和小花在玩一个删除数字的游戏。 游戏规则如下： 首先随机写下N个正整数，然后任选一个数字作为起始点，从起始点开始从左往右每次可以删除一个数字，但是必须满足下一个删除的数字要小于上一个删除的数字。每成功删除一个数字计1分。 请问对于给定的N个正整数，一局游戏过后可以得到的最大计分是多少？ 输入 单组输入。 第1行输入一个正整数N表示数字的个数（N<=10^3）。 第2行输入N个正整数，两两之间用空格隔开。 输出 对于给定的N个正整数，一局游戏过后可以得到的最大计分值。 最长下降子序列 将数组逆转就等价于求最长上升子序列长度 include <bits/stdc++.h>using namespace std;int arr[1005];int main(){int n;cin>>n;for(int i=0;i<n;i++)cin>>arr[i];reverse(arr,arr+n);vector<int>stk;stk.push_back(arr[0]);for (int i = 1; i < n; ++i) {if (arr[i] > stk.back())stk.push_back(arr[i]);elselower_bound(stk.begin(), stk.end(), arr[i]) = arr[i];}cout << stk.size() << endl;return 0;} G: 密钥 题目描述 X星人又截获了Y星人的一段密文。 破解这段密文需要使用一个密钥，而这个密钥存在于一个正整数N中。 聪明的X星人终于找到了获取密钥的方法：这个正整数的最后一位是一个非零数K（K>=2），需要将正整数N切分成K个小的整数，并且要使得这K个较小整数的乘积达到最大。而所得到的最大乘积就是破解密文所需的密钥。 你能否帮X星人编写一段程序来得到密钥呢？ 输入 X星人又截获了Y星人的一段密文。 破解这段密文需要使用一个密钥，而这个密钥存在于一个正整数N中。 聪明的X星人终于找到了获取密钥的方法：这个正整数的最后一位是一个非零数K（K>=2），需要将正整数N切分成K个小的整数，并且要使得这K个较小整数的乘积达到最大。而所得到的最大乘积就是破解密文所需的密钥。 你能否帮X星人编写一段程序来得到密钥呢？ 输出 将N划分为K个整数后的最大乘积。 搜索 include <bits/stdc++.h>using namespace std;define ll long longll n;ll ans;void dfs(ll sum,ll m,int res){if(res==1){ans=max(ans,summ);return ;}int num=(int)log10(m)+1;//m的位数int k=10;for(int i=1;i<=num-res+1;i++){//保证剩余的数至少还有res-1位dfs(sum(m%k),m/k,res-1);k=10;}return ;}int main(){cin>>n;dfs(1ll,n,n%10);cout<<ans<<endl;return 0;} H: X星大学 题目描述 X星大学新校区终于建成啦！ 新校区一共有N栋教学楼和办公楼。现在需要用光纤把这N栋连接起来，保证任意两栋楼之间都有一条有线网络通讯链路。 已知任意两栋楼之间的直线距离（单位：千米）。为了降低成本，要求两栋楼之间都用直线光纤连接。 光纤的单位成本C已知（单位：X星币/千米），请问最少需要多少X星币才能保证任意两栋楼之间都有光纤直接或者间接相连？ 注意：如果1号楼和2号楼相连，2号楼和3号楼相连，则1号楼和3号楼间接相连。 输入 单组输入。 第1行输入两个正整数N和C，分别表示楼栋的数量和光纤的单位成本（单位：X星币/千米），N<=100，C<=100。两者之间用英文空格隔开。 接下来N(N-1)/2行，每行包含三个正整数，第1个正整数和第2个正整数表示楼栋的编号（从1开始一直到N），编号小的在前，编号大的在后，第3个正整数为两栋楼之间的直线距离（单位：千米）。 输出 输出最少需要多少X星币才能保证任意两栋楼之间都有光纤直接或者间接相连。 最小生成树模板题 //prim（）最小生成树include <bits/stdc++.h>using namespace std;define ll long longdefine INF 0x3f3f3f3fint n,c;int dist[105];bool vis[105];int a[105][105];ll prim(int pos){memset(dist,INF,sizeof(dist));dist[pos]=0;ll sum=0;for(int i=1;i<=n;i++){int cur=-1;for(int j=1;j<=n;j++){if(!vis[j]&&(cur==-1||dist[j]<dist[cur]))cur=j;}if(dist[cur]>=INF)return INF;sum+=dist[cur];vis[cur]=1;for(int l=1;l<=n;l++)if(!vis[l])dist[l]=min(dist[l],a[cur][l]);}return sum;}int main() {scanf("%d%d",&n,&c);int x,y,z;memset(a,INF,sizeof(a));for(int i=1;i<=n;i++)a[i][i]=0;for(int i=1;i<=n(n-1)/2;i++){scanf("%d%d%d",&x,&y,&z);a[x][y]=min(a[x][y],z);a[y][x]=a[x][y];}printf("%lld\n",prim(1)c);return 0;}//Kruskal（）最小生成树include<bits/stdc++.h>using namespace std;struct node {int x,y,z;}edge[10005];bool cmp(node a,node b) {return a.z < b.z;}int fa[105];int n,m,c;long long sum;int get(int x) {return x == fa[x] ? x : fa[x] = get(fa[x]);}int main() {scanf("%d%d",&n,&c);m=n(n-1)/2;for(int i = 1; i <= m; i ++) {scanf("%d%d%d",&edge[i].x,&edge[i].y,&edge[i].z);}for(int i = 0; i <= n; i ++) {fa[i] = i;}sort(edge + 1,edge + 1 + m,cmp);// 每次加入一条最短的边for(int i = 1; i <= m; i ++) {int x = get(edge[i].x);int y = get(edge[i].y);if(x == y) continue;fa[y] = x;sum += edge[i].z;}printf("%lld\n",sumc);return 0;} 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_52139055/article/details/123284091。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

... + 堆/快速/归并排序； 双层桶划分； Bloom filter/Bitmap； Trie树/数据库/倒排索引； 外排序； 分布式处理之Hadoop/Mapreduce。 前提基础知识： 1 byte= 8 bit。 int整形一般为4 bytes 共32位bit。 2^32=4G。 1G=2^30=10.7亿。 1 分而治之+hash映射+快速/归并/堆排序 问题1 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 分析：50亿64=320G大小空间。 算法思想1：hash 分解+ 分而治之 + 归并 遍历文件a，对每个url根据某种hash规则求取hash(url)/1024，然后根据所取得的值将url分别存储到1024个小文件（a0~a1023）中。这样每个小文件的大约为300M。如果hash结果很集中使得某个文件ai过大，可以在对ai进行二级hash(ai0~ai1024)。 这样url就被hash到1024个不同级别的目录中。然后可以分别比较文件，a0VSb0……a1023VSb1023。求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_map中。然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_map中，如果是，那么就是共同的url，存到文件里面就可以了。 把1024个级别目录下相同的url合并起来。 问题2 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。 解决思想1：hash分解+ 分而治之 +归并 顺序读取10个文件a0~a9，按照hash(query)%10的结果将query写入到另外10个文件（记为 b0~b9）中。这样新生成的文件每个的大小大约也1G（假设hash函数是随机的）。 找一台内存2G左右的机器，依次对用hash_map(query, query_count)来统计每个query出现的次数。利用快速/堆/归并排序按照出现次数进行排序。将排序好的query和对应的query_cout输出到文件中。这样得到了10个排好序的文件c0~c9。 对这10个文件c0~c9进行归并排序（内排序与外排序相结合）。每次取c0~c9文件的m个数据放到内存中，进行10m个数据的归并，即使把归并好的数据存到d结果文件中。如果ci对应的m个数据全归并完了，再从ci余下的数据中取m个数据重新加载到内存中。直到所有ci文件的所有数据全部归并完成。 解决思想2： Trie树 如果query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。在这种假设前提下，我们就可以采用trie树/hash_map等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。 问题3： 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。 类似问题：怎么在海量数据中找出重复次数最多的一个？ 解决思想： hash分解+ 分而治之+归并 顺序读文件中，对于每个词x，按照hash(x)/(10244)存到4096个小文件中。这样每个文件大概是250k左右。如果其中的有的文件超过了1M大小，还可以按照hash继续往下分，直到分解得到的小文件的大小都不超过1M。 对每个小文件，统计每个文件中出现的词以及相应的频率（可以采用trie树/hash_map等），并取出出现频率最大的100个词（可以用含100个结点的最小堆），并把100词及相应的频率存入文件。这样又得到了4096个文件。 下一步就是把这4096个文件进行归并的过程了。（类似与归并排序） 问题4 海量日志数据，提取出某日访问百度次数最多的那个IP 解决思想： hash分解+ 分而治之 + 归并 把这一天访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有2^32个IP。同样可以采用hash映射的方法，比如模1024，把整个大文件映射为1024个小文件。 再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。 然后再在这1024组最大的IP中，找出那个频率最大的IP，即为所求。 问题5 海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。 解决思想： 分而治之 + 归并。 注意TOP10是取最大值或最小值。如果取频率TOP10，就应该先hash分解。 在每台电脑上求出TOP10，采用包含10个元素的堆完成（TOP10小，用最大堆，TOP10大，用最小堆）。比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的元素就是TOP10大。 求出每台电脑上的TOP10后，然后把这100台电脑上的TOP10组合起来，共1000个数据，再利用上面类似的方法求出TOP10就可以了。 问题6 在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。 解决思路1 ： hash 分解+ 分而治之 + 归并 2.5亿个int数据hash到1024个小文件中a0~a1023，如果某个小文件大小还大于内存，进行多级hash。每个小文件读进内存，找出只出现一次的数据，输出到b0~b1023。最后数据合并即可。 解决思路2 ： 2-Bitmap 如果内存够1GB的话，采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^322bit=1GB内存。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是01的整数输出即可。 注意，如果是找出重复的数据，可以用1-bitmap。第一次bit位由0变1，第二次查询到相应bit位为1说明是重复数据，输出即可。 问题7 一共有N个机器，每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数中的中数？ 解决思想1 ： hash分解 + 排序 按照升序顺序把这些数字，hash划分为N个范围段。假设数据范围是2^32 的unsigned int 类型。理论上第一台机器应该存的范围为0~(2^32)/N，第i台机器存的范围是(2^32)(i-1)/N~(2^32)i/N。hash过程可以扫描每个机器上的N个数，把属于第一个区段的数放到第一个机器上，属于第二个区段的数放到第二个机器上，…，属于第N个区段的数放到第N个机器上。注意这个过程每个机器上存储的数应该是O(N)的。 然后我们依次统计每个机器上数的个数，一次累加，直到找到第k个机器，在该机器上累加的数大于或等于（N^2）/2，而在第k-1个机器上的累加数小于（N^2）/2，并把这个数记为x。那么我们要找的中位数在第k个机器中，排在第（N^2）/2-x位。然后我们对第k个机器的数排序，并找出第（N^2）/2-x个数，即为所求的中位数的复杂度是O（N^2）的。 解决思想2： 分而治之 + 归并 先对每台机器上的数进行排序。排好序后，我们采用归并排序的思想，将这N个机器上的数归并起来得到最终的排序。找到第（N^2）/2个便是所求。复杂度是O（N^2 lgN^2）的。 2 Trie树+红黑树+hash_map 这里Trie树木、红黑树或者hash_map可以认为是第一部分中分而治之算法的具体实现方法之一。 问题1 上千万或上亿数据（有重复），统计其中出现次数最多的钱N个数据。 解决思路： 红黑树 + 堆排序 如果是上千万或上亿的int数据，现在的机器4G内存可以能存下。所以考虑采用hash_map/搜索二叉树/红黑树等来进行统计重复次数。 然后取出前N个出现次数最多的数据，可以用包含N个元素的最小堆找出频率最大的N个数据。 问题2 1000万字符串，其中有些是重复的，需要把重复的全部去掉，保留没有重复的字符串。请怎么设计和实现？ 解决思路：trie树。 这题用trie树比较合适，hash_map也应该能行。 问题3 一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，请给出思想，给出时间复杂度分析。 解决思路： trie树 + 堆排序 这题是考虑时间效率。 1. 用trie树统计每个词出现的次数，时间复杂度是O(nlen)（len表示单词的平准长度）。 2. 然后找出出现最频繁的前10个词，可以用堆来实现，前面的题中已经讲到了，时间复杂度是O(nlg10)。 总的时间复杂度，是O(nle)与O(nlg10)中较大的哪一个。 问题4 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录，这些查询串的重复读比较高，虽然总数是1千万，但是如果去除重复和，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就越热门。请你统计最热门的10个查询串，要求使用的内存不能超过1G。 解决思想 ： trie树 + 堆排序 采用trie树，关键字域存该查询串出现的次数，没有出现为0。最后用10个元素的最小推来对出现频率进行排序。 3 BitMap或者Bloom Filter 3.1 BitMap BitMap说白了很easy，就是通过bit位为1或0来标识某个状态存不存在。可进行数据的快速查找，判重，删除，一般来说适合的处理数据范围小于82^32。否则内存超过4G，内存资源消耗有点多。 问题1 已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。 解决思路： bitmap 8位最多99 999 999，需要100M个bit位，不到12M的内存空间。我们把0-99 999 999的每个数字映射到一个Bit位上，所以只需要99M个Bit==12MBytes，这样，就用了小小的12M左右的内存表示了所有的8位数的电话 问题2 2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。 解决思路：2bit map 或者两个bitmap。 将bit-map扩展一下，用2bit表示一个数即可，00表示未出现，01表示出现一次，10表示出现2次及以上，11可以暂时不用。 在遍历这些数的时候，如果对应位置的值是00，则将其置为01；如果是01，将其置为10；如果是10，则保持不变。需要内存大小是2^32/82=1G内存。 或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map，都是一样的道理。 3.2 Bloom filter Bloom filter可以看做是对bit-map的扩展。 参考july大神csdn文章 Bloom Filter 详解 4 Hadoop+MapReduce 参考引用july大神 csdn文章 MapReduce的初步理解 Hadoop框架与MapReduce模式 转载请注明本文地址： 大数据——海量数据处理的基本方法总结 本篇文章为转载内容。原文链接：https://blog.csdn.net/hong2511/article/details/80842704。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

....head() 数据字段及说明： Acc： 是否开卡， 为0说明未开卡，对应的 avg_exp 为NaN；为1说明已开卡，对应avg_exp有值 avg_exp： 月均信用卡支出 avg_exp_ln：月均信用卡支出的对熟 gender : 性别 Ownrent： 是否自有住房 Selfempl： 是否自谋职业 Income：收入 dist_home_val： 所住小区均价 w dist_avg_income： 当地人均收入 age2： 年龄的平方 high_avg： 高出当地平均收入 edu_class：教育等级，0、1、2、3 依次是小学、初中、高中、大学 二、描述性分析 首先可筛选Acc为1的数据，分别以avg_exp为因变量，其余变量为自变量进行数据探索，主要是发现自变量和因变量是否有线形关系。 raw_1 = raw[raw['Acc'] == 1] 2.1 连续自变量与连续因变量的相关性分析 首先对连续变量和目标变量进行相关性分析，因变量avg_exp为连续变量，一般可以用相关系数来看其线形相关性。 cons_vasr = ['avg_exp', 'avg_exp_ln', 'Age', 'Income', 'dist_home_val', 'dist_avg_income', 'age2', 'high_avg']raw_1[cons_vasr].corr()vg']].corr() 结果如下，可以看到收入 Income 和当地人均收入 dist_avg_income这两个变量和avg_exp月均信用卡支出有较强的相关性，同时观察自变量间的相关性可发现人均收入 Income 和当地人均收入 dist_avg_income 之间也有较强的相关性，相关系数为0.99，说明接下来我们可以把这两个变量加入模型，但要注意可能会存在多重共线性。 2.2 二分类变量与连续变量的相关性分析 分类变量和连续变量之间的相关性可以用t检验进行，接下来以是否自有住房 Ownrent 变量 和 月均收入之间进行相关性检验。首先查看Ownrent 不同取值的数量以及avg_exp均值分布情况如何： pd.pivot_table(raw_1, values = ['avg_exp'], index = ['Ownrent'], aggfunc = {'avg_exp': ['count', np.mean]}) 接着分别对 Ownrent 为0、1的 avg_exp 进行t检验： import scipy.stats as st 引入scipy.stats进行t检验 创建变量Ownrent_0 = raw_1[raw_1['Ownrent'] == 0]['avg_exp'].valuesOwnrent_1 = raw_1[raw_1['Ownrent'] == 1]['avg_exp'].valuesst.ttest_ind(Ownrent_0, Ownrent_1, equal_var = True) p值为0.01 < 0.05，可以拒绝原假设，即认为是否自有住房和月均信用卡支出是相关的。 2.3 多分类变量与连续变量的相关性分析 多分类变量和连续变量之间的相关性检验可以用多次t检验进行，但较为繁琐，用方差分析进行快速检验相关性，然后再运用多重检验查看具体是哪些处理之间存在差异。以教育水平edu_class为例进行分析，同理首先查看分布 raw_1.pivot_table(index = 'edu_class', values = ['avg_exp'], aggfunc={'avg_exp': ['count', np.mean]}) 可以看到不同教育水平之间消费水平有明显差异，接下来通过方差分析进行检验差异是否明显。 from statsmodels.stats.anova import anova_lm 引入anova_lm进行方差分析from ststsmodels.stats.formula import ols 引入ols进行线性回归建模lm = ols('avg_exp~C(edu_class)', data = raw_1).fit() C(edu_class) 将数值型的变量指定为分类型anova_lm(lm, typ = 2) 可以看到不同教育水平之间的月均消费支出之间的差异是显著的，继续用多重检验来看哪些处理之间是显著的。 from statsmodels.stats.multicomp import MultiComparison 引入MultiComparison进行tukey多重检验mc = MultiComparison(raw_1['avg_exp'],raw_1['edu_class'])tukey_result = mc.tukeyhsd(alpha = 0.5)print(tukey_result) 结果是每个处理之间因变量差异的显著性，最后一列reject都为True说明各组之间均存在显著差异。 三、模型建立与诊断 3.1 一元线性回归及模型解读 以Income为自变量，以avg_exp为因变量建立一元线形回归并对模型结果进行解释 lm_1 = ols('avg_exp ~ Income', data = raw_1).fit()print(lm_1.summary()) 首先从第一部分可以看到R^2为0.454，整个模型的F检验p值小于0.05，说明模型通过显著性检验。 其次模型结果的第二块也表明自变量和截距也通过显著性检验。 最后一部分主要是对残差进行检验，左侧Omnibus、Prob(Omnibus)主要是对偏度Skew和峰度Kurtosis进行检验，正态分布的偏度为0，峰度为3，模型的Prob(Omnibus)值为0.156大于0.05，说明不能拒绝残差符合正态分布。 右侧Durbin-Watson主要是对残差的自相关性进行检（改检验可表示为，为残差之间的相关系数），Durbin-Watson的取值范围是0-4，越接近2说明残差不存在自相关性，越接近0说明存在正相关，越接近4说明存在负相关性。 右侧Jarque-Bera (JB)、Prob(JB)是对残差正态性检验，可以用来判断残差是否符合正态分布，本案例中Prob(JB)值为0.173 > 0.05，基不能拒绝残差服从正态分布。 右侧Cond. No.是多重共线性检验，该值越大，共线性越严重。 整体上看模型虽然拟合效果没那么好，但是显著性通过了检验。接下来看一下模型具体的系数，Income的系数为97.7说明模型收入越高信用卡消费越高，是符合业务预期的。 3.2 残差可视化分析 接下来对残差进一步进行可视化分析，主要看残差是否满足以下几个假定，并尝试通过对自变量、因变量进行调整来优化模型。首先来回顾一下残差需要满足的几个假定： a.残差的要服从均值为0，方差为的正态分布； b.残差之间要相互独立 c.残差和自变量没有相关性 （1）通过残差图进行模型优化 模型avg_exp ~ Income的自变量与残差分布图、残差qq图、模型拟合情况图即自变量与因变量及其预测值的图像 lm_1 = ols('avg_exp ~ Income', data = raw_1).fit() 建模raw_1['resid_1'] = lm_1.resid 模型残差raw_1['resid_1_rank'] = raw_1['resid_1'].rank(ascending = False, pct = True) 计算残差的百分位数raw_1['pred_1'] = lm_1.predict() 添加预测值plt.figure(figsize = (20, 6)) 自变量与残差分布图ax1 = plt.subplot(131)ax1.scatter('Income', 'resid', data = raw_1)ax1.set_title('Income & resid') 残差的qq图ax2 = plt.subplot(132)stats.probplot(raw_1['resid_1_rank'], dist = 'norm', plot = ax2) 模型拟合情况图，自变量与因变量以及模型预测值ax3 = plt.subplot(133)ax3.scatter('Income', 'avg_exp', data = raw_1)ax3.plot('Income', 'pred_1', data = raw_1, color = 'red')ax3.legend()ax3.text(12, 1920, 'pred func R^2: %.2f'% lm_1.rsquared)ax3.set_title('Income & avg_exp') 从第一个自变量和残差散点图可以看出，残差基本符合对称分布，但随着自变量增大，残差也在变大，存在方差不齐的情况。第二个图残差的qq图可以看出，残差近似正态分布。第三个图可以看模型的拟合效果并不是很好，R^2只有0.45。对avg_exp取对数，能够改善预测值越大残差越大的情况，但由于只对因变量取对数导致模型不好解释，对自变量Income同时取对数，代码和以上类似，只是改变因变量和自变量形式而已，以下是残差图，可以看到残差的异方差现象被有效的抑制，并且R^2也得到了提高。 （2）通过残差图发现强影响点 仔细观察以上图像结果，左下侧有两个较为异常的数据，对模型的拟和效果有较大的影响， 对于这种影响较大的可将其进行删除并重新建模： 计算学生化残差raw_1['resid_t'] = (raw_1['resid_2'] - raw_1['resid_2'].mean())/raw_1['resid_2'].std() raw_1[abs(raw_1['resid_t']) > 2] 将残差大于2的筛选出来 将强影响点删除后，得到的结果如下，模型结果更稳定。 3.3 多元线性回归 上一篇文章有说到多重共线性会对模型产生致命的影响，用方差膨胀因子来处理的话会非常繁琐。通过正则化处理如Lasso回归，能够产生某些严格等于0的系数，从而达到变量筛选的目的。接下来以Lasso为例，首先用LassoCV来找到最优的alpha。由于statsmodels中的ols的fit_regularized方法没有很好的实现，所以用sklearn中linear_model模块来进行建模 from sklearn.preprocessing import StandardScaler sklearn进行线性回归前必须要进行标准化from sklearn.linear_model import LassoCV Lasso的交叉验证方法con_xcols = ['Age', 'Income', 'dist_home_val', 'dist_avg_income']scaler = StandardScaler()X = scaler.fit_transform(raw_1[con_xcols])y = raw_1['avg_exp_ln']lasso_alphas = np.logspace(-3, 0, 100, base = 10)lcv = LassoCV(alphas = lasso_alphas, cv = 10)lcv.fit(X, y)print('best alpha %.4f' % lcv.alpha_)print('the r-square %.4f' % lcv.score(X, y)) 接下来画出不同alpha下的岭迹图，来看alpha值对系数的影响 from sklearn.linear_model import Lassocoefs = []lasso = Lasso()for i in lasso_alphas:lasso.set_params(alpha = i)lasso.fit(X, y)coefs.append(lasso.coef_)ax = plt.gca()ax.plot(lasso_alphas, coefs)ax.set_xscale('log')ax.set_xlabel('$\\alpha$')ax.set_ylabel('coefs value') 从图中可以看到随着alpha的增大，系数不断在减小，有些系数会优先收缩为0，再继续增大时所欲系数都会为0，通过该特性从而达到变量筛选的目的。将LassoCV得到的系数打印出来，可以看到用户月均信用卡支出和当地小区均价、当地人均收入成正比，当地人均收入水平的影响更大。 以上就是线形回归在应用时的注意事项。 本篇文章为转载内容。原文链接：https://blog.csdn.net/baidu_26137595/article/details/123766191。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...请百度google 字段 允许值 允许的特殊字符 秒 0-59 , - / 分 0-59 , - / 小时 0-23 , - / 日期 1-31 , - ? / L W C 月份 1-12 或者 JAN-DEC , - / 星期 1-7 或者 SUN-SAT , - ? / L C 年（可选） 留空, 1970-2099 , - / - 区间 通配符 ? 你不想设置那个字段 下面只例出几个式子 CRON表达式 含义 "0 0 12 ?" 每天中午十二点触发 "0 15 10 ? " 每天早上10：15触发 "0 15 10 ?" 每天早上10：15触发 "0 15 10 ? " 每天早上10：15触发 "0 15 10 ? 2005" 2005年的每天早上10：15触发 "0 14 ?" 每天从下午2点开始到2点59分每分钟一次触发 "0 0/5 14 ?" 每天从下午2点开始到2：55分结束每5分钟一次触发 "0 0/5 14,18 ?" 每天的下午2点至2：55和6点至6点55分两个时间段内每5分钟一次触发 "0 0-5 14 ?" 每天14:00至14:05每分钟一次触发 "0 10,44 14 ? 3 WED" 三月的每周三的14：10和14：44触发 "0 15 10 ? MON-FRI" 每个周一、周二、周三、周四、周五的10：15触发 Cron 表达式包括以下 7 个字段： 秒 分 小时 月内日期 月 周内日期 年（可选字段） 特殊字符 Cron 触发器利用一系列特殊字符，如下所示： 反斜线（/）字符表示增量值。例如，在秒字段中“5/15”代表从第 5 秒开始，每 15 秒一次。 问号（?）字符和字母 L 字符只有在月内日期和周内日期字段中可用。问号表示这个字段不包含具体值。所以，如果指定月内日期，可以在周内日期字段中插入“?”，表示周内日期值无关紧要。字母 L 字符是 last 的缩写。放在月内日期字段中，表示安排在当月最后一天执行。在周内日期字段中，如果“L”单独存在，就等于“7”，否则代表当月内周内日期的最后一个实例。所以“0L”表示安排在当月的最后一个星期日执行。 在月内日期字段中的字母（W）字符把执行安排在最靠近指定值的工作日。把“1W”放在月内日期字段中，表示把执行安排在当月的第一个工作日内。 井号（）字符为给定月份指定具体的工作日实例。把“MON2”放在周内日期字段中，表示把任务安排在当月的第二个星期一。 星号（）字符是通配字符，表示该字段可以接受任何可能的值。 字段 允许值 允许的特殊字符 秒 0-59 , - / 分 0-59 , - / 小时 0-23 , - / 日期 1-31 , - ? / L W C 月份 1-12 或者 JAN-DEC , - / 星期 1-7 或者 SUN-SAT , - ? / L C 年（可选） 留空, 1970-2099 , - / 表达式意义 "0 0 12 ?" 每天中午12点触发 "0 15 10 ? " 每天上午10:15触发 "0 15 10 ?" 每天上午10:15触发 "0 15 10 ? " 每天上午10:15触发 "0 15 10 ? 2005" 2005年的每天上午10:15触发 "0 14 ?" 在每天下午2点到下午2:59期间的每1分钟触发 "0 0/5 14 ?" 在每天下午2点到下午2:55期间的每5分钟触发 "0 0/5 14,18 ?" 在每天下午2点到2:55期间和下午6点到6:55期间的每5分钟触发 "0 0-5 14 ?" 在每天下午2点到下午2:05期间的每1分钟触发 "0 10,44 14 ? 3 WED" 每年三月的星期三的下午2:10和2:44触发 "0 15 10 ? MON-FRI" 周一至周五的上午10:15触发 "0 15 10 15 ?" 每月15日上午10:15触发 "0 15 10 L ?" 每月最后一日的上午10:15触发 "0 15 10 ? 6L" 每月的最后一个星期五上午10:15触发 "0 15 10 ? 6L 2002-2005" 2002年至2005年的每月的最后一个星期五上午10:15触发 "0 15 10 ? 63" 每月的第三个星期五上午10:15触发 每天早上6点 0 6 每两个小时 0 /2 晚上11点到早上8点之间每两个小时，早上八点 0 23-7/2，8 每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点 0 11 4 1-3 1月1日早上4点 0 4 1 1 本篇文章为转载内容。原文链接：https://zhanghaiyang.blog.csdn.net/article/details/51397459。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...作，如获取类的方法、字段、构造器等信息，并能调用它们或修改其属性值。在本文的实例中，通过使用Java反射API解析注解，能够在运行时根据注解信息动态地为控件设置属性，从而简化了Android开发中的视图绑定过程。 Butter Knife , Butter Knife是一个广泛应用于Android开发的开源库，通过注解简化了findViewById()方法的使用，使开发者能够更方便快捷地将布局文件中的视图组件与Activity或Fragment中的成员变量绑定。尽管文中示例采用反射实现类似功能，但实际Butter Knife库内部并非完全依赖反射机制来提高性能和效率。

...将所有表的默认编码和排序规则更改为使用 UTF-8 (utf8mb4)，只需运行以下命令： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci 如果您想查看可用选项的完整列表，只需运行： $ docker run -it --rm mysql:tag --verbose --help 2.4.5. 环境变量 启动 mysql 镜像时，可以通过在 docker run 命令行中传递一个或多个环境变量来调整 MySQL 实例的配置。 请注意，如果您使用已包含数据库的数据目录启动容器，则以下任何变量都不会产生任何影响：任何预先存在的数据库在容器启动时将始终保持不变。 另请参阅 https://dev.mysql.com/doc/refman/5.7/en/environment-variables.html 以获取 MySQL 的环境变量的文档（尤其是 MYSQL_HOST 等变量，已知与此镜像一起使用时会导致问题）。 MYSQL_ROOT_PASSWORD 此变量是必需的，并指定将为 MySQL root 超级用户帐户设置的密码。 在上面的示例中，它被设置为 my-secret-pw。 MYSQL_DATABASE 此变量是可选的，允许您指定要在映像启动时创建的数据库的名称。 如果提供了用户/密码（见下文），则该用户将被授予对此数据库的超级用户访问权限（对应于 GRANT ALL）。 MYSQL_USER、MYSQL_PASSWORD 这些变量是可选的，用于创建新用户和设置该用户的密码。 该用户将被授予对 MYSQL_DATABASE 变量指定的数据库的超级用户权限（见上文）。 要创建用户，这两个变量都是必需的。 请注意，不需要使用此机制来创建超级用户超级用户，默认情况下会使用 MYSQL_ROOT_PASSWORD 变量指定的密码创建该用户。 MYSQL_ALLOW_EMPTY_PASSWORD 这是一个可选变量。 设置为非空值，例如 yes，以允许使用 root 用户的空白密码启动容器。 注意：除非您真的知道自己在做什么，否则不建议将此变量设置为 yes，因为这将使您的 MySQL 实例完全不受保护，从而允许任何人获得完全的超级用户访问权限。 MYSQL_RANDOM_ROOT_PASSWORD 这是一个可选变量。 设置为非空值，如 yes，为 root 用户生成随机初始密码（使用 pwgen）。 生成的根密码将打印到标准输出（生成的根密码：…）。 MYSQL_ONETIME_PASSWORD 一旦初始化完成，将 root（不是 MYSQL_USER 中指定的用户！）用户设置为过期，强制在第一次登录时更改密码。 任何非空值都将激活此设置。 注意：此功能仅在 MySQL 5.6+ 上受支持。 在 MySQL 5.5 上使用此选项将在初始化期间引发适当的错误。 MYSQL_INITDB_SKIP_TZINFO 默认情况下，入口点脚本会自动加载 CONVERT_TZ() 函数所需的时区数据。 如果不需要，任何非空值都会禁用时区加载。 2.4.6. Docker Secrets 作为通过环境变量传递敏感信息的替代方法，_FILE 可以附加到先前列出的环境变量中，从而导致初始化脚本从容器中存在的文件中加载这些变量的值。 特别是，这可用于从存储在 /run/secrets/<secret_name> 文件中的 Docker 机密中加载密码。 例如： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD_FILE=/run/secrets/mysql-root -d mysql:tag 目前，这仅支持 MYSQL_ROOT_PASSWORD、MYSQL_ROOT_HOST、MYSQL_DATABASE、MYSQL_USER和 MYSQL_PASSWORD。 2.4.7. 初始化一个新实例 首次启动容器时，将使用提供的配置变量创建并初始化具有指定名称的新数据库。 此外，它将执行 /docker-entrypoint-initdb.d 中的扩展名为 .sh、.sql 和 .sql.gz 的文件。 文件将按字母顺序执行。 您可以通过将 SQL 转储安装到该目录并提供带有贡献数据的自定义镜像来轻松填充您的 mysql 服务。 SQL 文件将默认导入到 MYSQL_DATABASE 变量指定的数据库中。 2.5. 注意事项 2.5.1. 在哪里存储数据 重要提示：有几种方法可以存储在 Docker 容器中运行的应用程序使用的数据。 我们鼓励 mysql 映像的用户熟悉可用的选项，包括： 让 Docker 通过使用自己的内部卷管理将数据库文件写入主机系统上的磁盘来管理数据库数据的存储。 这是默认设置，对用户来说简单且相当透明。 缺点是对于直接在主机系统（即外部容器）上运行的工具和应用程序，可能很难找到这些文件。 在主机系统（容器外部）上创建一个数据目录，并将其挂载到容器内部可见的目录。 这会将数据库文件放置在主机系统上的已知位置，并使主机系统上的工具和应用程序可以轻松访问这些文件。 缺点是用户需要确保目录存在，例如主机系统上的目录权限和其他安全机制设置正确。 Docker 文档是了解不同存储选项和变体的一个很好的起点，并且有多个博客和论坛帖子在该领域讨论和提供建议。 我们将在这里简单地展示上面后一个选项的基本过程： 在主机系统上的合适卷上创建数据目录，例如 /my/own/datadir。 像这样启动你的 mysql 容器： $ docker run --name some-mysql -v /my/own/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 命令的 -v /my/own/datadir:/var/lib/mysql 部分将底层主机系统中的 /my/own/datadir 目录挂载为容器内的 /var/lib/mysql ，默认情况下 MySQL 将 写入其数据文件。 2.5.2. 在 MySQL 初始化完成之前没有连接 如果容器启动时没有初始化数据库，则会创建一个默认数据库。 虽然这是预期的行为，但这意味着在初始化完成之前它不会接受传入的连接。 在使用同时启动多个容器的自动化工具（例如 docker-compose）时，这可能会导致问题。 如果您尝试连接到 MySQL 的应用程序没有处理 MySQL 停机时间或等待 MySQL 正常启动，那么在服务启动之前放置一个连接重试循环可能是必要的。 有关官方图像中此类实现的示例，请参阅 WordPress 或 Bonita。 2.5.3. 针对现有数据库的使用 如果您使用已经包含数据库的数据目录（特别是 mysql 子目录）启动 mysql 容器实例，则应该从运行命令行中省略 $MYSQL_ROOT_PASSWORD 变量； 在任何情况下都将被忽略，并且不会以任何方式更改预先存在的数据库。 2.5.4. 以任意用户身份运行 如果你知道你的目录的权限已经被适当地设置了（例如对一个现有的数据库运行，如上所述）或者你需要使用特定的 UID/GID 运行 mysqld，那么可以使用 --user 调用这个镜像设置为任何值（root/0 除外）以实现所需的访问/配置： $ mkdir data$ ls -lnd datadrwxr-xr-x 2 1000 1000 4096 Aug 27 15:54 data$ docker run -v "$PWD/data":/var/lib/mysql --user 1000:1000 --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 2.5.5. 创建数据库转储 大多数普通工具都可以工作，尽管在某些情况下它们的使用可能有点复杂，以确保它们可以访问 mysqld 服务器。 确保这一点的一种简单方法是使用 docker exec 并从同一容器运行该工具，类似于以下内容： $ docker exec some-mysql sh -c 'exec mysqldump --all-databases -uroot -p"$MYSQL_ROOT_PASSWORD"' > /some/path/on/your/host/all-databases.sql 2.5.6. 从转储文件恢复数据 用于恢复数据。 您可以使用带有 -i 标志的 docker exec 命令，类似于以下内容： $ docker exec -i some-mysql sh -c 'exec mysql -uroot -p"$MYSQL_ROOT_PASSWORD"' < /some/path/on/your/host/all-databases.sql 备注 docker安装完MySQL，后面就是MySQL容器在跑，基本上就是当MySQL服务去操作，以前MySQL怎么做现在还是一样怎么做，只是个别操作因为docker包了一层，麻烦一点。 有需要的话，我们也可以基于MySQL官方镜像去定制我们自己的镜像，就比如主从镜像之类的。 本篇文章为转载内容。原文链接：https://blog.csdn.net/muluo7fen/article/details/122731852。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...mp：因为重新进行了排序，备份大小小于原文件。备份性能居中，需要遍历数据库生成语句。 可以看出，比较折中的选择是 Dump ，备份大小具有明显优势，备份性能尚可，恢复性能较差但由于需要恢复的场景较少，算是可以接受的短板。 深入钻研 即使优化后的方案，对于大DB备份也是耗时耗电，对于移动APP来说，可能未必有这样的机会做这样重度的操作，或者频繁备份会导致卡顿和浪费使用空间。 备份思路的高成本迫使我们从另外的方案考虑，于是我们再次把注意力放在之前的Dump方案。 Dump 方案本质上是尝试从坏DB里读出信息，这个尝试一般来说会出现两种结果： DB的基本格式仍然健在，但个别数据损坏，读到损坏的地方SQLite返回SQLITE_CORRUPT错误， 但已读到的数据得以恢复。 基本格式丢失（文件头或sqlite_master损坏），获取有哪些表的时候就返回SQLITE_CORRUPT， 根本没法恢复。 第一种可以算是预期行为，毕竟没有损坏的数据能部分恢复。从成功率来看，不少用户遇到的是第二种情况，这种有没挽救的余地呢？ 要回答这个问题，先得搞清楚sqlite_master是什么。它是一个每个SQLite DB都有的特殊的表， 无论是查看官方文档Database File Format，还是执行SQL语句 SELECT FROM sqlite_master;，都可得知这个系统表保存以下信息： 表名、类型（table/index）、 创建此表/索引的SQL语句，以及表的RootPage。sqlite_master的表名、表结构都是固定的， 由文件格式定义，RootPage 固定为 page 1。 正常情况下，SQLite 引擎打开DB后首次使用，需要先遍历sqlite_master，并将里面保存的SQL语句再解析一遍， 保存在内存中供后续编译SQL语句时使用。假如sqlite_master损坏了无法解析，“Dump恢复”这种走正常SQLite 流程的方法，自然会卡在第一步了。为了让sqlite_master受损的DB也能打开，需要想办法绕过SQLite引擎的逻辑。 由于SQLite引擎初始化逻辑比较复杂，为了避免副作用，没有采用hack的方式复用其逻辑，而是决定仿造一个只可以 读取数据的最小化系统。 虽然仿造最小化系统可以跳过很多正确性校验，但sqlite_master里保存的信息对恢复来说也是十分重要的， 特别是RootPage，因为它是表对应的B-tree结构的根节点所在地，没有了它我们甚至不知道从哪里开始解析对应的表。 sqlite_master信息量比较小，而且只有改变了表结构的时候（例如执行了CREATE TABLE、ALTER TABLE 等语句）才会改变，因此对它进行备份成本是非常低的，一般手机典型只需要几毫秒到数十毫秒即可完成，一致性也容易保证， 只需要执行了上述语句的时候重新备份一次即可。有了备份，我们的逻辑可以在读取DB自带的sqlite_master失败的时候 使用备份的信息来代替。 到此，初始化必须的数据就保证了，可以仿造读取逻辑了。我们常规使用的读取DB的方法（包括dump方式恢复）， 都是通过执行SQL语句实现的，这牵涉到SQLite系统最复杂的子系统——SQL执行引擎。我们的恢复任务只需要遍历B-tree所有节点， 读出数据即可完成，不需要复杂的查询逻辑，因此最复杂的SQL引擎可以省略。同时，因为我们的系统是只读的， 写入恢复数据到新 DB 只要直接调用 SQLite 接口即可，因而可以省略同样比较复杂的B-tree平衡、Journal和同步等逻辑。 最后恢复用的最小系统只需要： VFS读取部分的接口（Open/Read/Close），或者直接用stdio的fopen/fread、Posix的open/read也可以 B-tree解析逻辑 Database File Format 详细描述了SQLite文件格式， 参照之实现B-tree解析可读取 SQLite DB。 实现了上面的逻辑，就能读出DB的数据进行恢复了，但还有一个小插曲。我们知道，使用SQLite查询一个表， 每一行的列数都是一致的，这是Schema层面保证的。但是在Schema的下面一层——B-tree层，没有这个保证。 B-tree的每一行（或者说每个entry、每个record）可以有不同的列数，一般来说，SQLite插入一行时， B-tree里面的列数和实际表的列数是一致的。但是当对一个表进行了ALTER TABLE ADD COLUMN操作， 整个表都增加了一列，但已经存在的B-tree行实际上没有做改动，还是维持原来的列数。 当SQLite查询到ALTER TABLE前的行，缺少的列会自动用默认值补全。恢复的时候，也需要做同样的判断和支持， 否则会出现缺列而无法插入到新的DB。 解析B-tree方案上线后，成功率约为78%。这个成功率计算方法为恢复成功的 Page 数除以总 Page 数。 由于是我们自己的系统，可以得知总 Page 数，使用恢复 Page 数比例的计算方法比人数更能反映真实情况。 B-tree解析好处是准备成本较低，不需要经常更新备份，对大部分表比较少的应用备份开销也小到几乎可以忽略， 成功恢复后能还原损坏时最新的数据，不受备份时限影响。 坏处是，和Dump一样，如果损坏到表的中间部分，比如非叶子节点，将导致后续数据无法读出。 落地实践： 剥离封装RepairKit： 从WCDB框架中，剥离修复组件，并且封装其C++的原始API为OC管理类。 备份 master 表的时机： 我们发现 SQLite 里面 B+树 算法的实现是 向下分裂 的，也就是说当一个叶子页满了需要分裂时，原来的叶子页会成为内部节点，然后新申请两个页作为他的叶子页。这就保证了根节点一旦下来，是再也不会变动的。master 表只会在新创建表或者删除一个表时才会发生变化，而CoreData的机制表明每一次数据库的变动都要改动版本标识，那么我通过缓存和查询版本标识的变动来确定何时进行备份，避免频繁备份。 备份文件有效性： 既然 DB 可以损坏，那么这个备份文件也会损坏，怎么办呢？我用了双备份，每一个版本备份两个文件，如果一个备份恢复失败，就会启动另一个备份文件恢复。 介入恢复时机： 当CoreData初始化SQLite前，校验SQLite的Head完整性，如果不完整，进行介入修复。 经过我深入研究证明了这已经是最佳做法。 本篇文章为转载内容。原文链接：https://blog.csdn.net/a66666225/article/details/81637368。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。