[MySQL SQL执行时间性能分析]的搜索结果

...联系我们，我们将第一时间进行核实并删除相应内容。 安装最新版的MySQL 一、下载 二、安装 三、启动与停止 1. 方式一 2. 方拾二 四、客户端连接 1. 方式一 自带客户端工具 2. 方式二 系统自带命令行连接 一、下载 首先肯定是官网下载最新版 MySQL官网 点击这里的Downloads，下面有开发版和社区版两种，我们选择免费的社区版即可。 因为我们是Windows系统，所以选择这个就行了 因为我们安装最新版，所以直接下载这个就可以 下载完就是一个msi文件 二、安装 点击Execute，下面就是等待了，我是等了好几分钟 等待安装完成，完成后点击Next 继续Next 我们看到Mysql默认端口号是3306，我们不需要做出修改，直接Next就好了 我们依然使用推荐安装，继续Next就好了 下面我们进入的是“账户与角色”页面，需要我们设置默认账户root的密码，并且重复输入该密码，然后继续Next就好了 我输入的密码是123456，所以下面会提示密码太弱。 下面我们能够看到是Windows服务，说明会将MySQL注册成为Windows的一项系统服务，服务的名称叫“MySQL80”，而且该系统服务会随系统开机而自启。 我们使用默认项即可，直接点击Next 下面点击Execute，稍加等待配置信息 完成后点击Finish即可 下面点击Cancel,然后在弹出页面点击Yes即可完成。 好，进行到这一步，那么安装就完成了。 三、启动与停止 下面我们研究一下如何启动并停止MySQL，以及如何连接MySQL 启动与停止一共有两种方法 1. 方式一 在Win+R，输入Services.msc 下面会打开我们的Windows系统服务，那会说过了，安装时候自动的注册为系统服务了，我们只需要找一下就能找到。 我们发现，其实安装完成后已经默认开启了，并且使用右键菜单中你会发现，这里可以控制它的启动与停止。 2. 方拾二 我们可以直接在命令行(Win+R后输入cmd即可调用)输入指令 启动：net start mysql80 停止：net stop mysql80 这里的mysql80就是我们安装时候注册的系统服务，这个时候不区分大小写 下面我们来尝试着用命令行操作一下，搜索cmd，找到命令提示符 但是一定要使用管理员身份运行命令行 我们来尝试停止服务，再启动 四、客户端连接 需要使用客户端工具 1. 方式一 自带客户端工具 手动输入密码 123456，即可连接MySQL 我们能够看到，这里是 MySQL 8.0.30 的社区版 2. 方式二 系统自带命令行连接 如果想要在任意目录下都能够连接MySQL，并且执行MySQL指令，那就必须配置环境变量 直接搜索环境变量 点击环境变量 在我们的系统变量中找到并点击path 下面要找到刚才安装的MySQL的目录，并新建环境变量 目录为 C:\Program Files\MySQL\MySQL Server 8.0\bin 将这个目录新建到环境变量中 加入之后一路确定就可以了。 下面就可以用命令行来连接MySQL了 cmd打开命令提示符，输入 mysql -u root -p 回车之后紧接着输入密码123456即可 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_63294643/article/details/127176401。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...么是Spark的推测执行（Speculative Execution）？——深入浅出的技术探讨与实战示例 1. 引子 理解分布式计算中的挑战 在大数据处理的世界里，Apache Spark以其卓越的性能和易用性赢得了广大开发者的心。当我们用超级大的集群来处理那些让人挠头的复杂并行任务时，常常会碰到各种意想不到的性能瓶颈问题。特别是在各个节点硬件配置不统一，或者数据分布得七零八落的情况下，这些问题更是层出不穷。这时候，一个叫“推测执行”的小机灵鬼就显得特别关键了，它就像Spark里的那位超级未雨绸缪、洞察秋毫的大管家，时刻紧盯着任务的进展动态。一旦瞅准时机，它就会立马出手，优化整体的运行效率，让事情变得更快更顺溜。 2. 推测执行的基本概念 定义 Spark的推测执行是一种提高分布式计算任务效率的方法。换句话说，这个功能就相当于Spark有了个聪明的小脑瓜。当它发现有些任务跑得比乌龟还慢，就猜到可能是硬件闹情绪了，或者数据分配不均在使绊子，于是果断决定派出额外的“小分队”一起并肩作战，加速完成任务。你知道吗，当Spark在运行程序时，如果有某个复制的推测任务抢先完成了，它会很机智地把其他还在苦干的复制任务的结果直接忽略掉，然后挑出这个最快完成复制任务的成果来用。这样一来，就大大减少了整个应用程序需要等待的时间，让效率嗖嗖提升！ 原理 在Spark中，默认情况下是关闭推测执行的，但在大型集群环境下开启该特性可以显著提升作业性能。Spark通过监控各个任务的执行进度和速度差异，基于内置的算法来决定是否需要启动推测任务。这种策略能够应对潜在的硬件故障、网络波动以及其他难以预估的因素造成的执行延迟。 3. 如何启用Spark的推测执行 为了直观地展示如何启用Spark的推测执行，我们可以查看SparkConf的配置示例： scala import org.apache.spark.SparkConf val sparkConf = new SparkConf() .setAppName("SpeculationDemo") .setMaster("local[4]") // 或者是集群模式 .set("spark.speculation", "true") // 启用推测执行 val sc = new SparkContext(sparkConf) 在这个示例中，我们设置了spark.speculation为true以启用推测执行。当然，在真实的工作场景里，咱们也得灵活应变，根据实际工作任务的大小和资源状况，对一些参数进行适当的微调。比如那个推测执行的触发阈值（spark.speculation.multiplier），就像调节水龙头一样，要找到适合当前环境的那个“度”。 4. 推测执行的实际效果与案例分析 假设我们正在处理一个包含大量分区的数据集，其中一个分区的数据量远大于其他分区，导致负责该分区的任务执行时间过长。以下是Spark内部可能发生的推测执行过程： - Spark监控所有任务的执行状态和速度。 - 当发现某个任务明显落后于平均速度时，决定启动一个新的推测任务处理相同的分区数据。 - 如果推测任务完成了计算并且比原任务更快，则采用推测任务的结果，并取消原任务。 - 最终，即使存在数据倾斜，整个作业也能更快地完成。 5. 探讨与权衡 尽管推测执行对于改善性能具有积极意义，但并不是没有代价的。额外的任务副本会消耗更多的计算资源，如果频繁错误地推测，可能导致集群资源浪费。所以，在实际操作时，我们得对作业的特性有接地气、实实在在的理解，然后根据实际情况灵活把握，找到资源利用和执行效率之间的那个微妙平衡点。 总之，Spark的推测执行机制是一个聪明且实用的功能，它体现了Spark设计上的灵活性和高效性。当你碰上那种超大规模、复杂到让人挠头的分布式计算环境时，巧妙地利用推测执行这个小窍门，就能帮咱们更好地玩转Spark。这样一来，甭管遇到什么难题挑战，Spark都能稳稳地保持它那傲人的高性能表现，妥妥的！下次你要是发现Spark集群上的任务突然磨磨蹭蹭，不按套路出牌地延迟了，不如尝试把这个神奇的功能开关打开试试，没准就能收获意想不到的惊喜效果！说到底，就像咱们人类在解决问题时所展现的机智劲儿那样，有时候在一片迷茫中摸索出最佳答案，这恰恰就是技术发展让人着迷的地方。

...ngoDB作为一款高性能、灵活且易用的NoSQL数据库，凭借其强大的文档存储能力和高度可扩展性赢得了广大开发者的青睐。本文我们将围绕一个核心问题展开探讨：“在MongoDB中，连接数据库和往数据库中写入数据是异步执行的吗？” 1. 异步编程与MongoDB的交互模型 首先，我们来理解下“异步”这个概念。在编程世界里，异步操作意味着你无需等待某个任务完成就可以继续执行其他代码，而当那个任务完成后，程序会通过回调、事件或者Promise等方式通知你结果。这种方式极大地提高了系统并发处理能力。 MongoDB的驱动程序（如Node.js中的mongodb库）确实采用了异步模式进行数据库连接和写入操作。这是因为，在处理像网络传输、磁盘读写这类IO密集型操作时，如果选择同步执行的方式，会让线程或者进程陷入“等待”的状态，就像堵车一样停滞不前，这样一来，就会影响到整个应用程序的运行效率和性能表现。所以，MongoDB的这个异步设计妙就妙在，即使你的应用程序正在处理海量数据读写，也能稳稳保证响应速度贼快，运行起来流畅得飞起，一点儿不卡顿。 2. 连接MongoDB数据库的异步过程 （以下示例采用Node.js环境及官方mongodb库） javascript const MongoClient = require('mongodb').MongoClient; // 异步连接MongoDB MongoClient.connect('mongodb://localhost:27017/mydatabase', { useNewUrlParser: true, useUnifiedTopology: true }, (err, client) => { if (err) { console.error('Error connecting to MongoDB:', err); return; } console.log('Connected successfully to MongoDB'); // 使用client对象进行数据库操作... const db = client.db(); // ... // 在完成所有数据库操作后，记得关闭连接 client.close(); }); 上述代码展示了如何异步地连接到MongoDB数据库。这里，MongoClient.connect()方法接受一个连接字符串、配置选项以及一个回调函数。当连接成功建立或发生错误时，回调函数会被调用。这正是异步编程的体现，主线程不会被阻塞，直到连接操作完成才执行后续逻辑。 3. 向MongoDB数据库异步写入数据 同样，向MongoDB插入或更新数据也是异步执行的。下面是一个向集合中插入文档的例子： javascript db.collection('mycollection').insertOne({ name: 'John Doe', age: 30 }, (err, result) => { if (err) { console.error('Error inserting document:', err); return; } console.log('Document inserted successfully:', result.insertedId); // 插入操作完成后，可以在这里执行其他逻辑 }); // 注意：这里的db是上一步异步连接成功后获取的数据库实例 这段代码展示了如何异步地向MongoDB的一个集合插入一个文档。你知道吗，这个insertOne()方法就像是个贴心的小帮手，它会接收一个文档对象作为“礼物”，然后再加上一个神奇的回调函数。当你把这个“礼物”放进去，或者在插入过程中不小心出了点小差错的时候，这个神奇的回调函数就会立马跳出来开始干活儿啦！ 4. 思考与探讨 在实际开发过程中，异步操作无疑提升了我们的应用性能和用户体验。然而，这也带来了回调地狱、复杂的流程控制等问题。还好啦，现代的JavaScript可真是够意思的，它引入了Promise、async/await这些超级实用的工具，让咱们在处理异步编程时简直如虎添翼。这样一来，我们在和MongoDB打交道的时候，就能写出更加顺溜、更好懂、更好维护的代码，那感觉别提多棒了！ 总结来说，MongoDB在连接数据库和写入数据时采取异步机制，这种设计让我们能够在高并发环境下更好地优化资源利用，提升系统效率。同时，作为开发者大兄弟，咱们得深入理解并灵活玩转异步编程这门艺术，才能应对各种意想不到的挑战，把MongoDB那牛哄哄的功能发挥到极致。

一、引言 在大数据分析的世界里，Apache Hive无疑扮演着关键角色，它作为Hadoop生态系统的一部分，使得非技术人员也能通过SQL查询访问Hadoop集群中的海量数据。你知道吗，头一回试着用Hive JDBC搭桥的时候，可能会遇到一个超级烦人的问题：就像在茫茫大海里找钥匙一样，就是找不到那个该死的JDBC驱动或者Hive的client jar包，真是让人抓狂！接下来，咱们一起踏上探索之旅，我保证会给你细细讲解这个难题，还贴心地送上实用的解决妙招，让你的Hive冒险路途畅通无阻，轻松愉快！ 二、背景与理解 1. Hive概述 Hive是一种基于Hadoop的数据仓库工具，它允许用户以SQL的方式查询存储在HDFS上的数据。你知道的，想要用JDBC跟Hive来个友好交流，第一步得确认那个Hive服务器已经在那儿转悠了，而且JDBC的桥梁和必要的jar文件都得像好朋友一样好好准备齐全。 2. JDBC驱动的重要性 JDBC（Java Database Connectivity）是Java语言与数据库交互的接口，驱动程序则是这个接口的具体实现。就像试图跟空房子聊天一样，没对的“钥匙”（驱动），就感觉像是在大海捞针，怎么也找不到那个能接通的“门铃号码”（正确驱动）。 三、常见问题及解决方案 1. 缺失的JDBC驱动 - 检查环境变量：确保JAVA_HOME和HIVE_HOME环境变量设置正确，因为Hive JDBC驱动通常位于$HIVE_HOME/lib目录下的hive-jdbc-.jar文件。 - 手动添加驱动：如果你在IDE中运行，可能需要在项目构建路径中手动添加驱动jar。例如，在Maven项目中，可以在pom.xml文件中添加如下依赖： xml org.apache.hive hive-jdbc 版本号 - 下载并放置：如果在服务器上运行，可能需要从Apache Hive的官方网站下载对应版本的驱动并放入服务器的类路径中。 2. Hive Client jar包 - 确认包含Hive Server的jar：Hive Server通常包含了Hive Client的jar，如果单独部署，确保$HIVE_SERVER2_HOME/lib目录下存在hive-exec-.jar等Hive相关jar。 3. Hive Server配置 - Hive-site.xml：检查Hive的配置文件，确保标签内的javax.jdo.option.ConnectionURL和标签内的javax.jdo.option.ConnectionDriverName指向正确的JDBC URL和驱动。 四、代码示例与实战演练 1. 连接Hive示例（Java） java try { Class.forName("org.apache.hive.jdbc.HiveDriver"); Connection conn = DriverManager.getConnection( "jdbc:hive2://localhost:10000/default", "username", "password"); Statement stmt = conn.createStatement(); String sql = "SELECT FROM my_table"; ResultSet rs = stmt.executeQuery(sql); // 处理查询结果... } catch (Exception e) { e.printStackTrace(); } 2. 错误处理与诊断 如果上述代码执行时出现异常，可能是驱动加载失败或者URL格式错误。查看ClassNotFoundException或SQLException堆栈信息，有助于定位问题。 五、总结与经验分享 面对这类问题，耐心和细致的排查至关重要。记住，Hive的世界并非总是那么直观，尤其是当涉及到多个组件的集成时。逐步检查环境配置、依赖关系以及日志信息，往往能帮助你找到问题的根源。嘿，你知道吗，学习Hive JDBC就像解锁新玩具，开始可能有点懵，但只要你保持那股子好奇劲儿，多动手试一试，翻翻说明书，一点一点地，你就会上手得越来越溜了。关键就是那份坚持和探索的乐趣，时间会带你熟悉这个小家伙的每一个秘密。 希望这篇文章能帮你解决在使用Hive JDBC时遇到的困扰，如果你在实际操作中还有其他疑问，别忘了社区和网络资源是解决问题的好帮手。祝你在Hadoop和Hive的探索之旅中一帆风顺！

...求时的身手可灵活了，性能杠杠滴！ Node.js 提供了一个丰富的包管理器 npm，使得我们可以轻松地获取并安装各种第三方模块。另外，你知道吗，Node.js 社区那可是个百宝箱啊，里面装满了各种实用的框架和工具。就像Express.js、Koa.js这些服务端框架，还有Gulp.js、Webpack.js这些自动化构建工具，真是应有尽有。它们的存在，就是为了让我们能够更轻松、更快速地搭建起自己的应用程序，简直像是给开发者们插上了翅膀一样，特别给力！ 在本篇文章中，我们将探讨如何使用 Node.js 进行云服务开发。首先，咱们得先摸清楚 Node.js 在云服务这个领域里头是怎么被用起来的，接下来再给大家伙儿逐一介绍一下时下热门的云服务提供商，还会附带上他们在 Node.js 开发这块的一些实用教程，让大家能更好地掌握上手。 一、Node.js 在云服务中的应用场景 1. 实时通信应用 Node.js 的事件驱动和非阻塞 I/O 模型使其非常适合实时通信应用。比如，我们完全可以借助 Socket.IO 这个神器，搭建出像实时聊天室、在线一起编辑文档这些超级实用的应用程序。就像是你和朋友们能即时聊天的小天地，或者大家一起同时修改同一份文档的神奇工具，这些都是 Socket.IO 能帮我们实现的好玩又强大的功能。 2. 后端服务 由于 Node.js 具有高并发性和异步编程的能力，因此它可以作为后端服务的核心引擎。比如，咱们可以拿 Express.js 这个框架来搭建一个飞快的 RESTful API，要不就用 Koa.js 来整一个更轻巧灵活的服务器，随你喜欢。 3. 数据库中间件 Node.js 可以作为数据库中间件，与数据库交互并实现数据的读取、存储和更新等功能。比如，我们可以拿起 Mongoose ORM 这个工具箱，它能帮我们牵线搭桥连上 MongoDB 数据库。然后，我们就能够借助它提供的查询语句，像玩魔术一样对数据进行各种操作，插入、删除、修改，随心所欲。 二、常用的云服务提供商及其 Node.js 开发教程 1. AWS AWS 提供了一系列的云服务，包括计算、存储、数据库、安全等等。在 AWS 上，我们可以使用 Lambda 函数来实现无服务器架构，使用 EC2 或 ECS 来部署 Node.js 应用程序。此外，AWS 还提供了丰富的 SDK 和 CLI 工具，方便我们在本地开发和调试应用程序。 2. Google Cloud Platform (GCP) GCP 提供了类似的云服务，包括 Compute Engine、App Engine、Cloud Functions、Cloud SQL 等等。在 GCP（Google Cloud Platform）这个平台上，咱们完全可以利用 Node.js 这门技术来开发应用程序，然后把它们稳稳地部署到 App Engine 上。这样一来，咱们就能更轻松、更方便地管理自家的应用程序，同时还能对它进行全方位的监控，确保一切运行得妥妥当当的。就像是在自家后院种菜一样，从播种（开发）到上架（部署），再到日常照料（管理和监控），全都在掌控之中。 3. Azure Azure 是微软提供的云服务平台，支持多种编程语言和技术栈。在 Azure 上，我们可以使用 Function App 来部署 Node.js 函数，并使用 App Service 来部署完整的 Node.js 应用程序。另外，Azure还准备了一整套超级实用的DevOps工具和服务，这对我们来说可真是个大宝贝，能够帮我们在管理和发布应用程序时更加得心应手，轻松高效。 接下来，我们将详细介绍如何使用 Node.js 在 AWS Lambda 上构建无服务器应用程序。 三、在 AWS Lambda 上使用 Node.js 构建无服务器应用程序 AWS Lambda 是一种无服务器计算服务，可以让开发者无需关心服务器的操作系统、虚拟机配置等问题，只需要专注于编写和上传代码即可。在Lambda这个平台上，咱们能够用Node.js来编写函数，就像变魔术一样把函数和触发器手牵手连起来，这样一来，就能轻松实现自动执行的酷炫效果啦！ 以下是使用 Node.js 在 AWS Lambda 上构建无服务器应用程序的基本步骤： Step 1: 创建 AWS 帐户并登录 AWS 控制台 Step 2: 安装 AWS CLI 工具 Step 3: 创建 Lambda 函数 Step 4: 编写 Lambda 函数 Step 5: 配置 Lambda 函数触发器 Step 6: 测试 Lambda 函数 Step 7: 将 Lambda 函数部署到生产环境

...理解那些复杂的数据，分析出有价值的信息。就像是在一堆乱七八糟的线索中，找到了关键的证据，让咱们的决策更有依据，工作更高效！今天，让我们一起探索如何在Kibana中实现自定义数据聚合函数，解锁数据洞察的新维度。 一、为何需要自定义数据聚合函数？ 在数据科学和业务分析领域，我们经常遇到需要对数据进行定制化的分析需求。比如说，咱们得算出一堆数据里头某个指标的具体数值，就像找出一堆水果中最大的那个苹果。或者，我们还能根据时间序列，也就是按照时间顺序排列的数据，来预测未来的走向，就像是看天气预报，预测明天会不会下雨。还有就是，分析用户的个性化行为，比如有的人喜欢早起刷微博，有的人则习惯晚上熬夜看剧，我们要找出这些不同模式，就像是理解朋友的性格差异，知道什么时候找他们聊天最有效。哎呀，你知道的，有时候我们手上的数据，它们就像一群不听话的小孩，现有的那些内置工具啊，就像妈妈的规则，根本管不住他们。这就逼得我们得自己发明一些新的小把戏，比如自定义的数据聚合函数，这样就能更灵活地把这些数据整理成我们需要的样子啦。就像是给每个小孩量身定制的玩具，既符合他们的特性，又能让他们乖乖听话，多好啊！ 二、Kibana自定义聚合函数的实现 在Kibana中，实现自定义聚合函数主要依赖于_scripted_metric聚合类型。这种类型的聚合允许用户编写JavaScript代码来定义自己的聚合逻辑。下面，我们将通过一个简单的示例来展示如何实现一个自定义聚合函数。 示例：计算数据的“活跃天数” 假设我们有一个日志数据集，每条记录代表一次用户操作，我们需要计算用户在某段时间内的活跃天数（即每天至少有一次操作）。 步骤1：定义聚合代码 首先，我们需要编写JavaScript代码来实现我们的逻辑。以下是一个示例： javascript { "aggs": { "active_days": { "scripted_metric": { "init_script": "total_days = 0", "map_script": "if (doc['timestamp'].value > 0) { total_days++; }", "combine_script": "return total_days", "reduce_script": "return sum" } } }, "script_fields": { "timestamp": { "script": { "source": "doc['timestamp'].value", "lang": "painless" } } } } 解释： - init_script：初始化变量total_days为0。 - map_script：当timestamp字段值大于0时，将total_days加1。 - combine_script：返回当前total_days的值。 - reduce_script：用于汇总多个聚合结果，这里使用sum函数将所有total_days值相加。 步骤2：执行聚合 在Kibana中创建一个新的搜索查询，选择_scripted_metric聚合类型，并粘贴上述代码片段。确保数据源正确，然后运行查询以查看结果。 三、实战应用与优化 在实际项目中，自定义聚合函数可以极大地增强数据分析的能力。例如，你可能需要根据业务需求调整map_script中的条件，或者优化init_script和combine_script以提高性能。 实践建议： - 测试与调试：在部署到生产环境前，务必充分测试自定义聚合函数，确保其逻辑正确且性能良好。 - 性能考虑：自定义聚合函数可能会增加查询的复杂度和执行时间，特别是在处理大量数据时。合理设计脚本，避免不必要的计算，以提升效率。 - 可读性：保持代码简洁、注释清晰，方便团队成员理解和维护。 四、结语 自定义数据聚合函数是Kibana强大的功能之一，它赋予了用户无限的创造空间，能够针对特定业务需求进行精细的数据分析。通过本文的探索，相信你已经掌握了基本的实现方法。嘿，兄弟！你得记住，实践就是那最棒的导师。别老是坐在那里空想，多动手做做看，不断试验，然后调整改进。这样啊，你的数据洞察力，那可是能突飞猛进的。就像种花一样，你得浇水、施肥、修剪，它才会开花结果。所以，赶紧去实践吧，让自己的技能开枝散叶！在数据的海洋中航行，自定义聚合函数就是你手中的指南针，引领你发现更多宝藏。

...接下来，我们就来一一分析。 二、可能的原因及初步排查 1. 网络延迟过高 想象一下，你正在家里看电影，突然发现画面卡顿了，这是因为你的网络连接出了问题。同样地，在HDFS中，如果网络延迟过高，也会导致读取速度变慢。比如说，假如你的数据节点散落在天南海北的各种数据中心里，那数据跑来跑去就得花更多时间，就像你在城市两端都有家一样，来回折腾肯定比在同一个小区里串门费劲得多。 示例代码： java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path filePath = new Path("/user/hadoop/input/file.txt"); FSDataInputStream in = null; try { in = fs.open(filePath); byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); while (bytesRead != -1) { bytesRead = in.read(buffer); } } catch (IOException e) { e.printStackTrace(); } finally { if (in != null) { try { in.close(); } catch (IOException e) { e.printStackTrace(); } } } 这段代码展示了如何从HDFS中读取文件。如果你发现每次执行这段代码时都需要花费很长时间，那么很可能是网络延迟的问题。 2. 数据本地性不足 还记得小时候玩过的接力赛吗？如果接力棒总是从一个人传到另一个人再传回来，效率肯定不高。这就跟生活中的事儿一样啊，在HDFS里头，要是数据没分配到离客户端最近的那个数据节点上，那不是干等着嘛，多浪费时间呀！ 解决方案： 可以通过调整副本策略来改善数据本地性。比如说，默认设置下，HDFS会把文件的备份分散存到集群里的不同机器上。不过呢，如果你想让这个过程变得更高效或者更适合自己的需求，完全可以去调整那个叫dfs.replication的参数！ xml dfs.replication 3 3. 磁盘I/O瓶颈 磁盘读写速度是影响HDFS性能的一个重要因素。要是你的服务器用的是那些老掉牙的机械硬盘，那读文件的速度肯定就慢得像乌龟爬了。 实验验证： 为了测试磁盘I/O的影响，可以尝试将一部分数据迁移到SSD上进行对比实验。好啦，想象一下，你手头有一堆日志文件要对付。先把它们丢到普通的老硬盘（HDD）里待着，然后又挪到固态硬盘（SSD）上，看看读取速度变了多少。是不是感觉像在玩拼图游戏，只不过这次是在折腾文件呢？ 三、进阶优化技巧 经过前面的分析，我们可以得出结论：要提高HDFS的读取速度，不仅仅需要关注硬件层面的问题，还需要从软件配置上下功夫。以下是一些更高级别的优化建议： 1. 增加带宽 带宽就像是高速公路的车道数量，车道越多，车辆通行就越顺畅。对于HDFS来说，增加带宽意味着可以同时传输更多的数据块。 实际操作： 联系你的网络管理员，询问是否有可能升级现有的网络基础设施，比如更换更快的交换机或者部署新的光纤线路。 2. 调整副本策略 默认情况下，HDFS会将每个文件的三个副本均匀分布在整个集群中。然而，在某些特殊场景下，这种做法并不一定是最优解。比如说，你家APP平时就爱扎堆在那几个服务器节点上干活儿，那就可以把副本都放一块儿，这样它们串门聊天、传文件啥的就方便多了，也不用跑太远浪费时间啦！ 配置修改： xml dfs.block.local-path-access.enabled true 3. 使用缓存机制 缓存就像冰箱里的剩饭，拿出来就能直接吃，不用重新加热。HDFS也有类似的机制，叫做“DataNode Cache”。打开这个功能之后啊，那些经常用到的数据就会被暂时存到内存里，这样下次再用的时候就嗖的一下快多了！ 启用步骤： bash hadoop dfsadmin -setSpaceQuota 100g /cachedir hadoop dfs -cache /inputfile /cachedir 四、总结与展望 通过今天的讨论，我相信大家都对HDFS读取速度慢的原因有了更深的理解。其实，无论是网络延迟、数据本地性还是磁盘I/O瓶颈，都不是不可克服的障碍。其实吧，只要咱们肯花点心思去琢磨、去试试，肯定能找出个适合自己情况的办法。 最后，我想说的是，作为一名技术人员，我们应该始终保持好奇心和探索精神。不要害怕失败，也不要急于求成，因为每一次挫折都是一次成长的机会。希望这篇文章能给大家带来启发，让我们一起努力，让Hadoop变得更加高效可靠吧！ --- 以上就是我对“HDFS读取速度慢”的全部看法和建议。如果你还有其他想法或者遇到类似的问题，请随时留言交流。咱们共同进步，一起探索大数据世界的奥秘！

...编程就是让程序在同一时间执行多个任务。在Ruby中，我们可以用线程（Thread）来实现这一点。比如说啊，你正在倒腾一堆数据的时候，完全可以把它切成一小块一小块的，然后让每个线程去负责一块，这样一来，效率直接拉满，干活儿的速度蹭蹭往上涨！ 但是，问题来了：并发编程虽然强大，但它并不是万能药。哎呀，经常会有这样的情况呢——自个儿辛辛苦苦改代码，还以为是在让程序变得更好，结果一不小心，又给它整出了新麻烦，真是“好心办坏事”的典型啊！接下来，我们来看几个具体的例子。 --- 3. 示例一 共享状态的混乱 场景描述： 假设你正在开发一个电商网站，需要统计用户的购买记录。你琢磨着干脆让多线程上阵，给这个任务提速，于是打算让每个线程各管一拨用户的活儿，分头行动效率肯定更高！看起来很合理对不对？ 问题出现： 问题是，当你让多个线程共享同一个变量（比如一个全局计数器），事情就开始变得不可控了。Ruby 的线程可不是完全分开的，这就有点像几个人共用一个记事本，大家都能随便写东西上去。结果就是，这本子可能一会儿被这个写点，一会儿被那个划掉，最后你都不知道上面到底写了啥，数据就乱套了。 代码示例： ruby 错误的代码 counter = 0 threads = [] 5.times do |i| threads << Thread.new do 100_000.times { counter += 1 } end end threads.each(&:join) puts "Counter: {counter}" 分析： 这段代码看起来没什么问题，每个线程都只是简单地增加计数器。但实际情况却是，输出的结果经常不是期望的500_000，而是各种奇怪的数字。这就好比说，counter += 1 其实不是一步到位的简单操作，它得先“读一下当前的值”，再“给这个值加1”，最后再“把新的值存回去”。问题是，在这中间的每一个小动作，都可能被别的线程突然插队过来捣乱！ 解决方案： 为了避免这种混乱，我们需要使用线程安全的操作，比如Mutex（互斥锁）。Mutex可以确保每次只有一个线程能够修改某个变量。 修正后的代码： ruby 正确的代码 require 'thread' counter = 0 mutex = Mutex.new threads = [] 5.times do |i| threads << Thread.new do 100_000.times do mutex.synchronize { counter += 1 } end end end threads.each(&:join) puts "Counter: {counter}" 总结： 这一段代码告诉我们，共享状态是一个雷区。如果你非要用共享变量，记得给它加上锁，不然后果不堪设想。 --- 4. 示例二 死锁的诅咒 场景描述： 有时候，我们会遇到更复杂的情况，比如两个线程互相等待对方释放资源。哎呀，这种情况就叫“死锁”，简直就像两只小猫抢一个玩具，谁都不肯让步，结果大家都卡在那里动弹不得，程序也就这样傻乎乎地停在原地，啥也干不了啦！ 问题出现： 想象一下，你有两个线程，A线程需要获取锁X，B线程需要获取锁Y。想象一下，A和B两个人都想打开两把锁——A拿到了锁X，B拿到了锁Y。然后呢，A心想：“我得等B先把他的锁Y打开，我才能继续。”而B也在想：“等A先把她的锁X打开，我才能接着弄。”结果俩人就这么干等着，谁也不肯先放手，最后就成了“死锁”——就像两个人在拔河，谁都不松手，僵在那里啥也干不成。 代码示例： ruby 死锁的代码 lock_a = Mutex.new lock_b = Mutex.new thread_a = Thread.new do lock_a.synchronize do puts "Thread A acquired lock A" sleep(1) lock_b.synchronize do puts "Thread A acquired lock B" end end end thread_b = Thread.new do lock_b.synchronize do puts "Thread B acquired lock B" sleep(1) lock_a.synchronize do puts "Thread B acquired lock A" end end end thread_a.join thread_b.join 分析： 在这段代码中，两个线程都在尝试获取两个不同的锁，但由于它们的顺序不同，最终导致了死锁。运行这段代码时，你会发现程序卡住了，没有任何输出。 解决方案： 为了避免死锁，我们需要遵循“总是按照相同的顺序获取锁”的原则。比如，在上面的例子中，我们可以强制让所有线程都先获取锁A，再获取锁B。 修正后的代码： ruby 避免死锁的代码 lock_a = Mutex.new lock_b = Mutex.new thread_a = Thread.new do [lock_a, lock_b].each do |lock| lock.synchronize do puts "Thread A acquired lock {lock.object_id}" end end end thread_b = Thread.new do [lock_a, lock_b].each do |lock| lock.synchronize do puts "Thread B acquired lock {lock.object_id}" end end end thread_a.join thread_b.join 总结： 死锁就像一只隐形的手，随时可能掐住你的喉咙。记住，保持一致的锁顺序是关键！ --- 5. 示例三 不恰当的线程池 场景描述： 线程池是一种管理线程的方式，它可以复用线程，减少频繁创建和销毁线程的开销。但在实际使用中，很多人会因为配置不当而导致性能下降甚至崩溃。 问题出现： 假设你创建了一个线程池，但线程池的大小设置得不合理。哎呀，这就好比做饭时锅不够大，菜都堆在那儿煮不熟，菜要是放太多呢，锅又会冒烟、潽得到处都是，最后饭也没做好。线程池也一样，太小了任务堆成山，程序半天没反应；太大了吧，电脑资源直接被榨干，啥事也干不成，还得收拾烂摊子！ 代码示例： ruby 线程池的错误用法 require 'thread' pool = Concurrent::FixedThreadPool.new(2) 20.times do |i| pool.post do sleep(1) puts "Task {i} completed" end end pool.shutdown pool.wait_for_termination 分析： 在这个例子中，线程池的大小被设置为2，但有20个任务需要执行。哎呀，这就好比你请了个帮手，但他一次只能干两件事，其他事儿就得排队等着，得等前面那两件事儿干完了，才能轮到下一件呢！这种情况下，整个程序的执行时间会显著延长。 解决方案： 为了优化线程池的性能，我们需要根据系统的负载情况动态调整线程池的大小。可以使用Concurrent::CachedThreadPool，它会根据当前的任务数量自动调整线程的数量。 修正后的代码： ruby 使用缓存线程池 require 'concurrent' pool = Concurrent::CachedThreadPool.new 20.times do |i| pool.post do sleep(1) puts "Task {i} completed" end end sleep(10) 给线程池足够的时间完成任务 pool.shutdown pool.wait_for_termination 总结： 线程池就像一把双刃剑，用得好可以提升效率，用不好则会成为负担。记住，线程池的大小要根据实际情况灵活调整。 --- 6. 示例四 忽略异常的代价 场景描述： 并发编程的一个常见问题是，线程中的异常不容易被察觉。如果你没有妥善处理这些异常，程序可能会因为一个小错误而崩溃。 问题出现： 假设你有一个线程在执行某个操作时抛出了异常，但你没有捕获它，那么整个线程池可能会因此停止工作。 代码示例： ruby 忽略异常的代码 threads = [] 5.times do |i| threads << Thread.new do raise "Error in thread {i}" if i == 2 puts "Thread {i} completed" end end threads.each(&:join) 分析： 在这个例子中，当i == 2时，线程会抛出一个异常。哎呀糟糕！因为我们没抓住这个异常，程序直接就挂掉了，别的线程啥的也别想再跑了。 解决方案： 为了防止这种情况发生，我们应该在每个线程中添加异常捕获机制。比如，可以用begin-rescue-end结构来捕获异常并进行处理。 修正后的代码： ruby 捕获异常的代码 threads = [] 5.times do |i| threads << Thread.new do begin raise "Error in thread {i}" if i == 2 puts "Thread {i} completed" rescue => e puts "Thread {i} encountered an error: {e.message}" end end end threads.each(&:join) 总结： 异常就像隐藏在暗处的敌人，稍不注意就会让你措手不及。学会捕获和处理异常，是成为一个优秀的并发编程者的关键。 --- 7. 结语 好了，今天的分享就到这里啦！并发编程确实是一项强大的技能，但也需要谨慎对待。大家看看今天这个例子，是不是觉得有点隐患啊？希望能引起大家的注意，也学着怎么避开这些坑，别踩雷了！ 最后，我想说的是，编程是一门艺术，也是一场冒险。每次遇到新挑战，我都觉得像打开一个神秘的盲盒，既兴奋又紧张。不过呢，光有好奇心还不够，还得有点儿耐心，就像种花一样，得一点点浇水施肥，不能急着看结果。相信只要我们不断学习、不断反思，就一定能写出更加优雅、高效的代码！ 祝大家编码愉快！

...联系我们，我们将第一时间进行核实并删除相应内容。 前言 今年因为这个疫情，感觉这是从工作以来过的最久的一个年了，在家呆的时间不是一般的久，算一算有好几个月呢！我大概是3月底快4月了才出门，投了超多的简历，天天面试面试面试面试面试面试面试…庆幸的是还是上岸了（嘻嘻开心开心）。但其实所谓的庆幸也是靠努力堆起来的，我记忆力还比较好，背一背，没啥难的，背了1000道题。。。（注：关于我背的这1000题，文末有分享） 眼看着6月就过去了，再过两天就7月份了，想着面试大军可能也过不了几天就要来了，所以这两天整理了一些面经，今天给大家看的是“美团+字节跳动+腾讯”这三家的，每家一二三面，我想大家可以自己测试一下能坚持到哪里。 01 阿里中间件（四面，Java岗） 1.1 Java中间件一面 技术一面考察范围 重点问了Java线程锁：synchronized 和ReentrantLock相关的底层实现 线程池的底层实现以及常见的参数 数据结构基本都问了一遍：链表、队列等 Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数 分布式锁的实现比较技术 一面题目 自我介绍 擅长哪方面的技术？ java有哪些锁中类？（乐观锁&悲观锁、可重入锁&Synchronize等）。 比较重要的数据结构，如链表，队列，栈的基本原理及大致实现 J.U.C下的常见类的使用。Threadpool的深入考察；blockingQueue的使用 Java内存分代模型，GC算法，JVM常见的启动参数；CMS算法的过程。 Volatile关键字有什么用（包括底层原理） 线程池的调优策略 Spring cloud的服务注册与发现是怎么设计的？ 分布式系统的全局id如何实现 分布式锁的方案，redis和zookeeper那个好，如果是集群部署，高并发情况下那个性能更好。 1.2 Java中间件二面 技术二面考察范围： 问了项目相关的技术实现细节 数据库相关：索引、索引底层实现、mysql相关的行锁、表锁等 redis相关：架构设计、数据一致性问题 容器:容器的设计原理等技术 二面题目： 参与的项目，选一个，技术难度在哪里？ Collections.sort底层排序方式 负载均衡的原理设计模式与重构，谈谈你对重构的理解 谈谈redis相关的集群有哪些成熟方案？ 再谈谈一致hash算法（redis）？ 数据库索引，B+树的特性和建树过程 Mysql相关的行锁，表锁；乐观锁，悲观锁 谈谈多线程和并发工具的使用 谈谈redis的架构和组件 Redis的数据一致性问题（分布式多节点环境&单机环境） Docker容器 1.3 Java中间件三面 技术三面考察范围： 主要谈到了高并发的实现方案 以及中间件：redis、rocketmq、kafka等的架构设计思路 最后问了平时怎么提升技术的技术 三面题目 高并发情况下，系统是如何支撑大量的请求的？ 接着上面的问题，延伸到了中间件，kafka、redis、rocketmq、mycat等设计思路和适用场景等 最近上过哪些技术网站；最近再看那些书。 工作和生活中遇见最大的挑战，怎么去克服？ 未来有怎样的打算 1.4 Java中间件四面 最后，你懂的，主要就是HR走流程了，主要问了未来的职业规划。 02 头条Java后台3面 2.1 头条一面 讲讲jvm运行时数据库区 讲讲你知道的垃圾回收算法 jvm内存模型jmm 内存泄漏与内存溢出的区别 select、epool 的区别？底层的数据结构是什么？ mysql数据库默认存储引擎，有什么优点 优化数据库的方法，从sql到缓存到cpu到操作系统，知道多少说多少 什么情景下做分表，什么情景下做分库 linkedList与arrayList区别 适用场景 array list是如何扩容的 volatile 关键字的作用？Java 内存模型？ java lock的实现，公平锁、非公平锁 悲观锁和乐观锁，应用中的案例，mysql当中怎么实现，java中的实现 2.2 头条二面 Java 内存分配策略？ 多个线程同时请求内存，如何分配？ Redis 底层用到了哪些数据结构？ 使用 Redis 的 set 来做过什么？ Redis 使用过程中遇到什么问题？ 搭建过 Redis 集群吗？ 如何分析“慢查询”日志进行 SQL/索引 优化？ MySQL 索引结构解释一下？（B+ 树） MySQL Hash 索引适用情况？举下例子？ 2.3 头条三面 如何保证数据库与redis缓存一致的Redis 的并发竞争问题是什么？ 如何解决这个问题？ 了解 Redis 事务的 CAS 方案吗？ 如何保证 Redis 高并发、高可用？ Redis 的主从复制原理，以及Redis 的哨兵原理？ 如果让你写一个消息队列，该如何进行架构设计啊？说一下你的思路。 MySQL数据库主从同步怎么实现？ 秒杀模块怎么设计的，如何压测，抗压手段 03 今日头条Java后台研发三面 3.1 一面 concurrent包下面用过哪些？ countdownlatch功能实现 synchronized和lock区别，重入锁thread和runnable的区别 AtomicInteger实现原理(CAS自旋) java并发sleep与wait、notify与notifyAll的区别 如何实现高效的同步链表 java都有哪些加锁方式（synchronized、ReentrantLock、共享锁、读写锁等） 设计模式（工厂模式、单例模式（几种情况）、适配器模式、装饰者模式） maven依赖树，maven的依赖传递，循环依赖 3.2 二面 synchronized和reentrantLock的区别，synchronized用在代码快、方法、静态方法时锁的都是什么? 介绍spring的IOC和AOP，分别如何实现(classloader、动态代理)JVM的内存布局以及垃圾回收原理及过程 讲一下，讲一下CMS垃圾收集器垃圾回收的流程，以及CMS的缺点 redis如何处理分布式服务器并发造成的不一致OSGi的机制spring中bean加载机制，bean生成的具体步骤，ioc注入的方式spring何时创建- applicationContextlistener是监听哪个事件？ 介绍ConcurrentHashMap原理，用的是哪种锁，segment有没可能增大? 解释mysql索引、b树，为啥不用平衡二叉树、红黑树 Zookeeper如何同步配置 3.3 三面 Java线程池ThreadPoolEcecutor参数，基本参数，使用场景 MySQL的ACID讲一下，延伸到隔离级别 dubbo的实现原理，说说RPC的要点 GC停顿原因，如何降低停顿？ JVM如何调优、参数怎么调？ 如何用工具分析jvm状态（visualVM看堆中对象的分配，对象间的引用、是否有内存泄漏，jstack看线程状态、是否死锁等等） 描述一致性hash算法 分布式雪崩场景如何避免? 再谈谈消息队列 04 抖音Java 三面 4.1 一面： hashmap，怎么扩容，怎么处理数据冲突？ 怎么高效率的实现数据迁移？ Linux的共享内存如何实现，大概说了一下。 socket网络编程，说一下TCP的三次握手和四次挥手同步IO和异步IO的区别？ Java GC机制？GC Roots有哪些？ 红黑树讲一下，五个特性，插入删除操作,时间复杂度？ 快排的时间复杂度，最坏情况呢，最好情况呢，堆排序的时间复杂度呢，建堆的复杂度是多少 4.2 二面： 自我介绍，主要讲讲做了什么和擅长什么 设计模式了解哪些？ AtomicInteger怎么实现原子修改的？ ConcurrentHashMap 在Java7和Java8中的区别？ 为什么Java8并发效率更好？什么情况下用HashMap，什么情况用ConcurrentHashMap？ redis数据结构？ redis数据淘汰机制？ 4.3 三面（约五十分钟）： mysql实现事务的原理(MVCC) MySQL数据主从同步是如何实现的？ MySQL索引的实现，innodb的索引，b+树索引是怎么实现的，为什么用b+树做索引节点，一个节点存了多少数据，怎么规定大小，与磁盘页对应。 如果Redis有1亿个key，使用keys命令是否会影响线上服务？ Redis的持久化方式，aod和rdb，具体怎么实现，追加日志和备份文件，底层实现原理的话知道么? 遇到最大困难是什么？怎么克服？ 未来的规划是什么？ 你想问我什么？ 05 百度三面 5.1 百度一面 自我介绍 Java中的多态 为什么要同时重写hashcode和equals Hashmap的原理 Hashmap如何变线程安全，每种方式的优缺点 垃圾回收机制 Jvm的参数你知道的说一下 设计模式了解的说一下啊 手撕一个单例模式 手撕算法：反转单链表 手撕算法：实现类似微博子结构的数据结构，输入一系列父子关系，输出一个类似微博评论的父子结构图 手写java多线程 手写java的soeket编程，服务端和客户端 手撕算法： 爬楼梯，写出状态转移方程 智力题：时针分针什么时候重合 5.2 百度二面（现场） 自我介绍 项目介绍 服务器如何负载均衡，有哪些算法，哪个比较好，一致性哈希原理，怎么避免DDOS攻击请求打到少数机器。 TCP连接中的三次握手和四次挥手，四次挥手的最后一个ack的作用是什么，为什么要time wait，为什么是2msl。 数据库的备份和恢复怎么实现的，主从复制怎么做的，什么时候会出现数据不一致，如何解决。 Linux查看cpu占用率高的进程 手撕算法：给定一个数字三角形，找到从顶部到底部的最小路径和。每一步可以移动到下面一行的相邻数字上。 然后继续在这个问题上扩展 求出最短那条的路径 递归求出所有的路径 设计模式讲一下熟悉的 会不会滥用设计模式 多线程条件变量为什么要在while体里 你遇到什么挫折，怎么应对和处理 5.3 百度三面（现场） 自我介绍 项目介绍 Redis的特点 Redis的持久化怎么做，aof和rdb，有什么区别，有什么优缺点。 Redis使用哨兵部署会有什么问题，我说需要扩容的话还是得集群部署。 说一下JVM内存模型把，有哪些区，分别干什么的 说一下gc算法，分代回收说下 MySQL的引擎讲一下，有什么区别，使用场景呢 分布式事务了解么 反爬虫的机制，有哪些方式 06 蚂蚁中间件团队面试题 6.1 蚂蚁中间件一面： 自我介绍 JVM垃圾回收算法和垃圾回收器有哪些，最新的JDK采用什么算法。 新生代和老年代的回收机制。 讲一下ArrayList和linkedlist的区别，ArrayList与HashMap的扩容方式。 Concurrenthashmap1.8后的改动。 Java中的多线程，以及线程池的增长策略和拒绝策略了解么。 Tomcat的类加载器了解么 Spring的ioc和aop，Springmvc的基本架构，请求流程。 HTTP协议与Tcp有什么区别，http1.0和2.0的区别。 Java的网络编程，讲讲NIO的实现方式，与BIO的区别，以及介绍常用的NIO框架。 索引什么时候会失效变成全表扫描 介绍下分布式的paxos和raft算法 6.2 蚂蚁中间件二面 你在项目中怎么用到并发的。 消息队列的使用场景，谈谈Kafka。 你说了解分布式服务，那么你怎么理解分布式服务。 Dubbo和Spring Clound的区别，以及使用场景。 讲一下docker的实现原理，以及与JVM的区别。 MongoDB、Redis和Memcached的应用场景，各自优势 MongoDB有事务吗 Redis说一下sorted set底层原理 讲讲Netty为什么并发高，相关的核心组件有哪些 6.3 蚂蚁中间件三面 完整的画一个分布式集群部署图，从负载均衡到后端数据库集群。 分布式锁的方案，Redis和Zookeeper哪个好，如果是集群部署，高并发情况下哪个性能更好。 分布式系统的全局id如何实现。 数据库万级变成亿级，你如何来解决。 常见的服务器雪崩是由什么引起的，如何来防范。 异地容灾怎么实现 常用的高并发技术解决方案有哪些，以及对应的解决步骤。 07 京东4面(Java研发） 7.1 一面（基础面：约1小时） 自我介绍，主要讲讲做了什么和擅长什么 springmvc和spring-boot区别 @Autowired的实现原理 Bean的默认作用范围是什么？其他的作用范围？ 索引是什么概念有什么作用？MySQL里主要有哪些索引结构？哈希索引和B+树索引比较？ Java线程池的原理？线程池有哪些？线程池工厂有哪些线程池类型，及其线程池参数是什么？ hashmap原理，处理哈希冲突用的哪种方法？ 还知道什么处理哈希冲突的方法？ Java GC机制？GC Roots有哪些？ Java怎么进行垃圾回收的？什么对象会进老年代？垃圾回收算法有哪些？为什么新生代使用复制算法？ HashMap的时间复杂度？HashMap中Hash冲突是怎么解决的？链表的上一级结构是什么？Java8中的HashMap有什么变化？红黑树需要比较大小才能进行插入，是依据什么进行比较的？其他Hash冲突解决方式？ hash和B+树的区别？分别应用于什么场景？哪个比较好？ 项目里有个数据安全的，aes和md5的区别？详细点 7.2 二面（问数据库较多） 自我介绍 为什么MyISAM查询性能好？ 事务特性（acid） 隔离级别 SQL慢查询的常见优化步骤？ 说下乐观锁，悲观锁（select for update），并写出sql实现 TCP协议的三次握手和四次挥手过程？ 用到过哪些rpc框架 数据库连接池怎么实现 Java web过滤器的生命周期 7.3 三面（综合面；约一个小时） 自我介绍。 ConcurrentHashMap 在Java7和Java8中的区别？为什么Java8并发效率更好？什么情况下用HashMap，什么情况用ConcurrentHashMap？ 加锁有什么机制？ ThreadLocal？应用场景？ 数据库水平切分，垂直切分的设计思路和切分顺序 Redis如何解决key冲突 soa和微服务的区别？ 单机系统演变为分布式系统，会涉及到哪些技术的调整？请从前面负载到后端详细描述。 设计一个秒杀系统？ 7.4 四面（HR面） 你自己最大优势和劣势是什么 平时遇见过什么样的挑战，怎么去克服的 工作中遇见了技术解决不了的问题，你的应对思路？ 你的兴趣爱好？ 未来的职业规划是什么？ 08 美团java高级开发3面 8.1 美团一面 自我介绍 项目介绍 Redis介绍 了解redis源码么 了解redis集群么 Hashmap的原理，增删的情况后端数据结构如何位移 hashmap容量为什么是2的幂次 hashset的源码 object类你知道的方法 hashcode和equals 你重写过hashcode和equals么，要注意什么 假设现在一个学生类，有学号和姓名，我现在hashcode方法重写的时候，只将学号参与计算，会出现什么情况？ 往set里面put一个学生对象，然后将这个学生对象的学号改了，再put进去，可以放进set么？并讲出为什么 Redis的持久化？有哪些方式，原理是什么？ 讲一下稳定的排序算法和不稳定的排序算法 讲一下快速排序的思想 8.2 美团二面 自我介绍 讲一下数据的acid 什么是一致性 什么是隔离性 Mysql的隔离级别 每个隔离级别是如何解决 Mysql要加上nextkey锁，语句该怎么写 Java的内存模型，垃圾回收 线程池的参数 每个参数解释一遍 然后面试官设置了每个参数，给了是个线程，让描述出完整的线程池执行的流程 Nio和IO有什么区别 Nio和aio的区别 Spring的aop怎么实现 Spring的aop有哪些实现方式 动态代理的实现方式和区别 Linux了解么 怎么查看系统负载 Cpu load的参数如果为4，描述一下现在系统处于什么情况 Linux，查找磁盘上最大的文件的命令 Linux，如何查看系统日志文件 手撕算法：leeetcode原题 22，Generate Parentheses，给定 n 对括号，请- 写一个函数以将其生成新的括号组合，并返回所有组合结果。 8.3 美团三面（现场） 三面没怎么问技术，问了很多技术管理方面的问题 自我介绍 项目介绍 怎么管理项目成员 当意见不一致时，如何沟通并说服开发成员，并举个例子 怎么保证项目的进度 数据库的索引原理 非聚簇索引和聚簇索引 索引的使用注意事项 联合索引 从底层解释最左匹配原则 Mysql对联合索引有优化么？会自动调整顺序么？哪个版本开始优化？ Redis的应用 Redis的持久化的方式和原理 技术选型，一个新技术和一个稳定的旧技术，你会怎么选择，选择的考虑有哪些 说你印象最深的美团点评技术团队的三篇博客 最近在学什么新技术 你是怎么去接触一门新技术的 会看哪些书 怎么选择要看的书 最后 由于篇幅限制，小编在此截出几张知识讲解的图解，有需要的程序猿（媛）可以点赞后戳这里免费领取全部资料获取哦 子 怎么保证项目的进度 数据库的索引原理 非聚簇索引和聚簇索引 索引的使用注意事项 联合索引 从底层解释最左匹配原则 Mysql对联合索引有优化么？会自动调整顺序么？哪个版本开始优化？ Redis的应用 Redis的持久化的方式和原理 技术选型，一个新技术和一个稳定的旧技术，你会怎么选择，选择的考虑有哪些 说你印象最深的美团点评技术团队的三篇博客 最近在学什么新技术 你是怎么去接触一门新技术的 会看哪些书 怎么选择要看的书 最后 由于篇幅限制，小编在此截出几张知识讲解的图解，有需要的程序猿（媛）可以点赞后戳这里免费领取全部资料获取哦 [外链图片转存中…(img-SFREePIJ-1624074891834)] [外链图片转存中…(img-5kF3pkiC-1624074891834)] [外链图片转存中…(img-HDVXfOMR-1624074891835)] [外链图片转存中…(img-RyaAC5jy-1624074891836)] [外链图片转存中…(img-iV32C5Ok-1624074891837)] 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_57285325/article/details/118051767。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...联系我们，我们将第一时间进行核实并删除相应内容。 1、发布订阅模式 1.1 列表的局限 通过队列的 rpush 和 lpop 可以实现消息队列(队尾进队头出)，但是消费者需要不停地调用 lpop 查看 List 中是否有等待处理的消息(比如写一个 while 循环)。 为了减少通信的消耗，可以 sleep()一段时间再消费，但是会有两个问题: 1、如果生产者生产消息的速度远大于消费者消费消息的速度，List 会占用大量的内存。 2、消息的实时性降低。 list 还提供了一个阻塞的命令:blpop，没有任何元素可以弹出的时候，连接会被阻塞。 基于 list 实现的消息队列，不支持一对多的消息分发。 1.2 发布订阅模式 除了通过 list 实现消息队列之外，Redis 还提供了一组命令实现发布/订阅模式。 这种方式，发送者和接收者没有直接关联(实现了解耦)，接收者也不需要持续尝试获取消息。 1.2.1 订阅频道 首先，我们有很多的频道(channel)，我们也可以把这个频道理解成 queue。订阅者可以订阅一个或者多个频道。消息的发布者(生产者)可以给指定的频道发布消息。只要有消息到达了频道，所有订阅了这个频道的订阅者都会收到这条消息。 需要注意的注意是，发出去的消息不会被持久化，因为它已经从队列里面移除了，所以消费者只能收到它开始订阅这个频道之后发布的消息。 下面我们来看一下发布订阅命令的使用方法。 订阅者订阅频道：可以一次订阅多个，比如这个客户端订阅了 3 个频道。 subscribe channel-1 channel-2 channel-3 发布者可以向指定频道发布消息(并不支持一次向多个频道发送消息): publish channel-1 2673 取消订阅(不能在订阅状态下使用): unsubscribe channel-1 1.2.2 按规则(Pattern)订阅频道 支持 ?和 占位符。? 代表一个字符， 代表 0 个或者多个字符。 消费端 1，关注运动信息: psubscribe sport 消费端 2，关注所有新闻: psubscribe news 消费端 3，关注天气新闻: psubscribe news-weather 生产者，发布 3 条信息 publish news-sport yaoming publish news-music jaychou publish news-weather rain 2、Redis 事务 2.1 为什么要用事务 我们知道 Redis 的单个命令是原子性的(比如 get set mget mset)，如果涉及到多个命令的时候，需要把多个命令作为一个不可分割的处理序列，就需要用到事务。 例如我们之前说的用 setnx 实现分布式锁，我们先 set，然后设置对 key 设置 expire， 防止 del 发生异常的时候锁不会被释放，业务处理完了以后再 del，这三个动作我们就希望它们作为一组命令执行。 Redis 的事务有两个特点: 1、按进入队列的顺序执行。 2、不会受到其他客户端的请求的影响。 Redis 的事务涉及到四个命令:multi(开启事务)，exec(执行事务)，discard (取消事务)，watch(监视) 2.2 事务的用法 案例场景:tom 和 mic 各有 1000 元，tom 需要向 mic 转账 100 元。tom 的账户余额减少 100 元，mic 的账户余额增加 100 元。 通过 multi 的命令开启事务。事务不能嵌套，多个 multi 命令效果一样。 multi 执行后，客户端可以继续向服务器发送任意多条命令，这些命令不会立即被执行，而是被放到一个队列中，当 exec 命令被调用时，所有队列中的命令才会被执行。 通过 exec 的命令执行事务。如果没有执行 exec，所有的命令都不会被执行。如果中途不想执行事务了，怎么办? 可以调用 discard 可以清空事务队列，放弃执行。 2.3 watch命令 在 Redis 中还提供了一个 watch 命令。 它可以为 Redis 事务提供 CAS 乐观锁行为(Check and Set / Compare and Swap)，也就是多个线程更新变量的时候，会跟原值做比较，只有它没有被其他线程修改的情况下，才更新成新的值。 我们可以用 watch 监视一个或者多个 key，如果开启事务之后，至少有一个被监视 key 键在 exec 执行之前被修改了，那么整个事务都会被取消(key 提前过期除外)。可以用 unwatch 取消。 2.4 事务可能遇到的问题 我们把事务执行遇到的问题分成两种，一种是在执行 exec 之前发生错误，一种是在执行 exec 之后发生错误。 2.4.1 在执行 exec 之前发生错误 比如：入队的命令存在语法错误，包括参数数量，参数名等等(编译器错误)。 在这种情况下事务会被拒绝执行，也就是队列中所有的命令都不会得到执行。 2.4.2 在执行 exec 之后发生错误 比如，类型错误，比如对 String 使用了 Hash 的命令，这是一种运行时错误。 最后我们发现 set k1 1 的命令是成功的，也就是在这种发生了运行时异常的情况下， 只有错误的命令没有被执行，但是其他命令没有受到影响。 这个显然不符合我们对原子性的定义，也就是我们没办法用 Redis 的这种事务机制来实现原子性，保证数据的一致。 3、Lua脚本 Lua/ˈluə/是一种轻量级脚本语言，它是用 C 语言编写的，跟数据的存储过程有点类似。 使用 Lua 脚本来执行 Redis 命令的好处: 1、一次发送多个命令，减少网络开销。 2、Redis 会将整个脚本作为一个整体执行，不会被其他请求打断，保持原子性。 3、对于复杂的组合命令，我们可以放在文件中，可以实现程序之间的命令集复用。 3.1 在Redis中调用Lua脚本 使用 eval /ɪ’væl/ 方法，语法格式: redis> eval lua-script key-num [key1 key2 key3 ....] [value1 value2 value3 ....] eval代表执行Lua语言的命令。 lua-script代表Lua语言脚本内容。 key-num表示参数中有多少个key，需要注意的是Redis中key是从1开始的，如果没有key的参数，那么写0。 [key1key2key3…]是key作为参数传递给Lua语言，也可以不填，但是需要和key-num的个数对应起来。 [value1 value2 value3 …]这些参数传递给 Lua 语言，它们是可填可不填的。 示例，返回一个字符串，0 个参数: redis> eval "return 'Hello World'" 0 3.2 在Lua脚本中调用Redis命令 使用 redis.call(command, key [param1, param2…])进行操作。语法格式: redis> eval "redis.call('set',KEYS[1],ARGV[1])" 1 lua-key lua-value command是命令，包括set、get、del等。 key是被操作的键。 param1,param2…代表给key的参数。 注意跟 Java 不一样，定义只有形参，调用只有实参。 Lua 是在调用时用 key 表示形参，argv 表示参数值(实参)。 3.2.1 设置键值对 在 Redis 中调用 Lua 脚本执行 Redis 命令 redis> eval "return redis.call('set',KEYS[1],ARGV[1])" 1 gupao 2673 redis> get gupao 以上命令等价于 set gupao 2673。 在 redis-cli 中直接写 Lua 脚本不够方便，也不能实现编辑和复用，通常我们会把脚本放在文件里面，然后执行这个文件。 3.2.2 在 Redis 中调用 Lua 脚本文件中的命令，操作 Redis 创建 Lua 脚本文件: cd /usr/local/soft/redis5.0.5/src vim gupao.lua Lua 脚本内容，先设置，再取值: cd /usr/local/soft/redis5.0.5/src redis-cli --eval gupao.lua 0 得到返回值: root@localhost src] redis-cli --eval gupao.lua 0 "lua666" 3.2.3 案例:对 IP 进行限流 需求：在 X 秒内只能访问 Y 次。 设计思路：用 key 记录 IP，用 value 记录访问次数。 拿到 IP 以后，对 IP+1。如果是第一次访问，对 key 设置过期时间(参数 1)。否则判断次数，超过限定的次数(参数 2)，返回 0。如果没有超过次数则返回 1。超过时间， key 过期之后，可以再次访问。 KEY[1]是 IP， ARGV[1]是过期时间 X，ARGV[2]是限制访问的次数 Y。 -- ip_limit.lua-- IP 限流，对某个 IP 频率进行限制 ，6 秒钟访问 10 次 local num=redis.call('incr',KEYS[1])if tonumber(num)==1 thenredis.call('expire',KEYS[1],ARGV[1])return 1elseif tonumber(num)>tonumber(ARGV[2]) thenreturn 0 elsereturn 1 end 6 秒钟内限制访问 10 次，调用测试(连续调用 10 次): ./redis-cli --eval "ip_limit.lua" app:ip:limit:192.168.8.111 , 6 10 app:ip:limit:192.168.8.111 是 key 值 ，后面是参数值，中间要加上一个空格和一个逗号，再加上一个空格 。 即:./redis-cli –eval [lua 脚本] [key…]空格,空格[args…] 多个参数之间用一个空格分割 。 代码:LuaTest.java 3.2.4 缓存 Lua 脚本 为什么要缓存 在脚本比较长的情况下，如果每次调用脚本都需要把整个脚本传给 Redis 服务端， 会产生比较大的网络开销。为了解决这个问题，Redis 提供了 EVALSHA 命令，允许开发者通过脚本内容的 SHA1 摘要来执行脚本。 如何缓存 Redis 在执行 script load 命令时会计算脚本的 SHA1 摘要并记录在脚本缓存中，执行 EVALSHA 命令时 Redis 会根据提供的摘要从脚本缓存中查找对应的脚本内容，如果找到了则执行脚本，否则会返回错误:“NOSCRIPT No matching script. Please use EVAL.” 127.0.0.1:6379> script load "return 'Hello World'" "470877a599ac74fbfda41caa908de682c5fc7d4b"127.0.0.1:6379> evalsha "470877a599ac74fbfda41caa908de682c5fc7d4b" 0 "Hello World" 3.2.5 自乘案例 Redis 有 incrby 这样的自增命令，但是没有自乘，比如乘以 3，乘以 5。我们可以写一个自乘的运算，让它乘以后面的参数： local curVal = redis.call("get", KEYS[1]) if curVal == false thencurVal = 0 elsecurVal = tonumber(curVal)endcurVal = curVal tonumber(ARGV[1]) redis.call("set", KEYS[1], curVal) return curVal 把这个脚本变成单行，语句之间使用分号隔开 local curVal = redis.call("get", KEYS[1]); if curVal == false then curVal = 0 else curVal = tonumber(curVal) end; curVal = curVal tonumber(ARGV[1]); redis.call("set", KEYS[1], curVal); return curVal script load ‘命令’ 127.0.0.1:6379> script load 'local curVal = redis.call("get", KEYS[1]); if curVal == false then curVal = 0 else curVal = tonumber(curVal) end; curVal = curVal tonumber(ARGV[1]); redis.call("set", KEYS[1], curVal); return curVal' "be4f93d8a5379e5e5b768a74e77c8a4eb0434441" 调用: 127.0.0.1:6379> set num 2OK127.0.0.1:6379> evalsha be4f93d8a5379e5e5b768a74e77c8a4eb0434441 1 num 6 (integer) 12 3.2.6 脚本超时 Redis 的指令执行本身是单线程的，这个线程还要执行客户端的 Lua 脚本，如果 Lua 脚本执行超时或者陷入了死循环，是不是没有办法为客户端提供服务了呢? eval 'while(true) do end' 0 为了防止某个脚本执行时间过长导致 Redis 无法提供服务，Redis 提供了 lua-time-limit 参数限制脚本的最长运行时间，默认为 5 秒钟。 lua-time-limit 5000(redis.conf 配置文件中) 当脚本运行时间超过这一限制后，Redis 将开始接受其他命令但不会执行(以确保脚本的原子性，因为此时脚本并没有被终止)，而是会返回“BUSY”错误。 Redis 提供了一个 script kill 的命令来中止脚本的执行。新开一个客户端: script kill 如果当前执行的 Lua 脚本对 Redis 的数据进行了修改(SET、DEL 等)，那么通过 script kill 命令是不能终止脚本运行的。 127.0.0.1:6379> eval "redis.call('set','gupao','666') while true do end" 0 因为要保证脚本运行的原子性，如果脚本执行了一部分终止，那就违背了脚本原子性的要求。最终要保证脚本要么都执行，要么都不执行。 127.0.0.1:6379> script kill(error) UNKILLABLE Sorry the script already executed write commands against the dataset. You can either wait the scripttermination or kill the server in a hard way using the SHUTDOWN NOSAVE command. 遇到这种情况，只能通过 shutdown nosave 命令来强行终止 redis。 shutdown nosave 和 shutdown 的区别在于 shutdown nosave 不会进行持久化操作，意味着发生在上一次快照后的数据库修改都会丢失。 4、Redis 为什么这么快? 4.1 Redis到底有多快？ 根据官方的数据，Redis 的 QPS 可以达到 10 万左右(每秒请求数)。 4.2 Redis为什么这么快? 总结:1)纯内存结构、2)单线程、3)多路复用 4.2.1 内存 KV 结构的内存数据库，时间复杂度 O(1)。 第二个，要实现这么高的并发性能，是不是要创建非常多的线程? 恰恰相反，Redis 是单线程的。 4.2.2 单线程 单线程有什么好处呢? 1、没有创建线程、销毁线程带来的消耗 2、避免了上线文切换导致的 CPU 消耗 3、避免了线程之间带来的竞争问题，例如加锁释放锁死锁等等 4.2.3 异步非阻塞 异步非阻塞 I/O，多路复用处理并发连接。 4.3 Redis为什么是单线程的? 不是白白浪费了 CPU 的资源吗? 因为单线程已经够用了，CPU 不是 redis 的瓶颈。Redis 的瓶颈最有可能是机器内存或者网络带宽。既然单线程容易实现，而且 CPU 不会成为瓶颈，那就顺理成章地采用单线程的方案了。 4.4 单线程为什么这么快? 因为 Redis 是基于内存的操作，我们先从内存开始说起。 4.4.1 虚拟存储器(虚拟内存 Vitual Memory) 名词解释:主存:内存;辅存:磁盘(硬盘) 计算机主存(内存)可看作一个由 M 个连续的字节大小的单元组成的数组，每个字节有一个唯一的地址，这个地址叫做物理地址(PA)。早期的计算机中，如果 CPU 需要内存，使用物理寻址，直接访问主存储器。 这种方式有几个弊端: 1、在多用户多任务操作系统中，所有的进程共享主存，如果每个进程都独占一块物理地址空间，主存很快就会被用完。我们希望在不同的时刻，不同的进程可以共用同一块物理地址空间。 2、如果所有进程都是直接访问物理内存，那么一个进程就可以修改其他进程的内存数据，导致物理地址空间被破坏，程序运行就会出现异常。 为了解决这些问题，我们就想了一个办法，在 CPU 和主存之间增加一个中间层。CPU 不再使用物理地址访问，而是访问一个虚拟地址，由这个中间层把地址转换成物理地址，最终获得数据。这个中间层就叫做虚拟存储器(Virtual Memory)。 具体的操作如下所示: 在每一个进程开始创建的时候，都会分配一段虚拟地址，然后通过虚拟地址和物理地址的映射来获取真实数据，这样进程就不会直接接触到物理地址，甚至不知道自己调用的哪块物理地址的数据。 目前，大多数操作系统都使用了虚拟内存，如 Windows 系统的虚拟内存、Linux 系统的交换空间等等。Windows 的虚拟内存(pagefile.sys)是磁盘空间的一部分。 在 32 位的系统上，虚拟地址空间大小是 2^32bit=4G。在 64 位系统上，最大虚拟地址空间大小是多少? 是不是 2^64bit=10241014TB=1024PB=16EB?实际上没有用到 64 位，因为用不到这么大的空间，而且会造成很大的系统开销。Linux 一般用低 48 位来表示虚拟地址空间，也就是 2^48bit=256T。 cat /proc/cpuinfo address sizes : 40 bits physical, 48 bits virtual 实际的物理内存可能远远小于虚拟内存的大小。 总结：引入虚拟内存，可以提供更大的地址空间，并且地址空间是连续的，使得程序编写、链接更加简单。并且可以对物理内存进行隔离，不同的进程操作互不影响。还可以通过把同一块物理内存映射到不同的虚拟地址空间实现内存共享。 4.4.2 用户空间和内核空间 为了避免用户进程直接操作内核，保证内核安全，操作系统将虚拟内存划分为两部分，一部分是内核空间(Kernel-space)/ˈkɜːnl /，一部分是用户空间(User-space)。 内核是操作系统的核心，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的权限。 内核空间中存放的是内核代码和数据，而进程的用户空间中存放的是用户程序的代码和数据。不管是内核空间还是用户空间，它们都处于虚拟空间中，都是对物理地址的映射。 在 Linux 系统中, 内核进程和用户进程所占的虚拟内存比例是 1:3。 当进程运行在内核空间时就处于内核态，而进程运行在用户空间时则处于用户态。 进程在内核空间以执行任意命令，调用系统的一切资源;在用户空间只能执行简单的运算，不能直接调用系统资源，必须通过系统接口(又称 system call)，才能向内核发出指令。 top 命令: us 代表 CPU 消耗在 User space 的时间百分比; sy 代表 CPU 消耗在 Kernel space 的时间百分比。 4.4.3 进程切换(上下文切换) 多任务操作系统是怎么实现运行远大于 CPU 数量的任务个数的? 当然，这些任务实际上并不是真的在同时运行，而是因为系统通过时间片分片算法，在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。 为了控制进程的执行，内核必须有能力挂起正在 CPU 上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。 什么叫上下文? 在每个任务运行前，CPU 都需要知道任务从哪里加载、又从哪里开始运行，也就是说，需要系统事先帮它设置好 CPU 寄存器和程序计数器(ProgramCounter)，这个叫做 CPU 的上下文。 而这些保存下来的上下文，会存储在系统内核中，并在任务重新调度执行时再次加载进来。这样就能保证任务原来的状态不受影响，让任务看起来还是连续运行。 在切换上下文的时候，需要完成一系列的工作，这是一个很消耗资源的操作。 4.4.4 进程的阻塞 正在运行的进程由于提出系统服务请求(如 I/O 操作)，但因为某种原因未得到操作系统的立即响应，该进程只能把自己变成阻塞状态，等待相应的事件出现后才被唤醒。 进程在阻塞状态不占用 CPU 资源。 4.4.5 文件描述符 FD Linux 系统将所有设备都当作文件来处理，而 Linux 用文件描述符来标识每个文件对象。 文件描述符(File Descriptor)是内核为了高效管理已被打开的文件所创建的索引，用于指向被打开的文件，所有执行 I/O 操作的系统调用都通过文件描述符;文件描述符是一个简单的非负整数，用以表明每个被进程打开的文件。 Linux 系统里面有三个标准文件描述符。 0:标准输入(键盘); 1:标准输出(显示器); 2:标准错误输出(显示器)。 4.4.6 传统 I/O 数据拷贝 以读操作为例: 当应用程序执行 read 系统调用读取文件描述符(FD)的时候，如果这块数据已经存在于用户进程的页内存中，就直接从内存中读取数据。如果数据不存在，则先将数据从磁盘加载数据到内核缓冲区中，再从内核缓冲区拷贝到用户进程的页内存中。(两次拷贝，两次 user 和 kernel 的上下文切换)。 I/O 的阻塞到底阻塞在哪里? 4.4.7 Blocking I/O 当使用 read 或 write 对某个文件描述符进行过读写时，如果当前 FD 不可读，系统就不会对其他的操作做出响应。从设备复制数据到内核缓冲区是阻塞的，从内核缓冲区拷贝到用户空间，也是阻塞的，直到 copy complete，内核返回结果，用户进程才解除 block 的状态。 为了解决阻塞的问题，我们有几个思路。 1、在服务端创建多个线程或者使用线程池，但是在高并发的情况下需要的线程会很多，系统无法承受，而且创建和释放线程都需要消耗资源。 2、由请求方定期轮询，在数据准备完毕后再从内核缓存缓冲区复制数据到用户空间 (非阻塞式 I/O)，这种方式会存在一定的延迟。 能不能用一个线程处理多个客户端请求? 4.4.8 I/O 多路复用(I/O Multiplexing) I/O 指的是网络 I/O。 多路指的是多个 TCP 连接(Socket 或 Channel)。 复用指的是复用一个或多个线程。它的基本原理就是不再由应用程序自己监视连接，而是由内核替应用程序监视文件描述符。 客户端在操作的时候，会产生具有不同事件类型的 socket。在服务端，I/O 多路复用程序(I/O Multiplexing Module)会把消息放入队列中，然后通过文件事件分派器(File event Dispatcher)，转发到不同的事件处理器中。 多路复用有很多的实现，以 select 为例，当用户进程调用了多路复用器，进程会被阻塞。内核会监视多路复用器负责的所有 socket，当任何一个 socket 的数据准备好了，多路复用器就会返回。这时候用户进程再调用 read 操作，把数据从内核缓冲区拷贝到用户空间。 所以，I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符，而这些文件描述符(套接字描述符)其中的任意一个进入读就绪(readable)状态，select() 函数就可以返回。 Redis 的多路复用， 提供了 select, epoll, evport, kqueue 几种选择，在编译的时 候来选择一种。 evport 是 Solaris 系统内核提供支持的; epoll 是 LINUX 系统内核提供支持的; kqueue 是 Mac 系统提供支持的; select 是 POSIX 提供的，一般的操作系统都有支撑(保底方案); 源码 ae_epoll.c、ae_select.c、ae_kqueue.c、ae_evport.c 5、内存回收 Reids 所有的数据都是存储在内存中的，在某些情况下需要对占用的内存空间进行回 收。内存回收主要分为两类，一类是 key 过期，一类是内存使用达到上限(max_memory) 触发内存淘汰。 5.1 过期策略 要实现 key 过期，我们有几种思路。 5.1.1 定时过期(主动淘汰) 每个设置过期时间的 key 都需要创建一个定时器，到过期时间就会立即清除。该策略可以立即清除过期的数据，对内存很友好;但是会占用大量的 CPU 资源去处理过期的 数据，从而影响缓存的响应时间和吞吐量。 5.1.2 惰性过期(被动淘汰) 只有当访问一个 key 时，才会判断该 key 是否已过期，过期则清除。该策略可以最大化地节省 CPU 资源，却对内存非常不友好。极端情况可能出现大量的过期 key 没有再次被访问，从而不会被清除，占用大量内存。 例如 String，在 getCommand 里面会调用 expireIfNeeded server.c expireIfNeeded(redisDb db, robj key) 第二种情况，每次写入 key 时，发现内存不够，调用 activeExpireCycle 释放一部分内存。 expire.c activeExpireCycle(int type) 5.1.3 定期过期 源码:server.h typedef struct redisDb { dict dict; / 所有的键值对 /dict expires; / 设置了过期时间的键值对 /dict blocking_keys; dict ready_keys; dict watched_keys; int id;long long avg_ttl;list defrag_later; } redisDb; 每隔一定的时间，会扫描一定数量的数据库的 expires 字典中一定数量的 key，并清除其中已过期的 key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时，可以在不同情况下使得 CPU 和内存资源达到最优的平衡效果。 Redis 中同时使用了惰性过期和定期过期两种过期策略。 5.2 淘汰策略 Redis 的内存淘汰策略，是指当内存使用达到最大内存极限时，需要使用淘汰算法来决定清理掉哪些数据，以保证新数据的存入。 5.2.1 最大内存设置 redis.conf 参数配置: maxmemory <bytes> 如果不设置 maxmemory 或者设置为 0，64 位系统不限制内存，32 位系统最多使用 3GB 内存。 动态修改: redis> config set maxmemory 2GB 到达最大内存以后怎么办? 5.2.2 淘汰策略 https://redis.io/topics/lru-cache redis.conf maxmemory-policy noeviction 先从算法来看: LRU，Least Recently Used:最近最少使用。判断最近被使用的时间，目前最远的数据优先被淘汰。 LFU，Least Frequently Used，最不常用，4.0 版本新增。 random，随机删除。 如果没有符合前提条件的 key 被淘汰，那么 volatile-lru、volatile-random、 volatile-ttl 相当于 noeviction(不做内存回收)。 动态修改淘汰策略: redis> config set maxmemory-policy volatile-lru 建议使用 volatile-lru，在保证正常服务的情况下，优先删除最近最少使用的 key。 5.2.3 LRU 淘汰原理 问题：如果基于传统 LRU 算法实现 Redis LRU 会有什么问题? 需要额外的数据结构存储，消耗内存。 Redis LRU 对传统的 LRU 算法进行了改良，通过随机采样来调整算法的精度。如果淘汰策略是 LRU，则根据配置的采样值 maxmemory_samples(默认是 5 个), 随机从数据库中选择 m 个 key, 淘汰其中热度最低的 key 对应的缓存数据。所以采样参数m配置的数值越大, 就越能精确的查找到待淘汰的缓存数据,但是也消耗更多的CPU计算,执行效率降低。 问题：如何找出热度最低的数据? Redis 中所有对象结构都有一个 lru 字段, 且使用了 unsigned 的低 24 位，这个字段用来记录对象的热度。对象被创建时会记录 lru 值。在被访问的时候也会更新 lru 的值。 但是不是获取系统当前的时间戳，而是设置为全局变量 server.lruclock 的值。 源码：server.h typedef struct redisObject {unsigned type:4;unsigned encoding:4;unsigned lru:LRU_BITS;int refcount;void ptr; } robj; server.lruclock 的值怎么来的? Redis 中有个定时处理的函数 serverCron，默认每 100 毫秒调用函数 updateCachedTime 更新一次全局变量的 server.lruclock 的值，它记录的是当前 unix 时间戳。 源码:server.c void updateCachedTime(void) { time_t unixtime = time(NULL); atomicSet(server.unixtime,unixtime); server.mstime = mstime();​struct tm tm; localtime_r(&server.unixtime,&tm);server.daylight_active = tm.tm_isdst; } 问题:为什么不获取精确的时间而是放在全局变量中?不会有延迟的问题吗? 这样函数 lookupKey 中更新数据的 lru 热度值时,就不用每次调用系统函数 time，可以提高执行效率。 OK，当对象里面已经有了 LRU 字段的值，就可以评估对象的热度了。 函数 estimateObjectIdleTime 评估指定对象的 lru 热度，思想就是对象的 lru 值和全局的 server.lruclock 的差值越大(越久没有得到更新)，该对象热度越低。 源码 evict.c / Given an object returns the min number of milliseconds the object was never requested, using an approximated LRU algorithm. /unsigned long long estimateObjectIdleTime(robj o) {unsigned long long lruclock = LRU_CLOCK(); if (lruclock >= o->lru) {return (lruclock - o->lru) LRU_CLOCK_RESOLUTION; } else {return (lruclock + (LRU_CLOCK_MAX - o->lru)) LRU_CLOCK_RESOLUTION;} } server.lruclock 只有 24 位，按秒为单位来表示才能存储 194 天。当超过 24bit 能表 示的最大时间的时候，它会从头开始计算。 server.h define LRU_CLOCK_MAX ((1<<LRU_BITS)-1) / Max value of obj->lru / 在这种情况下，可能会出现对象的 lru 大于 server.lruclock 的情况，如果这种情况 出现那么就两个相加而不是相减来求最久的 key。 为什么不用常规的哈希表+双向链表的方式实现?需要额外的数据结构，消耗资源。而 Redis LRU 算法在 sample 为 10 的情况下，已经能接近传统 LRU 算法了。 问题:除了消耗资源之外，传统 LRU 还有什么问题? 如图，假设 A 在 10 秒内被访问了 5 次，而 B 在 10 秒内被访问了 3 次。因为 B 最后一次被访问的时间比 A 要晚，在同等的情况下，A 反而先被回收。 问题:要实现基于访问频率的淘汰机制，怎么做? 5.2.4 LFU server.h typedef struct redisObject {unsigned type:4;unsigned encoding:4;unsigned lru:LRU_BITS;int refcount;void ptr; } robj; 当这 24 bits 用作 LFU 时，其被分为两部分: 高 16 位用来记录访问时间(单位为分钟，ldt，last decrement time) 低 8 位用来记录访问频率，简称 counter(logc，logistic counter) counter 是用基于概率的对数计数器实现的，8 位可以表示百万次的访问频率。 对象被读写的时候，lfu 的值会被更新。 db.c——lookupKey void updateLFU(robj val) {unsigned long counter = LFUDecrAndReturn(val); counter = LFULogIncr(counter);val->lru = (LFUGetTimeInMinutes()<<8) | counter;} 增长的速率由，lfu-log-factor 越大，counter 增长的越慢 redis.conf 配置文件。 lfu-log-factor 10 如果计数器只会递增不会递减，也不能体现对象的热度。没有被访问的时候，计数器怎么递减呢? 减少的值由衰减因子 lfu-decay-time(分钟)来控制，如果值是 1 的话，N 分钟没有访问就要减少 N。 redis.conf 配置文件 lfu-decay-time 1 6、持久化机制 https://redis.io/topics/persistence Redis 速度快，很大一部分原因是因为它所有的数据都存储在内存中。如果断电或者宕机，都会导致内存中的数据丢失。为了实现重启后数据不丢失，Redis 提供了两种持久化的方案，一种是 RDB 快照(Redis DataBase)，一种是 AOF(Append Only File)。 6.1 RDB RDB 是 Redis 默认的持久化方案。当满足一定条件的时候，会把当前内存中的数据写入磁盘，生成一个快照文件 dump.rdb。Redis 重启会通过加载 dump.rdb 文件恢复数据。 什么时候写入 rdb 文件? 6.1.1 RDB 触发 1、自动触发 a)配置规则触发。 redis.conf， SNAPSHOTTING，其中定义了触发把数据保存到磁盘的触发频率。 如果不需要 RDB 方案，注释 save 或者配置成空字符串""。 save 900 1 900 秒内至少有一个 key 被修改(包括添加) save 300 10 400 秒内至少有 10 个 key 被修改save 60 10000 60 秒内至少有 10000 个 key 被修改 注意上面的配置是不冲突的，只要满足任意一个都会触发。 RDB 文件位置和目录: 文件路径，dir ./ 文件名称dbfilename dump.rdb 是否是LZF压缩rdb文件 rdbcompression yes 开启数据校验 rdbchecksum yes 问题：为什么停止 Redis 服务的时候没有 save，重启数据还在? RDB 还有两种触发方式: b)shutdown 触发，保证服务器正常关闭。 c)flushall，RDB 文件是空的，没什么意义(删掉 dump.rdb 演示一下)。 2、手动触发 如果我们需要重启服务或者迁移数据，这个时候就需要手动触 RDB 快照保存。Redis 提供了两条命令: a)save save 在生成快照的时候会阻塞当前 Redis 服务器， Redis 不能处理其他命令。如果内存中的数据比较多，会造成 Redis 长时间的阻塞。生产环境不建议使用这个命令。 为了解决这个问题，Redis 提供了第二种方式。 执行 bgsave 时，Redis 会在后台异步进行快照操作，快照同时还可以响应客户端请求。 具体操作是 Redis 进程执行 fork 操作创建子进程(copy-on-write)，RDB 持久化过程由子进程负责，完成后自动结束。它不会记录 fork 之后后续的命令。阻塞只发生在 fork 阶段，一般时间很短。 用 lastsave 命令可以查看最近一次成功生成快照的时间。 6.1.2 RDB 数据的恢复(演示) 1、shutdown 持久化添加键值 添加键值 redis> set k1 1 redis> set k2 2 redis> set k3 3 redis> set k4 4 redis> set k5 5 停服务器，触发 save redis> shutdown 备份 dump.rdb 文件 cp dump.rdb dump.rdb.bak 启动服务器 /usr/local/soft/redis-5.0.5/src/redis-server /usr/local/soft/redis-5.0.5/redis.conf 啥都没有: redis> keys 3、通过备份文件恢复数据停服务器 redis> shutdown 重命名备份文件 mv dump.rdb.bak dump.rdb 启动服务器 /usr/local/soft/redis-5.0.5/src/redis-server /usr/local/soft/redis-5.0.5/redis.conf 查看数据 redis> keys 6.1.3 RDB 文件的优势和劣势 一、优势 1.RDB 是一个非常紧凑(compact)的文件，它保存了 redis 在某个时间点上的数据集。这种文件非常适合用于进行备份和灾难恢复。 2.生成 RDB 文件的时候，redis 主进程会 fork()一个子进程来处理所有保存工作，主进程不需要进行任何磁盘 IO 操作。 3.RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。 二、劣势 1、RDB 方式数据没办法做到实时持久化/秒级持久化。因为 bgsave 每次运行都要执行 fork 操作创建子进程，频繁执行成本过高。 2、在一定间隔时间做一次备份，所以如果 redis 意外 down 掉的话，就会丢失最后一次快照之后的所有修改(数据有丢失)。 如果数据相对来说比较重要，希望将损失降到最小，则可以使用 AOF 方式进行持久化。 6.2 AOF Append Only File AOF:Redis 默认不开启。AOF 采用日志的形式来记录每个写操作，并追加到文件中。开启后，执行更改 Redis 数据的命令时，就会把命令写入到 AOF 文件中。 Redis 重启时会根据日志文件的内容把写指令从前到后执行一次以完成数据的恢复工作。 6.2.1 AOF 配置 配置文件 redis.conf 开关appendonly no 文件名appendfilename "appendonly.aof" AOF 文件的内容(vim 查看): 问题：数据都是实时持久化到磁盘吗? 由于操作系统的缓存机制，AOF 数据并没有真正地写入硬盘，而是进入了系统的硬盘缓存。什么时候把缓冲区的内容写入到 AOF 文件? 问题:文件越来越大，怎么办? 由于 AOF 持久化是 Redis 不断将写命令记录到 AOF 文件中，随着 Redis 不断的进行，AOF 的文件会越来越大，文件越大，占用服务器内存越大以及 AOF 恢复要求时间越长。 例如 set xxx 666，执行 1000 次，结果都是 xxx=666。 为了解决这个问题，Redis 新增了重写机制，当 AOF 文件的大小超过所设定的阈值时，Redis 就会启动 AOF 文件的内容压缩，只保留可以恢复数据的最小指令集。 可以使用命令 bgrewriteaof 来重写。 AOF 文件重写并不是对原文件进行重新整理，而是直接读取服务器现有的键值对，然后用一条命令去代替之前记录这个键值对的多条命令，生成一个新的文件后去替换原来的 AOF 文件。 重写触发机制 auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb 问题:重写过程中，AOF 文件被更改了怎么办? 另外有两个与 AOF 相关的参数: 6.2.2 AOF 数据恢复 重启 Redis 之后就会进行 AOF 文件的恢复。 6.2.3 AOF 优势与劣势 优点: 1、AOF 持久化的方法提供了多种的同步频率，即使使用默认的同步频率每秒同步一次，Redis 最多也就丢失 1 秒的数据而已。 缺点: 1、对于具有相同数据的的 Redis，AOF 文件通常会比 RDB 文件体积更大(RDB 存的是数据快照)。 2、虽然 AOF 提供了多种同步的频率，默认情况下，每秒同步一次的频率也具有较高的性能。在高并发的情况下，RDB 比 AOF 具好更好的性能保证。 6.3 两种方案比较 那么对于 AOF 和 RDB 两种持久化方式，我们应该如何选择呢? 如果可以忍受一小段时间内数据的丢失，毫无疑问使用 RDB 是最好的，定时生成 RDB 快照(snapshot)非常便于进行数据库备份， 并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快。 否则就使用 AOF 重写。但是一般情况下建议不要单独使用某一种持久化机制，而是应该两种一起用，在这种情况下,当 redis 重启的时候会优先载入 AOF 文件来恢复原始的数据，因为在通常情况下 AOF 文件保存的数据集要比 RDB 文件保存的数据集要完整。 本篇文章为转载内容。原文链接：https://blog.csdn.net/zhoutaochun/article/details/120075092。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...联系我们，我们将第一时间进行核实并删除相应内容。 2. MySQL 2.1. 快速参考 维护者：Docker 社区和 MySQL 团队 从哪里获得帮助：Docker 社区论坛、Docker 社区 Slack 或 Stack Overflow 2.2. 支持的标签和各自的 Dockerfile 链接 8.0.28, 8.0, 8, latest 5.7.37, 5.7, 5 2.3. 快速参考（续） 在哪里提交问题：https://github.com/docker-library/mysql/issues 支持的架构：（更多信息）amd64 发布的镜像工件详情：repo-info repo 的 repos/mysql/ 目录（历史）（镜像元数据、传输大小等） 镜像更新：official-images repo 的 library/mysql 标签 官方图像 repo 的库/mysql 文件（历史） 此描述的来源：docs repo 的 mysql/ 目录（历史） 2.4. 如何使用镜像 2.4.1. 启动一个mysql服务器实例 启动 MySQL 实例很简单： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 其中 some-mysql 是您要分配给容器的名称， my-secret-pw 是要为 MySQL root 用户设置的密码，而 tag 是指定您想要的 MySQL 版本的标签。 有关相关标签，请参见上面的列表。 以下是示例（通常要设置时区），注意-v 这里是挂载磁盘，请提前创建目录/var/mysql/data，/var/lib/mysql是容器里的原持久化目录： docker run --name mysql202201 -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -v /var/mysql/data:/var/lib/mysql -d mysql:5.7 2.4.2. 从 MySQL 命令行客户端连接到 MySQL 以下命令启动另一个 mysql 容器实例并针对您的原始 mysql 容器运行 mysql 命令行客户端，允许您针对您的数据库实例执行 SQL 语句： $ docker run -it --network some-network --rm mysql mysql -hsome-mysql -uexample-user -p 其中 some-mysql 是原始 mysql 容器的名称（连接到 some-network Docker 网络）。 此镜像也可以用作非 Docker 或远程实例的客户端： $ docker run -it --rm mysql mysql -hsome.mysql.host -usome-mysql-user -p 有关 MySQL 命令行客户端的更多信息，请参阅 MySQL 文档。 2.4.3. 容器外访问和查看 MySQL 日志 docker exec 命令允许您在 Docker 容器内运行命令。 以下命令行将为您提供 mysql 容器内的 bash shell： $ docker exec -it some-mysql bash 第一次启动一个MySQL容器后，需要对账户进行授权，否则无法远程访问，请先使用上面的命令进入容器内，然后使用以下命令连接到mysql服务： mysql -uroot -p 输入密码回车，进入mysql命令界面mysql> 接着授权root远程访问权限： mysql> GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY '123456'; 然后就可以远程用MySQL客户端连接到MySQL容器了。 日志可通过 Docker 的容器日志获得： $ docker logs some-mysql 2.4.4. 使用自定义 MySQL 配置文件 MySQL 的默认配置可以在 /etc/mysql/my.cnf 中找到，其中可能包含额外的目录，例如 /etc/mysql/conf.d 或 /etc/mysql/mysql.conf.d。 请检查 mysql 映像本身中的相关文件和目录以获取更多详细信息。 如果 /my/custom/config-file.cnf 是你的自定义配置文件的路径和名称，你可以这样启动你的 mysql 容器（注意这个命令只使用了自定义配置文件的目录路径）： $ docker run --name some-mysql -v /my/custom:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 这将启动一个新容器 some-mysql，其中 MySQL 实例使用来自 /etc/mysql/my.cnf 和 /etc/mysql/conf.d/config-file.cnf 的组合启动设置，后者的设置优先 . 没有 cnf 文件的配置 许多配置选项可以作为标志传递给 mysqld。 这将使您可以灵活地自定义容器，而无需 cnf 文件。 例如，如果要将所有表的默认编码和排序规则更改为使用 UTF-8 (utf8mb4)，只需运行以下命令： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci 如果您想查看可用选项的完整列表，只需运行： $ docker run -it --rm mysql:tag --verbose --help 2.4.5. 环境变量 启动 mysql 镜像时，可以通过在 docker run 命令行中传递一个或多个环境变量来调整 MySQL 实例的配置。 请注意，如果您使用已包含数据库的数据目录启动容器，则以下任何变量都不会产生任何影响：任何预先存在的数据库在容器启动时将始终保持不变。 另请参阅 https://dev.mysql.com/doc/refman/5.7/en/environment-variables.html 以获取 MySQL 的环境变量的文档（尤其是 MYSQL_HOST 等变量，已知与此镜像一起使用时会导致问题）。 MYSQL_ROOT_PASSWORD 此变量是必需的，并指定将为 MySQL root 超级用户帐户设置的密码。 在上面的示例中，它被设置为 my-secret-pw。 MYSQL_DATABASE 此变量是可选的，允许您指定要在映像启动时创建的数据库的名称。 如果提供了用户/密码（见下文），则该用户将被授予对此数据库的超级用户访问权限（对应于 GRANT ALL）。 MYSQL_USER、MYSQL_PASSWORD 这些变量是可选的，用于创建新用户和设置该用户的密码。 该用户将被授予对 MYSQL_DATABASE 变量指定的数据库的超级用户权限（见上文）。 要创建用户，这两个变量都是必需的。 请注意，不需要使用此机制来创建超级用户超级用户，默认情况下会使用 MYSQL_ROOT_PASSWORD 变量指定的密码创建该用户。 MYSQL_ALLOW_EMPTY_PASSWORD 这是一个可选变量。 设置为非空值，例如 yes，以允许使用 root 用户的空白密码启动容器。 注意：除非您真的知道自己在做什么，否则不建议将此变量设置为 yes，因为这将使您的 MySQL 实例完全不受保护，从而允许任何人获得完全的超级用户访问权限。 MYSQL_RANDOM_ROOT_PASSWORD 这是一个可选变量。 设置为非空值，如 yes，为 root 用户生成随机初始密码（使用 pwgen）。 生成的根密码将打印到标准输出（生成的根密码：…）。 MYSQL_ONETIME_PASSWORD 一旦初始化完成，将 root（不是 MYSQL_USER 中指定的用户！）用户设置为过期，强制在第一次登录时更改密码。 任何非空值都将激活此设置。 注意：此功能仅在 MySQL 5.6+ 上受支持。 在 MySQL 5.5 上使用此选项将在初始化期间引发适当的错误。 MYSQL_INITDB_SKIP_TZINFO 默认情况下，入口点脚本会自动加载 CONVERT_TZ() 函数所需的时区数据。 如果不需要，任何非空值都会禁用时区加载。 2.4.6. Docker Secrets 作为通过环境变量传递敏感信息的替代方法，_FILE 可以附加到先前列出的环境变量中，从而导致初始化脚本从容器中存在的文件中加载这些变量的值。 特别是，这可用于从存储在 /run/secrets/<secret_name> 文件中的 Docker 机密中加载密码。 例如： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD_FILE=/run/secrets/mysql-root -d mysql:tag 目前，这仅支持 MYSQL_ROOT_PASSWORD、MYSQL_ROOT_HOST、MYSQL_DATABASE、MYSQL_USER和 MYSQL_PASSWORD。 2.4.7. 初始化一个新实例 首次启动容器时，将使用提供的配置变量创建并初始化具有指定名称的新数据库。 此外，它将执行 /docker-entrypoint-initdb.d 中的扩展名为 .sh、.sql 和 .sql.gz 的文件。 文件将按字母顺序执行。 您可以通过将 SQL 转储安装到该目录并提供带有贡献数据的自定义镜像来轻松填充您的 mysql 服务。 SQL 文件将默认导入到 MYSQL_DATABASE 变量指定的数据库中。 2.5. 注意事项 2.5.1. 在哪里存储数据 重要提示：有几种方法可以存储在 Docker 容器中运行的应用程序使用的数据。 我们鼓励 mysql 映像的用户熟悉可用的选项，包括： 让 Docker 通过使用自己的内部卷管理将数据库文件写入主机系统上的磁盘来管理数据库数据的存储。 这是默认设置，对用户来说简单且相当透明。 缺点是对于直接在主机系统（即外部容器）上运行的工具和应用程序，可能很难找到这些文件。 在主机系统（容器外部）上创建一个数据目录，并将其挂载到容器内部可见的目录。 这会将数据库文件放置在主机系统上的已知位置，并使主机系统上的工具和应用程序可以轻松访问这些文件。 缺点是用户需要确保目录存在，例如主机系统上的目录权限和其他安全机制设置正确。 Docker 文档是了解不同存储选项和变体的一个很好的起点，并且有多个博客和论坛帖子在该领域讨论和提供建议。 我们将在这里简单地展示上面后一个选项的基本过程： 在主机系统上的合适卷上创建数据目录，例如 /my/own/datadir。 像这样启动你的 mysql 容器： $ docker run --name some-mysql -v /my/own/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 命令的 -v /my/own/datadir:/var/lib/mysql 部分将底层主机系统中的 /my/own/datadir 目录挂载为容器内的 /var/lib/mysql ，默认情况下 MySQL 将 写入其数据文件。 2.5.2. 在 MySQL 初始化完成之前没有连接 如果容器启动时没有初始化数据库，则会创建一个默认数据库。 虽然这是预期的行为，但这意味着在初始化完成之前它不会接受传入的连接。 在使用同时启动多个容器的自动化工具（例如 docker-compose）时，这可能会导致问题。 如果您尝试连接到 MySQL 的应用程序没有处理 MySQL 停机时间或等待 MySQL 正常启动，那么在服务启动之前放置一个连接重试循环可能是必要的。 有关官方图像中此类实现的示例，请参阅 WordPress 或 Bonita。 2.5.3. 针对现有数据库的使用 如果您使用已经包含数据库的数据目录（特别是 mysql 子目录）启动 mysql 容器实例，则应该从运行命令行中省略 $MYSQL_ROOT_PASSWORD 变量； 在任何情况下都将被忽略，并且不会以任何方式更改预先存在的数据库。 2.5.4. 以任意用户身份运行 如果你知道你的目录的权限已经被适当地设置了（例如对一个现有的数据库运行，如上所述）或者你需要使用特定的 UID/GID 运行 mysqld，那么可以使用 --user 调用这个镜像设置为任何值（root/0 除外）以实现所需的访问/配置： $ mkdir data$ ls -lnd datadrwxr-xr-x 2 1000 1000 4096 Aug 27 15:54 data$ docker run -v "$PWD/data":/var/lib/mysql --user 1000:1000 --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 2.5.5. 创建数据库转储 大多数普通工具都可以工作，尽管在某些情况下它们的使用可能有点复杂，以确保它们可以访问 mysqld 服务器。 确保这一点的一种简单方法是使用 docker exec 并从同一容器运行该工具，类似于以下内容： $ docker exec some-mysql sh -c 'exec mysqldump --all-databases -uroot -p"$MYSQL_ROOT_PASSWORD"' > /some/path/on/your/host/all-databases.sql 2.5.6. 从转储文件恢复数据 用于恢复数据。 您可以使用带有 -i 标志的 docker exec 命令，类似于以下内容： $ docker exec -i some-mysql sh -c 'exec mysql -uroot -p"$MYSQL_ROOT_PASSWORD"' < /some/path/on/your/host/all-databases.sql 备注 docker安装完MySQL，后面就是MySQL容器在跑，基本上就是当MySQL服务去操作，以前MySQL怎么做现在还是一样怎么做，只是个别操作因为docker包了一层，麻烦一点。 有需要的话，我们也可以基于MySQL官方镜像去定制我们自己的镜像，就比如主从镜像之类的。 本篇文章为转载内容。原文链接：https://blog.csdn.net/muluo7fen/article/details/122731852。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...联系我们，我们将第一时间进行核实并删除相应内容。 判空 对于list和map使用CollectionUtils.isEmpty()判空（null和size=0） 对于对象使用ObjectUtils.isEmpty()判定，可以尝试使用Optional.ofNullable() 对于数组使用ArrayUtils.isEmpty()判空(null和length=0) 对于字符串使用 StringUtils.isBlank()判空(null和空字符串） 工具类 使用hutool可以方便的进行文件类型的判断、唯一id（uuid，Snowflake）的生成、数据加密解密、二维码生成、图片加水印、BASE64编码解码、图片验证码等操作 集合 使用Arrays.asList()返回的list为数组的内部list，只允许遍历不允许增删，可以使用Stream流转换为list Collection和map对于仅遍历可以使用增强for循环和，但如果有删除为避免错误必须使用迭代器 foreach遍历不允许改变变量的地址，java的参数是值传递，修改了形参的地址并不影响原来的参数，故即使你修改了值也不会同步到原变量中，故操作的变量都显式或者隐式的定义为final JSON fastjson parseArray(String text, Class<T> clazz) 解析List parseObject(String text, Class<T> clazz) 解析Object JSON对于null、空白字符串、“null”会返回nullif (text == null) {return null;} else {DefaultJSONParser parser = new DefaultJSONParser(text, ParserConfig.getGlobalInstance());JSONLexer lexer = parser.lexer;int token = lexer.token();ArrayList list;if (token == 8) {lexer.nextToken(); // nextToken() => ...if ("null".equalsIgnoreCase(ident)) this.token = 8;list = null;} } String toJSONString(Object object) 将对象转为String toJSONBytes(Object object, SerializerFeature... features) 将对象转为byte[] @JSONField() 可以忽略字段serialize ，别名映射name，日期格式化format等 jackson @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss") 设置Date到前台的格式 @JsonIgnore SpringMVC不会向前台传递该字段 ObjectMapper mapper = new ObjectMapper();String str = mapper.writeValueAsString(admin); // 对象转JSON字符串mapper.readValue(s,Admin.class ); // JSON字符串转对象 EasyExcel 官方API https://www.yuque.com/easyexcel/doc 使用类注解@ExcelIgnoreUnannotated配合@ExcelProperty操作 @ExcelProperty可以指定表头列名，列顺序和表头的合并 @ColumnWidth(10)可以指定列宽，其长度约为(中文length3+英文length1) @DateTimeFormat(value="yyyy-MM-dd HH:mm:ss")可以指定日期格式 自定义策略实现SheetWriteHandler工作表回调接口，在afterSheetCreate()工作表创建之后方法可以 设置列宽 自定义表头 新建单元格 自定义策略实现RowWriteHandler行回调接口，在afterRowDispose()行操作完之后方法可以 设置行高 设置行样式 自定义策略实现CustomerCellHandler单元格回调接口，在afterCellDispose()单元格操作完之后方法可以 根据行号，列宽甚至是单元格的值来设置单元格样式 可以对单元格的值获取和修改 样式通常包括内容格式、批注、背景色、自动换行、平和垂直居中、边框大小和颜色、字体实例（格式，颜色，大小，加粗等）等 自定义策略继承AbstractMergeStrategy单元格合并抽象类，在merge()方法中可以通过CellRangeAddress合并单元格 过于复杂的表格可以使用模板，配合写出write和填充fill一起使用 Mybatis 在mapper方法的@select中也是可以直接书写动态SQL的，但要使用<script></script>包裹，这样就不用在java文件和xml文件切换了，将@select中包裹的代码直接放到浏览器的控制台输出后会自动转义\n,\t,+,"等 动态sql中“<” 和 “>” 号要用转义字符 “<” 和 ”>“ （分号要带） 动态sql中test中表达式通常使用 test=“id != null and id != ‘’”，要注意的是字符串不能直接识别单引号，有两种方法使用id==“1001"或者id==‘1001’.toString()，另外参数如果是boolean，可以直接使用test=”!flag"，如果判定集合的话可以使用 test=“list != null and list.size>0” 返回数据类型为Map只能接收一条记录，字段为键名，字段值为值，但通常是用实体类接收，或是使用注解@MapKey来进行每条记录的映射，效果等同于List用Stream流转Map foreach遍历list collection=“list” item=“vo” separator="," open="(" close=")"> {vo.id} foreach遍历map collection=“map” index=“key” item=“value”，{key}获取建，{value}获取值，$亦可 collection=“map.entrySet()” index=“key” item=“value”，同上 collection=“map.keys” item=“key”，{key}为键 不要使用where 1=1，使用动态where拼接，会自动剔除where后多余的and和or 单个参数时无论基本和引用并且未使用在动态SQL可以不加参数注解@Param，但一旦参数大于一个或者参数在动态SQL中使用就必须加@Param 并不是直接把参数加引号，而是变成?的形式交给prepareStatement处理，$直接使用值，当ORDER BY诸如此类不需要加引号的参数时，使用$代替，但为避免sql注入，该参数不能交由用户控制 Plus 官方API https://baomidou.com/guide/ @TableName 表名 @TableField(strategy = FieldStrategy.IGNORED) 更新不会忽略NULL值 @TableField(exist = false)表明该字段非数据字段，否则新增更新会报错 MybatisPlus对于单表的操作还是非常优秀的，在对单表进行新增或者更新的时候经常使用，但对于单表的查询业务上很少出现仅仅查询一张表的情况，但也会有，如果条件不大于3个还是可以使用的，多了倒没有直接写SQL来的方便了 MybatisPlus的批量插入也是通过for循环插入的，还是建议使用Mybatis的动态foreach进行批量插入 MybatisPlus的分页器会对方法中的参数判断，如果存在分页对象就先查询总数看是否大于0，然后拼接当前的数据库limit语句，所以如果我们分页对象为null，就可以实现不分页查询 Object paramObj = boundSql.getParameterObject();IPage page = null;if (paramObj instanceof IPage) { ……public static String getOriginalCountSql(String originalSql) {return String.format("SELECT COUNT(1) FROM ( %s ) TOTAL", originalSql);} ……originalSql = DialectFactory.buildPaginationSql(page, buildSql, dbType, this.dialectClazz); ……public String buildPaginationSql(String originalSql, long offset, long limit) {StringBuilder sql = new StringBuilder(originalSql);sql.append(" LIMIT ").append(offset).append(",").append(limit);return sql.toString();} IDEA 插件 Lombok : 快速生成getter、setter等 Alibaba Java Coding Guidelines ：阿里规约扫描 Rainbow Brackets ：彩色括号 HighlightBracketPair ：高亮提示 MyBatisX ：mabatisPlus提供的xml和mapper转换的插件，小鸟图标 CamelCase ：大小写、驼峰、下划线、中划线转换插件 使用shift+Alt+u进行转换（很方便） 可以在Editor中设置CamelCase的转换，一般只保留下划线和驼峰两种 String Manipulation ：字符串工具（未使用） RestfulToolkit http ：Restful请求工具 打开idea，在右侧边栏会有一个标签（RestServices），打开可以看到里面是url路径 ctrl+\或者ctrl+alt+n会检索路径 Ctrl + Enter格式化json 没有记忆功能，也不能加token，只是查找请求路径使用 easycode ：代码生成工具（个人觉得很好用，常用于生成实体类） 支持自定义模板 支持添加自定义列，不影响数据库 支持多表同时生成 支持自定义类型映射 支持配置导入导出 支持动态调试 支持自定义属性 Power Mode 11 ：打字特效（纯属装逼） Nyan Progress Bar ：漂亮的进度条（纯属装逼） Other Vo：数据持久化模型 Query：数据查询模型 Dto：数据传输模型 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_40910781/article/details/111416185。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...Spark作为一款高性能、通用的并行计算框架，凭借其对大规模数据处理的强大支持和优异性能赢得了广泛的赞誉。在实际操作Spark的过程中，咱们可能会碰上个让人头疼的问题。啥问题呢？就是由于关键的依赖库缺失了，导致Spark这个家伙没法正常启动或者执行任务，这确实挺让人挠头的。本文将深入探讨这一问题，并通过实例代码揭示它的重要性。 1. Spark与依赖库的关系 (1) 依赖库的重要性 在Spark的工作机制中，它自身提供了一系列核心功能库，如spark-core负责基本的分布式任务调度，spark-sql实现SQL查询等。为了应对各种业务需求，Spark往往需要和其他好伙伴——第三方库一起携手工作。比如，如果你想和数据库打交道，就可能得请出JDBC驱动这位“翻译官”。再比如，当你需要进行机器学习这类高大上的任务时，MLlib或者其他的深度学习库就成了你必不可少的得力助手啦。这些“依赖库”，你就想象成是Spark引擎运行必需的“小帮手”或者说是“关键零部件”。没有它们，就好比一辆汽车缺了心脏般的重要零件，哪怕引擎再猛如虎，也只能干瞪眼没法跑起来。 (2) 依赖传递性 在构建Spark应用时，我们需要通过构建工具（如Maven、Sbt）明确指定项目的依赖关系。这里说的依赖，可不是仅仅局限在Spark自己的核心组件里，还包括咱们应用“嗷嗷待哺”的其他第三方库。这些库之间，就好比是一群互相帮忙的朋友，关系错综复杂。如果其中任何一个朋友缺席了，那整个团队的工作可能就要乱套，咱们的应用也就没法正常运转啦。 2. 缺少依赖库引发的问题实例 假设我们要用Spark读取MySQL数据库中的数据，首先需要引入JDBC驱动依赖： scala // 在build.sbt文件中添加依赖 libraryDependencies += "mysql" % "mysql-connector-java" % "8.0.23" // 或在pom.xml文件中添加依赖 mysql mysql-connector-java 8.0.23 然后在代码中尝试连接MySQL： scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.appName("mysqlExample").getOrCreate() val jdbcDF = spark.read.format("jdbc") .option("url", "jdbc:mysql://localhost:3306/mydatabase") .option("driver", "com.mysql.jdbc.Driver") .option("dbtable", "mytable") .load() jdbcDF.show() 如果此时没有正确引入并配置MySQL JDBC驱动，上述代码在运行时就会抛出类似于NoClassDefFoundError: com/mysql/jdbc/Driver的异常，表明Spark找不到相应的类定义，这就是典型的因缺少依赖库而导致的运行错误。 3. 如何避免和解决依赖库缺失问题 (1) 全面且精确地声明依赖 在项目初始化阶段，务必详细列出所有必需的依赖库及其版本信息，确保它们能在构建过程中被正确下载和打包。 (2) 利用构建工具管理依赖 利用Maven、Gradle或Sbt等构建工具，可以自动解析和管理项目依赖关系，减少手动管理带来的疏漏。 (3) 检查和更新依赖 定期检查和更新项目依赖库，以适应新版本API的变化以及修复潜在的安全漏洞。 (4) 理解依赖传递性 深入理解各个库之间的依赖关系，防止因间接依赖导致的问题。当遇到问题时，可通过查看构建日志或使用mvn dependency:tree命令来排查依赖树结构。 总结来说，依赖库对于Spark这类复杂的应用框架而言至关重要。只有妥善管理和维护好这些“零部件”，才能保证Spark引擎稳定高效地运转。所以，开发者们在尽情享受Spark带来的各种便捷时，也千万不能忽视对依赖库的管理和配置这项重要任务。只有这样，咱们的大数据探索之路才能走得更顺溜，一路绿灯，畅通无阻。

...syntax in SQL query”（SQL查询语句无效语法）是开发者们经常遭遇的一个痛点。它如同一个突如其来的路障，阻断了我们顺利获取数据的道路。今天，咱们要一起撸起袖子，深入地把这个难题给掰扯清楚。咱会手把手地带你瞧实例代码，掰开揉碎了详细解读，共同研究怎么在Go-Spring这个环境下，巧妙又高效地避开和解决SQL查询语法出错的那些小妖精。 2. Go-Spring与SQL交互 Go-Spring集成了对数据库的良好支持，能够方便地执行SQL查询。例如，我们可以利用GORM作为ORM工具，嵌入到Go-Spring项目中，实现与数据库的交互： go import ( "github.com/go-spring/spring-boot/gorm" ) type User struct { gorm.Model Username string Password string } func main() { db := gorm.Get("default") user := User{Username: "test", Password: "password"} db.Create(&user) // 此处假设数据库表结构正确，若SQL语法有误，将抛出Invalid syntax错误 } 3. SQL查询中的常见无效语法问题及其解决方案 3.1 单引号未正确闭合 在编写包含字符串的SQL查询时，单引号是非常容易出错的地方。比如： sql SELECT FROM users WHERE username = 'test; 上述SQL语句中，由于单引号未闭合，因此会引发"Invalid syntax"错误。修正后的版本应为： sql SELECT FROM users WHERE username = 'test'; 3.2 缺少必要的关键字或运算符 假设我们在Go-Spring中构建如下查询： go db.Where("username = test").Find(&users) 这段代码会导致SQL语法错误，因为我们在比较字符串时没有使用等号两侧的引号。正确的写法应该是： go db.Where("username = ?", "test").Find(&users) 4. Go-Spring中调试和预防SQL无效语法的方法 4.1 使用预编译SQL Go-Spring通过其集成的ORM库如GORM，可以支持预编译SQL，从而减少因语法错误导致的问题。例如： go stmt := db.Statement.Create.Table("users").Where("username = ?", "test") db.Exec(stmt.SQL, stmt.Vars...) 4.2 日志记录与审查 开启Go-Spring的SQL日志记录功能，可以帮助我们实时查看实际执行的SQL语句，及时发现并纠正语法错误。 5. 结语 面对“Invalid syntax in SQL query”这个看似棘手的问题，理解其背后的原因并掌握相应的排查技巧至关重要。在使用Go-Spring这个框架时，配上一把锋利的ORM工具，再加上咱们滴严谨编程习惯，完全可以轻松把这类问题扼杀在摇篮里，让咱对数据库的操作溜得飞起，效率蹭蹭上涨！下次再遇到此类问题时，希望你能快速定位，从容应对，就如同解开一道有趣的谜题般充满成就感！

...的数据仓库工具，以其SQL-like查询能力和大规模数据处理能力深受广大开发者喜爱。然而，在平时我们管理维护的时候，常常会遇到一个让人挠破头皮的头疼问题：就是Hive表里的数据可能突然就被误删或者不小心被覆盖了。这篇文章会手把手地带你钻进这个问题的最深处，咱们通过一些实实在在的代码例子，一起聊聊怎么防止这类问题的发生，再讲讲万一真碰上了，又该采取哪些恢复措施来“救火”。 2. Hive表数据丢失的风险与原因 常见的Hive表数据丢失的情况通常源于误操作，例如错误地执行了DROP TABLE、TRUNCATE TABLE或者INSERT OVERWRITE等命令。这些操作可能在一瞬间让积累已久的数据化为乌有，让人懊悔不已。因此，理解和掌握避免这类风险的方法至关重要。 3. 预防措施 备份与版本控制 示例1： sql -- 创建Hive外部表并指向备份数据目录 CREATE EXTERNAL TABLE backup_table LIKE original_table LOCATION '/path/to/backup/data'; -- 将原始数据定期导出到备份表 INSERT INTO TABLE backup_table SELECT FROM original_table; 通过创建外部表的方式进行定期备份，即使原始数据遭到破坏，也能从备份中快速恢复。此外，要是把版本控制系统（比如Git）运用在DDL脚本的管理上，那就等于给咱们的数据结构和历史变更上了双保险，让它们的安全性妥妥地更上一层楼。 4. 数据恢复策略 示例2： sql -- 如果是由于DROP TABLE导致数据丢失 -- 可以先根据备份重新创建表结构 CREATE TABLE original_table LIKE backup_table; -- 然后从备份表中还原数据 INSERT INTO TABLE original_table SELECT FROM backup_table; 示例3： sql -- 如果是INSERT OVERWRITE导致部分或全部数据被覆盖 -- 则需要根据备份数据，定位到覆盖前的时间点 -- 然后使用相同方式恢复该时间点的数据 INSERT INTO TABLE original_table SELECT FROM backup_table WHERE timestamp_column <= 'overwrite_time'; 5. 深入思考与优化方案 在面对Hive表数据丢失的问题时，我们的首要任务是保证数据安全和业务连续性。除了上述的基础备份恢复措施，还可以考虑更高级的解决方案，比如： - 使用ACID事务特性（Hive 3.x及以上版本支持）来增强数据一致性，防止并发写入造成的数据冲突和覆盖。 - 结合HDFS的快照功能实现增量备份，提高数据恢复效率。 - 对关键操作实施权限管控和审计，减少人为误操作的可能性。 6. 结论 面对Hive表数据意外删除或覆盖的困境，人类的思考过程始终围绕着预防和恢复两大主题。你知道吗，就像给宝贝东西找个安全的保险箱一样，我们通过搭建一套给力的数据备份系统，把规矩立得明明白白的操作流程严格执行起来，再巧用Hive这些高科技工具的独特优势，就能把数据丢失的可能性降到最低，这样一来，甭管遇到啥突发状况，我们都能够淡定应对，稳如泰山啦！记住，数据安全无小事，每一次的操作都值得我们审慎对待。

...案。 一、问题描述与分析 首先，我们需要明确一个问题，那就是 Sqoop 是什么？简单来说，Sqoop 是一款开源的数据集成工具，它可以将关系型数据库中的数据导入到 Hadoop 中进行存储和处理，也可以将 Hadoop 中的数据导出到关系型数据库中。 然而，在使用 Sqoop 导出数据的过程中，我们经常会遇到各种各样的问题。例如，以下是一些常见的错误： 1. org.apache.sqoop.mapreduce.ExportException: Could not export data from database 2. java.sql.SQLException: ORA-00955: 名称已经存在 3. java.io.IOException: Could not find or load main class com.cloudera.sqoop.lib.SqoopTool 这些错误往往会让初学者感到困惑，不知道如何解决。因此，下面我们将逐一分析这些错误，并给出相应的解决方案。 二、解决方案 （1）org.apache.sqoop.mapreduce.ExportException: Could not export data from database 这个问题通常是因为 sqoop 的数据库连接配置不正确导致的。解决这个问题的办法就是，你得亲自去瞅瞅 sqoop.xml 文件里边关于数据库连接的那些参数设置，保证这些参数都和实际情况对得上号哈。另外，你也可以试试重启 sqoop 服务这个法子，同时把临时文件夹清理一下。这样一来，就能确保 sqoop 在运行时稳稳当当，不闹脾气出状况啦。 （2）java.sql.SQLException: ORA-00955: 名称已经存在 这个问题是因为你在创建表的时候，名称已经被其他表使用了。解决方法是在创建表的时候，给表起一个新的名字，避免与其他表重名。 （3）java.io.IOException: Could not find or load main class com.cloudera.sqoop.lib.SqoopTool 这个问题是因为你的 Sqoop 版本过低，或者没有正确安装。解决方法是更新你的 Sqoop 到最新版本，或者重新安装 Sqoop。 三、实例演示 为了让大家更好地理解和掌握以上的方法，下面我将通过具体的实例来演示如何使用 Sqoop 导出数据。 首先，假设我们要从 Oracle 数据库中导出一个名为 "orders" 的表。首先，我们需要在 Sqoop.xml 文件中添加以下内容： xml connect.url jdbc:oracle:thin:@localhost:1521:ORCL connect.username scott connect.password tiger export.query select from orders 然后，我们可以使用以下命令来执行 Sqoop 导出操作： bash sqoop export --connect jdbc:oracle:thin:@localhost:1521:ORCL --username scott --password tiger --table orders --target-dir /tmp/orders 这个命令将会把 "orders" 表中的所有数据导出到 "/tmp/orders" 目录下。 四、总结 通过以上的讲解和实例演示，我相信大家已经对如何使用 Sqoop 导出数据有了更深的理解。同时呢，我真心希望大家都能在实际操作中摸爬滚打，不断去尝试、去探索、去学习，让自己的技术水平像火箭一样嗖嗖地往上窜。 最后，我要说的是，虽然在使用 Sqoop 的过程中可能会遇到各种各样的问题，但只要我们有足够的耐心和毅力，就一定能够找到解决问题的办法。所以，无论何时何地，我们都应该保持一颗积极向上的心态，勇往直前！ 好了，今天的分享就到这里，感谢大家的阅读和支持！希望我的分享能对大家有所帮助，也希望大家在以后的工作和学习中取得更大的进步！

...ala进行大规模日志分析：实战与探索 1. 引言 在大数据领域，实时、高效的数据分析能力对于企业决策和业务优化至关重要。Apache Impala，这可是个不得了的开源神器，它是一款超给力的大规模并行处理SQL查询引擎，专门为Hadoop和Hive这两大数据平台量身定制。为啥说它不得了呢？因为它有着高性能、低延迟的超强特性，在处理海量数据的时候，那速度简直就像一阵风，独树一帜。尤其在处理那些海量日志分析的任务上，更是游刃有余，表现得尤为出色。这篇文会手牵手带你畅游Impala的大千世界，咱不光说理论，更会实操演示，带着你一步步见识怎么用Impala这把利器，对海量日志进行深度剖析。 2. Impala简介 Impala以其对HDFS和HBase等大数据存储系统的原生支持，以及对SQL-92标准的高度兼容性，使得用户可以直接在海量数据上执行实时交互式SQL查询。跟MapReduce和Hive这些老哥不太一样，Impala这小子更机灵。它不玩儿那一套先将SQL查询变魔术般地转换成一堆Map和Reduce任务的把戏，而是直接就在数据所在的节点上并行处理查询，这一招可是大大加快了我们分析数据的速度，效率杠杠滴！ 3. Impala在日志分析中的应用 3.1 日志数据加载与处理 首先，我们需要将日志数据导入到Impala可以访问的数据存储系统，例如HDFS或Hive表。以下是一个简单的Hive DDL创建日志表的例子： sql CREATE TABLE IF NOT EXISTS logs ( log_id BIGINT, timestamp TIMESTAMP, user_id STRING, event_type STRING, event_data STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; 然后，通过Hive或Hadoop工具将日志文件加载至该表： bash hive -e "LOAD DATA INPATH '/path/to/logs' INTO TABLE logs;" 3.2 Impala SQL查询实例 有了结构化的日志数据后，我们便可以在Impala中执行复杂的SQL查询来进行深入分析。例如，我们可以找出过去一周内活跃用户的数量： sql SELECT COUNT(DISTINCT user_id) FROM logs WHERE timestamp >= UNIX_TIMESTAMP(CURRENT_DATE) - 7246060; 或者，我们可以统计各类事件发生的频率： sql SELECT event_type, COUNT() as event_count FROM logs GROUP BY event_type ORDER BY event_count DESC; 这些查询均能在Impala中以极快的速度得到结果，满足了对大规模日志实时分析的需求。 3.3 性能优化探讨 在使用Impala进行日志分析时，性能优化同样重要。比如，对常量字段创建分区表，可以显著提高查询速度： sql CREATE TABLE logs_partitioned ( -- 同样的列定义... ) PARTITIONED BY (year INT, month INT, day INT); 随后按照日期对原始表进行分区数据迁移： sql INSERT OVERWRITE TABLE logs_partitioned PARTITION (year, month, day) SELECT log_id, timestamp, user_id, event_type, event_data, YEAR(timestamp), MONTH(timestamp), DAY(timestamp) FROM logs; 这样，在进行时间范围相关的查询时，Impala只需扫描相应分区的数据，大大提高了查询效率。 4. 结语 总之，Impala凭借其出色的性能和易用性，在大规模日志分析领域展现出了强大的实力。它让我们能够轻松应对PB级别的数据，实现实时、高效的查询分析。当然啦，每个项目都有它独特的小脾气和难关，但只要巧妙地运用Impala的各种神通广大功能，并根据实际情况灵活机动地调整作战方案，保证能稳稳驾驭那滔滔不绝的大规模日志分析大潮。这样一来，企业就能像看自家后院一样清晰洞察业务动态，优化决策也有了如虎添翼的强大力量。在这个过程中，我们就像永不停歇的探险家，不断开动脑筋思考问题，动手实践去尝试，勇敢探索未知领域。这股劲头，就像是咱们在技术道路上前进的永动机，推动着我们持续进步，一步一个脚印地向前走。

...联系我们，我们将第一时间进行核实并删除相应内容。 1. 安装虚拟机 vmware安装deepin,默认已安装 启动ssh sudo systemctl start ssh sudo systemctl enable ssh 2. 更新源 sudo apt-get -y update sudo apt-get -y upgrade 3. 安装JDK8 sudo apt-get install -y openjdk-8-jdk 4. 安装Node.js 下载nodejs压缩包,解压缩,根目录改名为node 复制或剪切到/opt/node 修改环境变量 vim /etc/profile 在末尾添加 export NODE_HOME=/opt/node export PATH=$PATH:$NODE_HOME/bin export NODE_PATH=$NODE_HOME/lib/node_modules 退出,刷新 source /etc/profile 复制链接 sudo ln -s /opt/node/bin/node /usr/bin/node sudo ln -s /opt/node/bin/npm /usr/bin/npm // npm淘宝源 npm config set registry https://registry.npm.taobao.org // 安装yarn 并设置为淘宝源 sudo npm install -g yarn sudo yarn config set registry https://registry.npm.taobao.org -g sudo yarn config set sass_binary_site http://cdn.npm.taobao.org/dist/node-sass -g // 安装cnpm 并设置为淘宝源 sudo npm install -g cnpm -registry=https://registry.npm.taobao.org // 安装vue脚手架3 sudo cnpm install -g @vue/cli@3 sudo ln -s /opt/node/bin/yarn /usr/bin/yarn sudo ln -s /opt/node/bin/cnpm /usr/bin/cnpm 除此之外，还有一种方法，npm命令如上 VERSION=node_14.x DISTRO="$(dpkg --status tzdata|grep Provides|cut -f2 -d'-')" echo "deb https://deb.nodesource.com/$VERSION $DISTRO main" | sudo tee /etc/apt/sources.list.d/nodesource.list echo "deb-src https://deb.nodesource.com/$VERSION $DISTRO main" | sudo tee -a /etc/apt/sources.list.d/nodesource.list curl -fsSL https://deb.nodesource.com/gpgkey/nodesource.gpg.key | sudo apt-key add - sudo apt-get -y update sudo apt-get install -y nodejs 5. 安装SVN sudo apt-get install -y subversion 6. 安装Git sudo apt-get install -y git 7. 安装MySQL MySQL :: Download MySQL Community Server 下载Debian版DEB Bundle 解压 进入目录,执行 sudo dpkg -i mysql-{common,community-client,client,community-server,server}_.deb 如果报错，执行 sudo apt-get -f install 中途设置root用户密码 8. 安装PostgreSQL 安装PostgreSQL sudo apt-get install -y postgresql-11 修改postgres用户密码 sudo -u postgres psql 进入后执行SQL ALTER USER postgres WITH PASSWORD 'postgres'; 退出 exit; 9. 安装Redis sudo apt-get install -y redis-server 修改配置文件 sudo vim /etc/redis/redis.conf 重启 sudo systemctl restart redis sudo systemctl enable redis-server 10. 安装Nginx sudo apt-get install -y nginx 修改配置文件 sudo vim /etc/nginx/nginx.conf 重启 sudo systemctl restart nginx sudo systemctl enable nginx 11. 安装VMWare Workstation 下载 https://www.vmware.com/go/getworkstation-linux 放到文件夹，进入，执行 sudo chmod +x VMware-Workstation-Full-17.0.0-20800274.x86_64.bundle sudo ./VMware-Workstation-Full-17.0.0-20800274.x86_64.bundle 安装gcc sudo apt-get install -y gcc 进入控制台，找到VMWare，开始安装，安装过程同Windows 如果如果遇到build environment error错误，执行下列命令后再重新在控制台打开图标 sudo apt-get install -y libcanberra 如果还不行，执行 sudo vmware-modconfig --console --install-all 看看还缺什么 12. 安装百度网盘 官网下载Linux版本的软件：百度网盘 客户端下载 deepin的软件包格式为deb。安装： sudo dpkg -i baidunetdisk_3.5.0_amd64.deb 最新版本 sudo dpkg -i baidunetdisk_4.17.7_amd64.deb 如果报错，执行 sudo apt-get -f install 13. 安装WPS 官网下载Linux版本的软件：WPS Office 2019 for Linux-支持多版本下载_WPS官方网站 deepin的软件包格式为deb。安装： sudo dpkg -i wps-office_11.1.0.10702_amd64.deb 最新版本 sudo dpkg -i wps-office_11.1.0.11691_amd64.deb 如果报错执行 sudo apt-get -f install wps有可能会报缺字体,缺的字体如下,双击安装 百度网盘 请输入提取码 提取码:lexo 14. 安装VS Code 官网下载Linux版本的软件：Visual Studio Code - Code Editing. Redefined deepin的软件包格式为deb。安装： sudo dpkg -i code_1.61.1-1634175470_amd64.deb 最新版本 sudo dpkg -i code_1.76.0-1677667493_amd64.deb 如果报错执行 sudo apt-get -f install 15. 安装微信、QQ、迅雷 微信 sudo apt-get install -y com.qq.weixin.deepin QQ sudo apt-get install -y com.qq.im.deepin 迅雷 sudo apt-get install -y com.xunlei.download 16. 安装视频播放器 sudo apt-get -y install smplayer sudo apt-get -y install vlc 17. 安装SSH工具electerm 下载electerm的deb版本 deepin的软件包格式为deb。安装： https://github.com/electerm/electerm/releases/download/v1.25.16/electerm-1.25.16-linux-amd64.deb sudo dpkg -i electerm-1.25.16-linux-amd64.deb 18.安装FTP/SFTP工具FileZilla sudo apt-get -y install filezilla 19. 安装edge浏览器 下载edge浏览器 deepin的软件包格式为deb。安装： 下载 Microsoft Edge sudo apt-get -y install fonts-liberation sudo apt-get -y install libu2f-udev sudo dpkg -i microsoft-edge-beta_95.0.1020.30-1_amd64.deb 最新版本 sudo dpkg -i microsoft-edge-stable_110.0.1587.63-1_amd64.deb 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_42173947/article/details/119973703。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...联系我们，我们将第一时间进行核实并删除相应内容。 1.创建表:create table 表名(属性名 数据类型[约束条件],…); Paimary key 主键 auto_increment自增 foreign key 外键 references 另一表名(字段名).–>外键这个表连接着另外一个表的哪个键. 删除表: drop table 表名;–>表结构也删除了(也即是这个表没了) Truncate table 表名 --> 只删除表中数据,表结构不会删除. 2.In 与 not in 在或不在这个(1,3)里面,单个查询,只会查询(1或者3) 3.Between and 与 not … 和上面差不多,Between 1 and 3 但是这个是范围查询(1,3) 1-3 之间(包含1,3) 4.Like,模糊查询 “%” 代表任意字符,”_”代表单个字符. 5.Is Not null 与 is null 是否为空 6.And 与 or 一个是所有条件都要完成,or则是任何一个条件完成即可 7.Distinct 去重 8.Order by age asc 与 desc 排序,假如根据age排序,asc正序(升序默认),desc倒叙(降序) 9.Gruop by 分组查询,单独使用无意义,group_concat(字段),拼接,若是根据age group by 则会发现age一样的会出现在同一字段内 例如: : 最后要注意group by 后面的字段与所查字段的关系(一对一),当然还有having,having和where基本一样,只不过跟在group by后面. 10.Limit 分页查询 limit 0,5 .查询前5条数据,从0开始,5结束,但是5取不到,也即是取头不取尾. 11.聚合函数:count() 查询数据的总数据量 经常使用别名 例如:as total sum(字段)函数:求和…若字段为成绩,where条件或gruop by 为个人的id,那么查出的就是个人的成绩总分. AVG(字段),但是查的是平均分,min(字段)与max(字段) 查出最小或最大. 三者都类似sum(),当然max()与min()若是在最前面使用,就会当条件查询只会出来这一笔数据.例如: 12.Sql多表查询,内连接不只是inner join,平时写的from a表,b表 where 条件这也是内连接,意思就是两张表中数据都有才可以查询出来 13.而外连接分为左连接和右连接,意思是以左表或右表为主,假如两张表,左表数据多,右表数据少,且条件符合,则左连接的时候左表数据全部出来,右表没有的为null,反之也是一样. 14.Exist() 与 not exist() …()内的数据是否为空,若是为空则代表false,返回数据为空,若不为空,则代表true,正常查询. 15.Any 与 all 例如 age > any(age1,age2) 大于两者中的一个就可以,但是all的情况下则是全部大于.也就是相当于,any为大于最小的,all则是大于最大的就行了,当然若是小于号那就是另外一种情况了,另外分析. 16.Union,(也就是联合的意思,自带distinct,重复的去除)用法,例如两张表的id要全部查出来,则:select id from A union select id from B ,若Aid为1,2,3,Bid为1,2,4.则查出来的数据为1.2.3.4,若是union all,则不带distinct,用法一样,查出来以后为1.2.3.1.2.4. 17.给表取别名,表名 空格 别名 给字段取别名 字段名 as 别名. 18.Insert插入数据时若是使用insert into 表名 values();主键必须到写进去,当然与其他数据不相同即可,若是自增,可以写null.若是insert into 表名(字段)values(值),这时插入数据,字段不用写主键字段,写入其他数据字段名与值就可以完成数据的添加.(主键自己生成为前提,UUID,auto_increament都可以). 19.Insert into 插入多条数据时,其他与18一样,只不过由values()变成了values(),(),(); 20.索引是由数据库表中一列或多列组合而成,其作用提高对表数据的查询速度.像图书目录. 优缺点:优:提高了查询数据的效率.缺:创建和维护索引的时间增加了(内容改了,目录也要改). 21.索引分类:普通索引,唯一性索引UNIQUE(unique修饰,例如主键),全文索引FULLTEXT(创建在文本上,例如:char,varchar,varchar2等,mysql默认引擎不支持,),单列索引:单个字段建立索引,多列索引:多个字段创建一个索引,空间索引SPATIAL:不常用(mysql默认引擎不支持) 22.创建索引: index为关键字,或者key (1)可以index(字段名)–>普通索引 (2)Unique index(字段名)–>唯一索引 (3)Unique index 别名(字段名)–>取别名的唯一索引 (4)index 别名(字段名1,字段名2)–>取别名的多列索引 1.创建表的时候创建索引, 前三个为参数修饰,唯一性,全文,空间索引; 2.在已存在的表上创建索引,或者用ALTER TABLE 表名 ADD 索引,也就是用修改表的形式来创建索引 Create index 索引别名 on 表名(字段名) -->普通单列索引 Create index 索引别名 on 表名(字段名1,字段名2) -->多列索引 Create unique index 索引别名 on 表名(字段名) -->唯一单列索引 Alter table 表名 add +(1)|(2)|(3)|(4)即可. 23.删除索引: drop index 索引名 on 表名. 24.NOW(); mysql的函数,表示当前时间 25.视图:是一个虚拟的表,没有物理数据,是从其他表中导出的数据,当原表数据发生改变时,视图数据也会发生改变,反之也一样. (1)作用:操作简单化;增加数据安全性:不直接对表进行操作;提高表的逻辑性:原表修改字段对视图无影响. (2)创建视图:语法:create view 视图名 as 查询语句. 例如:create view vi as select id,name from user;–>这是把user中id,name字段的数据写入到vi视图中. 若是想自己定义字段名不用查出的字段名,可以如下面这样写. 例如:create view vi(vi_id,vi_name) as select id,name from user;–>这样的话id对应vi_id,name对应vi_name; 上面的都是单表的视图,多表的视图也是一样的,只不过后面的单表查询变成多表查询了. 建议创建视图后自己定义字段名,也即是定义别名. (3)查看视图: Describe(desc) 视图名–>查看视图基本信息 Show table status like ‘视图名’ --> 查看视图基本信息 Show create view 视图名 --> 视图详细信息,建表具体信息. 在view表中查看视图详细信息–>view 系统表 自带的. (4)修改视图:修改使徒的定义 Create or replace view 没有的话就创建,有的话就替换 例如:Create or replace view vi(id,name) as select语句. Alter view 只修改不能创建(也就是说视图必须存在的情况下才可修改) Alter view vi as select语句 (5)更新视图:视图是虚拟的,对视图进行的crud操作都会对原表的数据产生影响. 也就是说对视图的操作最后都会转换为对视图所连接那个表的操作. (6)删除视图:删除数据库中已存在的视图,视图为虚表,因此只会删除结构,不会删除数据. Drop view if exist 视图名. 26.触发器:由事件来触发某个操作,这些事件包括insert语句,update语句和delete语句.当数据库系统执行这些事件时,就会激活触发器执行相应的方法. 创建触发器:create trigger 触发器名 (before/after) 触发事件 on 表名 for each row sql语句. 这里的new是指代新插入的拿一条数据(更新的也算),若是old的话,指的是删除的那一条数据(更新之前的数据).(new和old属于过渡变量) 这条触发器的意思时:当t_book有插入数据时,就会根据新插入数据的id找到t_bookType的id,并试该条数据的bookNum加1. Begin与end写sql语句,中间可以写多条sql语句用分号;分隔开…也即是说语句要写完成,不能少分号. Delimiter | 设置分隔符,要不然好像只会执行begin与and之间的第一条sql语句. 查看触发器: 1.show triggers; 语句查看触发器信息.(查询所有的触发器) 2.在triggers表中查看触发器信息.(在数据库原始表triggers中可以查看) 删除触发器: Drop trigger 触发器名称 ; 27.函数: (1)日期函数: CURDATE()当前日期,CURTIME()当前时间,MONTH(d):返回日期d中的月份值,范围试1-12 (2)字符串函数:CHAR_LENGTH(s) 计算字段s值->字符串的长度.UPPER(s) 把该字段的值中所有英文都变成大写,LOWER(s) 和相面相反->把英文都变成小写. (3)数学函数:sum():求和,ABS(s) 求绝对值,SQRT(s):求平方根,mod(x,y),求余x/y (4)加密函数:PASSWORD(STR) 一般对密码加密 不可逆… MD5(STR) 普通加密 ,不可逆. ENCODE(str,pswd_str) 加密函数,结果是一个二进制文件,用blob类型的字段保存,pswd_str类似一个加密的钥匙,可以随便写. DECODE(被加密的值,pswd_str)–>对encode进行解密. 28.存储过程: (1)存储过程和函数:两者是在数据库中定义一些SQL语句的集合,然后直接调用这些存储过程和函数来执行已经定义好的SQL语句.存储过程和函数可以避免重复的写一些sql语句,而且存储过程是在mysql服务器中存储和执行的,减少客户端和服务器端的数据传输.(类似于java代码写的工具类.) (2)创建存储过程和函数: Create procedure 关键字 pro_book 存储过程名称, in 输入 bT 输入参数名称 int 输入参数类型 out 输出 count_num 输出参数名称 int 输入参数类型 Begin 过程开始 end过程结束 中间是sql语句, Delimiter 默认是分号,而他的作用就是若是遇见分号时就开始执行该过程(语句),但是一个存储过程可能有很多sql语句且以分号结束,若这样的情况下当第一条sql语句结束后就会开始执行该过程,产生的后果是创建过程时,执行到第一个分号就会开始创建,导致存储过程创建错误.(若是有多个参数,在多条sql中均有参数,第一条设置完执行了,而这时第二条的参数有可能还么有设置完成,导致sql执行失败.)因此,需要把默认执行过程的demiliter关键字的默认值改为其他的字符,例如上面的就是改为&&,(当然我认为上面就一条sql语句,改不改默认的demiliter的默认值都一样.) . 使用navicat的话不使用delimiter好像也是可以的. Reads sql data则是上面图片所提到的参数指定存储过程的特性.(这个是指读数据,当然还有写输入与读写数据专用的参数类型.)看下图 经常用contains sql (应该是可以读,) 这个是调用上面的存储过程,1为入参,@total相当于全局变量,为出参. 这是一个存储函数,create function 为关键字,fun_book为函数名称, 括号里面为传入的参数名(值)以及入参的类型.RETURNS 为返回的关键字,后面接返回的类型. BEGIN函数开始,END函数结束.中间是return 以及查询数据的sql语句, 这里是指把bookId 传进去,通过存储函数返回对应的书本名字, ---------存储函数的调用和调用系统函数一样 例如:select 存储函数名称(入参值) Select 为查询 func_book 为存储函数名 2为入参值. (3)变量的使用:declaer:声明变量的值 Delimiter && Create procedure user() Begin Declare a,b varchar2(20) ; — a,b有默认的值,为空 Insert into user values(a,b); End && Delimiter ; Set 可以用来赋值,例如: 可以从其他表中查询出对应的值插入到另一个表中.例如: 从t_user2中查询出username2与password2放入到变量a,b中,然后再插入到t_user表中.(当然这只是创建存储过程),创建完以后,需要用CALL 存储过程名(根据过程参数描写.)来调用存储过程.注意:这一种的写法只可以插入单笔数据,若是select查询出多笔数据,因为无循环故而会插入不进去语句,会导致倒致存储过程时出错.下面的游标也是如此. (4)游标的使用.查询语句可能查询出多条记录,在存储过程和函数中使用游标逐条读取查询结果集中的记录.游标的使用包括声明游标,打开游标,使用游标和关闭游标.游标必须声明到处理程序之前,并且声明在变量和条件之后. 声明:declare 游标名 curson for 查询sql语句. 打开:open 游标名 使用:fetch 游标名 into x, 关闭:close 游标名 ----- 游标只能保存单笔数据. 类似于这一个,意思就是先查询出来username2,与password2的值放入到cur_t_user2的游标中(声明,类似于赋值),然后开启->使用.使用的意思就是把游标中存储的值分别赋值到a,b中,然后执行sql语句插入到t_user表中.最后关闭游标. (5)流程控制的使用:mysql可以使用:IF 语句 CASE语句 LOOP语句 LEAVE语句 ITERATE 语句 REPEAT语句与WHILE语句. 这个过程的意思是,查询t_user表中是否存在id等于我们入参时所写的id,若有的情况下查出有几笔这样的数据并且把数值给到全局变量@num中,if判断是否这样的数据是否存在,若是存在执行THEN后面的语句,即使更新该id对应的username,若没有则插入一条新的数据,最后注意END IF. 相当于java中的switch case.例如: 这里想当然于,while(ture){ break; } 这里的意思是,参数一个int类型的参数,loop aaa循环,把参数当做主键id插入到t_user表中,每循环一次参入的参数值减一,直到参数值为0,跳出循环(if判断,leave实现.) 相当于java的continue. 比上面的多了一个当totalNum = 3时,结束本次循环,下面的语句不在执行,直接执行下一次循环,也即是说插入的数据没有主键为3的数据. 和上面的差不多,只不过当执行到UNTIL时满足条件时,就跳出循环.就如上面那一个意思就是当执行到totalNum = 1时,跳出循环,也就是说不会插入主键为0的那一笔数据 当while条件判断为true时,执行do后面的语句,否则就不再执行. (6)调用存储过程和函数 CALL 存储过程名字(参数值1,参数值2,…) 存储函数名称(参数值1,参数值2,…) (7)查看存储过程和函数. Show procedure status like ‘存储过程名’ --只能查看状态 Show create procedure ‘存储过程名’ – 查看定义(使用频率高). 存储函数查看也和上面的一样. 当然还可以从information_schema.Routines中(系统数据库表)查看存储过程与函数. (8)修改存储过程与函数: 修改存储过程comment属性的值 ALTER procedure 存储过程名 comment ‘新值’; (9)删除存储过程与函数: DROP PROCEDURE 存储过程名; DROP function 存储函数名; 29.数据备份与还原: (1)数据备份:数据备份可以保证数据库表的安全性,数据库管理员需要定期的进行数据库备份. 命令:使用mysqldump(下图),或者使用图形工具 Mysqldump在msql文件夹+bin+mysqldump.exe中,相当于一个小软件.执行的话是在dos命令窗操作的. 其实就是导出数据库数据,在navacat中可以如下图导出 (2)数据还原: 若是从navacat中就是把外部的.sql文件数据导入到数据库中去.如下图 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_42847571/article/details/102686087。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...联系我们，我们将第一时间进行核实并删除相应内容。 yum和源码编译安装的区别 1.路径区别-yum安装的软件是他自定义的，源码安装的软件./configure --preifx=软件安装的绝对路径 2.yum仓库的软件，版本可能比较低，而源码编译安装，版本可控 3.编译安装的软件，支持第三方功能扩展./configure 这里可以加上很多参数，定制功能 1.安装mariadb，配置官方的mariadb的yum源,手动创建 mariadb.repo仓库文件 添加MariaDB源 vi /etc/yum.repos.d/MariaDB.repo 粘贴官方的或者阿里云的镜像： [mariadb]name = MariaDBbaseurl = http://yum.mariadb.org/10.3/centos7-amd64gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDBgpgcheck=1[mariadb]name = MariaDBbaseurl = https://mirrors.aliyun.com/mariadb/yum/10.4/centos7-amd64/gpgkey=https://mirrors.aliyun.com/mariadb/yum/RPM-GPG-KEY-MariaDBgpgcheck=1 2.如果下载速度太慢,请删除 mariadb.repo,只是为了使用阿里云的yum源中的mariadb rm -rf /etc/yum.repos.d/Mariadb.repo然后清空yum 缓存yum clean all 3.通过yum安装mariadb软件,安装mariadb服务端和客户端 官方 yum install MariaDB-server MariaDB-client -y阿里云 yum install mariadb mariadb-server -y 4.安装完成后，启动mariadb服务端 systemctl start/stop/restart/status mariadbsystemctl enable mariadb 开机启动mariadb 5. mariadb初始化 这条命令可以初始化mysql，删除匿名用户，设置root密码等等....mysql_secure_installation1.输入当前密码，初次安装后是没有密码的，直接回车2.询问是否使用 'unix_socket' 进行身份验证: n3.为 root 设置密码：y4.输入 root 的新密码: root5.确认输入 root 的新密码: root6.是否移除匿名用户，这个随意，建议删除： y7.拒绝用户远程登录，这个建议开启：n8.删除 test 库，可以保留：n9.重新加载权限表：y 6. 设置mysql的中文编码支持，修改/etc/my.cnf 1.vi /etc/my.cnf在[mysqld]中添加参数，使得mariadb服务端支持中文[mysqld]character-set-server=utf8collation-server=utf8_general_ci2.重启mariadb服务，读取my.cnf新配置systemctl restart mariadb 3.登录数据库，查看字符编码mysql -uroot -p输入 \s 查看编码 7. mysql常用命 desc 查看表结构create database 数据库名create table 表名查看如何创建db的show create database 库名 查看如何创建table结构的show create table 表名; 修改mysql的密码set password = PASSWORD('redhat'); 创建mysql的普通用户，默认权限非常低create user zhang@'%' identified by '123456'; 查询mysql数据库中的用户信息use mysql;select host,user,password from user; 7. 给用户添加权限命令 对所有库和所有表授权所有权限grant all privileges on . to 账户@主机名 给zhang用户授予所有权限grant all privileges on . to zhang@'%'; 刷新授权表flush privileges; 8. 给用户添加权限命令 给zhangsan用户授予所有权限grant all privileges on . to zhangsan@'%'; 给与root权限授予远程登录的命令 'centos这是密码随意设置grant all privileges on . to root@'%' identified by '123456'; 此时可以在windows登录linux的数据库 连接服务器的mysqlmysql -uyining -p -h 服务器的地址 9. 数据备份与恢复 导出当前数据库的所有db,到一个文件中1.mysqldump -u root -p --all-databases > /data/AllMysql.dump2.登录mysql 导入数据mysql -u root -p> source /data/AllMysql.dump3.通过命令导入数据 在登录时候，导入数据文件，一样可以写入数据mysql -uroot -p < /data/AllMysql.dump 10. 修改Mariadb存储路径 10.1 首先确定MariaDB数据库能正常运行，确定正常后关闭服务 systemctl stop mariadb 10.2 建立要更改数据存放的目录，如：我这单独分了一个区/data存放MariaDB的数据 mkdir /data/mysql_data chown -R mysql:mysql /data/mysql_data 10.3 复制默认数据存放文件夹到/data/mysql_data cp -a /var/lib/mysql /data/mysql_data 10.4 修改/etc/my.cnf.d/server.cnf vim /etc/my.cnf.d/server.cnf 在[mysqld]标签下添加如下内容 datadir=/data/mysql_data/mysqlsocket=/var/lib/mysql/mysql.sockdefault-character-set=utf8character_set_server=utf8slow_query_log=onslow_query_log_file=/data/mysql_data/slow_query_log.loglong_query_time=2 10.5 配置MariaDB慢查询 touch /data/mysql_data/slow_query_log.logchown mysql:mysql /data/mysql_data/slow_query_log.log 10.6 重启数据库 systemctl start mariadb 10.7 注意： 1、配置文件my.cnf存在，但是修改的并不是my.cnf，而是/etc/my.cnf.d/server.cnf； 2、并没有更改mysql.sock的路径配置； 3、没有修改/etc/init.d/mysql中的内容； 4、没有修改mysql_safe中的内容； 5、增加了数据库的慢查询配置。 11. Mariadb主从复制 11.1 主从库初始化 这条命令可以初始化mysql，删除匿名用户，设置root密码等等....mysql_secure_installation1.输入当前密码，初次安装后是没有密码的，直接回车2.询问是否使用 'unix_socket' 进行身份验证: n3.为 root 设置密码：y4.输入 root 的新密码: root5.确认输入 root 的新密码: root6.是否移除匿名用户，这个随意，建议删除： y7.拒绝用户远程登录，这个建议开启：n8.删除 test 库，可以保留：n9.重新加载权限表：y 11.2 修改主库配置 [root@mster mysql] grep -Ev "^$|^" /etc/my.cnf.d/server.cnf[server][mysqld]character-set-server=utf8collation-server=utf8_general_ciserver_id = 13 一组主从组里的每个id必须是唯一值。推荐用ip位数log-bin= mysql-bin 二进制日志，后面指定存放位置。如果只是指定名字，默认存放在/var/lib/mysql下lower_case_table_names=1 不区分大小写binlog-format=ROW 二进制日志文件格式log-slave-updates=True slave更新是否记入日志sync-master-info=1 值为1确保信息不会丢失slave-parallel-threads=3 同时启动多少个复制线程，最多与要复制的数据库数量相等即可binlog-checksum=CRC32 效验码master-verify-checksum=1 启动主服务器效验slave-sql-verify-checksum=1 启动从服务器效验[galera][embedded][mariadb][mariadb-10.6][root@mster-k8s mysql] 11.2 修改从库配置 [mysqld]character-set-server=utf8collation-server=utf8_general_ciserver_id=14log-bin= mysql-bin log-bin是二进制文件relay_log = relay-bin 中继日志, 后面指定存放位置。如果只是指定名字，默认存放在/var/lib/mysql下lower_case_table_names=1 11.3 重启主库和从库服务 systemctl restart mariad 11.4 master节点配置 MariaDB [huawei]> grant replication slave, replication client on . to 'liu'@'%' identified by '123456';Query OK, 0 rows affected (0.001 sec)MariaDB [huawei]> show master status;+------------------+----------+--------------+------------------+| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |+------------------+----------+--------------+------------------+| mysql-bin.000001 | 4990 | | |+------------------+----------+--------------+------------------+1 row in set (0.000 sec)MariaDB [huawei]> select binlog_gtid_pos('mysql-bin.000001', 4990 );+-------------------------------------------+| binlog_gtid_pos('mysql-bin.000001', 4990) |+-------------------------------------------+| 0-13-80 |+-------------------------------------------+1 row in set (0.000 sec)MariaDB [huawei]> flush privileges; 11.5 slave节点配置 MariaDB [(none)]> set global gtid_slave_pos='0-13-80';Query OK, 0 rows affected (0.004 sec)MariaDB [(none)]> change master to master_host='101.34.141.216',master_user='liu',master_password='123456',master_use_gtid=slave_pos;Query OK, 0 rows affected (0.008 sec)MariaDB [(none)]> start slave;Query OK, 0 rows affected (0.005 sec)MariaDB [(none)]> 11.6 验证salve状态 MariaDB [(none)]> show slave status\G 1. row Slave_IO_State: Waiting for master to send eventMaster_Host: 101.34.141.216Master_User: liuMaster_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000001Read_Master_Log_Pos: 13260Relay_Log_File: relay-bin.000002Relay_Log_Pos: 10246Relay_Master_Log_File: mysql-bin.000001Slave_IO_Running: YesSlave_SQL_Running: YesReplicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0Last_Error: Skip_Counter: 0Exec_Master_Log_Pos: 13260Relay_Log_Space: 10549Until_Condition: NoneUntil_Log_File: Until_Log_Pos: 0Master_SSL_Allowed: NoMaster_SSL_CA_File: 本篇文章为转载内容。原文链接：https://blog.csdn.net/l363130002/article/details/126121255。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

MySQL , MySQL是一种广泛使用、开源的关系型数据库管理系统（RDBMS），由Oracle公司开发并维护。在本文的上下文中，MySQL提供了一种结构化存储和管理数据的方式，通过SQL语言支持对数据进行增删改查等操作。在互联网应用、企业系统以及云计算、大数据环境下，MySQL因其稳定、高效和易于扩展的特性而得到广泛应用。 JDBC（Java Database Connectivity） , JDBC是Java编程语言中用于实现与各种关系型数据库交互的一套API标准，它允许Java程序访问和处理任何类型的数据库系统。在文章中提到的Java读取MySQL示例中，开发者正是通过导入java.sql.包并利用JDBC API来建立到MySQL数据库的连接，执行SQL语句，并获取查询结果。 缓存技术 , 缓存技术是一种提升数据读取速度的方法，通常用于减少数据库负载并提高应用程序性能。例如，Memcached和Redis就是两种常用的内存键值存储系统，可作为数据库前级缓存使用。当应用程序需要频繁读取的数据时，可以从高速缓存而非数据库直接获取，从而避免了每次请求都直接访问数据库带来的延迟。在本文中，为了提高MySQL读取效率，作者建议可以引入缓存技术以加速数据访问过程。

...用Golang进行高性能数据库访问和操作 嗨，各位Gopher们！今天咱们聊聊如何使用Golang（简称Go）来高效地访问和操作数据库。这不仅关乎性能，更是我们作为开发者追求卓越编程体验的一部分。在这过程中，咱们会碰到一堆有趣的问题，还能挖出不少值得研究的技术点，挺好玩的！所以，让我们一起开始这段旅程吧！ 1. 理解Golang与数据库交互的基础 首先，我们要明白Golang是如何与数据库进行交互的。Go语言以其简洁和高效著称，尤其是在处理并发任务时。说到聊数据库访问，咱们通常就是扯到SQL查询啊，还有怎么管事务，再有就是怎么用连接池这些事儿。 1.1 连接池的重要性 连接池是数据库访问中非常关键的一环。它允许我们在不频繁建立新连接的情况下，重用已有的数据库连接，从而提高效率并减少资源消耗。想象一下，如果你每次执行SQL查询都要打开一个新的数据库连接，那效率该有多低啊！ 1.2 SQL查询与ORM 在进行数据库操作时，我们有两种主要的方法：直接编写SQL语句或者使用ORM（对象关系映射）。直接编写SQL语句虽然能够提供更多的控制权，但可能会增加出错的风险。而ORM则通过将数据库表映射到程序中的对象，使得数据操作更加直观。不过，选择哪种方式，还要根据具体的应用场景和个人偏好来决定。 2. 实践篇 构建高性能数据库访问 现在，让我们进入实践部分。咱们这就来点儿实战教学，用几个小例子带你看看怎么用Go语言搞定又快又稳的数据库操作。 2.1 使用标准库 database/sql Go语言的标准库提供了database/sql包，它是一个用于SQL数据库的通用接口。下面是一个简单的例子： go package main import ( "database/sql" _ "github.com/go-sql-driver/mysql" // 注意这里需要导入MySQL驱动 "fmt" ) func main() { db, err := sql.Open("mysql", "user:password@tcp(127.0.0.1:3306)/dbname") if err != nil { panic(err.Error()) } defer db.Close() // 执行一个简单的查询 rows, err := db.Query("SELECT id, name FROM users") if err != nil { panic(err.Error()) } defer rows.Close() for rows.Next() { var id int var name string err = rows.Scan(&id, &name) if err != nil { panic(err.Error()) } fmt.Println(id, name) } } 2.2 使用ORM工具：Gorm 对于更复杂的项目，使用ORM工具如Gorm可以极大地简化数据库操作。Gorm就像是给数据库操作加了个“翻译”，让我们可以用更贴近日常说话的方式来摆弄数据库里的数据，感觉就像是在玩弄对象一样轻松。下面是如何使用Gorm的一个简单示例： go package main import ( "gorm.io/driver/mysql" "gorm.io/gorm" "log" ) type User struct { ID uint Name string } func main() { dsn := "user:password@tcp(127.0.0.1:3306)/dbname?charset=utf8mb4&parseTime=True&loc=Local" db, err := gorm.Open(mysql.Open(dsn), &gorm.Config{}) if err != nil { log.Fatal(err) } // 创建用户 newUser := User{Name: "John Doe"} db.Create(&newUser) // 查询用户 var user User db.First(&user, newUser.ID) log.Printf("Found user: %s\n", user.Name) } 3. 性能优化技巧 在实际开发中，除了基础的数据库操作外，我们还需要考虑如何进一步优化性能。这里有几个建议： - 索引：确保你的数据库表上有适当的索引，特别是对于那些频繁查询的字段。 - 缓存：利用缓存机制（如Redis）来存储常用的数据结果，可以显著减少数据库的负载。 - 批量操作：尽量减少与数据库的交互次数，比如批量插入或更新数据。 - 异步处理：对于耗时的操作，可以考虑使用异步处理方式，避免阻塞主线程。 4. 结语 通过以上的内容，我们大致了解了如何使用Go语言进行高性能的数据库访问和操作。当然，这只是冰山一角，真正的高手之路还很长。希望能给你带来点儿灵感，让你在Go语言的路上越走越远，越走越顺！记住，编程是一场马拉松，不是短跑，保持耐心，不断学习和尝试新的东西吧！ --- 希望这篇文章能帮助你更好地理解和应用Golang在数据库访问方面的最佳实践。如果你有任何问题或想法，欢迎随时交流讨论！