[服务器端Channel初始化与绑定异常 ]的搜索结果

通过ChannelOption.SO_REUSEADDR提高Netty服务的可用性 在高性能网络编程领域，Netty作为一款异步事件驱动的网络应用框架，在处理高并发、高负载场景时表现卓越。本文将围绕如何通过配置ChannelOption.SO_REUSEADDR这一参数来提升Netty服务的可用性进行深入探讨，并结合实际代码示例以增强理解和实践效果。 1. SO_REUSEADDR的含义与作用 首先，让我们揭开SO_REUSEADDR这个神秘面纱。在咱们的TCP/IP协议这套体系里，有个叫SO_REUSEADDR的小功能，可别小瞧它。简单来说，就是允许咱在同一台电脑的不同程序里头，即使之前某个连接还在“TIME_WAIT”这个等待状态没完全断开，也能重新使用同一个IP地址和端口进行绑定。这就像是同一家咖啡馆，即使前一位客人还没完全离开座位，服务员也能让新客人坐到同一个位置上。这对于服务器程序来说，可是个大大的关键点。想象一下，如果服务器突然罢工或者重启了，如果我们没把这个选项给设置好，新的服务在启动时就可能遇到些小麻烦。具体是什么呢？就是那些旧的、还没彻底断开的TIME_WAIT连接可能会霸占着端口不放，导致新服务无法立马投入使用，这样一来，咱的服务连续性和可用性可就大打折扣啦！ 2. Netty中的SO_REUSEADDR配置 在Netty中，我们可以通过ChannelOption.SO_REUSEADDR来启用这个特性。下面是一段典型的Netty ServerBootstrap配置SO_REUSEADDR的代码示例： java EventLoopGroup bossGroup = new NioEventLoopGroup(); EventLoopGroup workerGroup = new NioEventLoopGroup(); try { ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) // 配置SO_REUSEADDR选项 .option(ChannelOption.SO_REUSEADDR, true) .childHandler(new ChannelInitializer() { @Override protected void initChannel(SocketChannel ch) throws Exception { // 初始化通道处理器等操作... } }); ChannelFuture f = b.bind(PORT).sync(); f.channel().closeFuture().sync(); } finally { bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); } 在这段代码中，我们在创建ServerBootstrap实例后，通过.option(ChannelOption.SO_REUSEADDR, true)设置了SO_REUSEADDR选项为true，这意味着我们的Netty服务器将能够快速地重新绑定到之前被关闭或异常退出的服务器所占用的端口上，显著提升了服务的重启速度和可用性。 3. 应用场景分析及思考过程 想象这样一个场景：我们的Netty服务因某种原因突然宕机，此时可能存在大量未完全关闭的连接在系统中处于TIME_WAIT状态，如果立即重启服务，未配置SO_REUSEADDR的情况下，服务可能会因为无法绑定端口而无法正常启动。当咱们给服务开启了SO_REUSEADDR这个神奇的设置后，新启动的服务就能对那些处于TIME_WAIT状态的连接“视而不见”，直接霸道地占用端口，然后以迅雷不及掩耳之势恢复对外提供服务。这样一来，系统的稳定性和可用性就蹭蹭地往上飙升了，真是给力得很呐！ 然而，这里需要强调的是，虽然SO_REUSEADDR对于提升服务可用性有明显帮助，但并不意味着它可以随意使用。当你在处理多个进程或者多个实例同时共享一个端口的情况时，千万可别大意，得小心翼翼地操作，不然可能会冒出一些你意想不到的“竞争冲突”或是“数据串门”的麻烦事儿。因此，理解并合理运用SO_REUSEADDR是每个Netty开发者必备的技能之一。 总结来说，通过在Netty中配置ChannelOption.SO_REUSEADDR，我们可以优化服务器重启后的可用性，减少由于端口占用导致的延迟，让服务在面对故障时能更快地恢复运行。这不仅体现了Netty在实现高性能、高可靠服务上的灵活性，也展示了其对底层网络通信机制的深度掌握和高效利用。

...可能会遇到各种各样的异常情况，其中之一就是UnexpectedMessageSizeException。这个异常通常会在我们处理网络数据流的时候出现，就像是当你收到的消息包大得超出了预期或者超过了系统设定的最大限制，这时候程序就会像扔飞盘一样把这个异常给抛出来。那么，面对这种棘手问题，我们应该如何理解和解决呢？让我们一起探讨和揭秘吧！ 1. 异常理解 解密UnexpectedMessageSizeException 在使用Netty进行通信时，尤其是在处理TCP协议的数据流时，由于TCP本身是无边界的，所以需要我们在应用层去判断消息的边界。Netty这家伙有个聪明的做法，就是给每个消息设定一个合适的“大小上限”——maxMessageSize，这样一来，任何消息都不能长得没边儿。要是有哪个消息过于“膨胀”，胆敢超过这个限制值，不好意思，Netty可不会客气，直接会给你抛出一个“意料之外的消息尺寸异常”——UnexpectedMessageSizeException，以此来表明它的原则性和纪律性。 这个异常的背后，实际上是Netty对传输层安全性的保障措施，防止因恶意或错误的大数据包导致内存溢出等问题。 2. 溯源分析 引发异常的原因 下面是一个简单的代码示例，展示了未正确配置maxMessageSize可能引发此异常： java public class MyServerInitializer extends ChannelInitializer { @Override protected void initChannel(SocketChannel ch) throws Exception { ChannelPipeline pipeline = ch.pipeline(); // 假设我们没有设置任何限制 pipeline.addLast(new LengthFieldBasedFrameDecoder(Integer.MAX_VALUE, 0, 4, 0, 4)); pipeline.addLast(new StringDecoder(CharsetUtil.UTF_8)); pipeline.addLast(new ServerHandler()); } } 在上述代码中，我们未给LengthFieldBasedFrameDecoder设置最大帧长度，因此理论上它可以接受任意大小的消息，这就可能导致UnexpectedMessageSizeException。 3. 解决方案 合理设置消息大小限制 为了解决这个问题，我们需要在初始化解码器时，明确指定一个合理的maxMessageSize。例如： java public class MyServerInitializer extends ChannelInitializer { private static final int MAX_FRAME_LENGTH = 1024 1024; // 设置每条消息的最大长度为1MB @Override protected void initChannel(SocketChannel ch) throws Exception { ChannelPipeline pipeline = ch.pipeline(); // 正确设置最大帧长度 pipeline.addLast(new LengthFieldBasedFrameDecoder(MAX_FRAME_LENGTH, 0, 4, 0, 4)); pipeline.addLast(new StringDecoder(CharsetUtil.UTF_8)); pipeline.addLast(new ServerHandler()); } } 这样，如果收到的消息大小超过1MB，LengthFieldBasedFrameDecoder将不再尝试解码并会抛出异常，而不是消耗大量内存。 4. 进一步探讨 异常处理与优化策略 虽然我们已经设置了消息大小的限制，但仍然建议在实际业务场景中对接收到超大消息的情况进行适当的异常处理，比如记录日志、关闭连接等操作： java public class ServerHandler extends SimpleChannelInboundHandler { @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) { if (cause instanceof TooLongFrameException || cause instanceof UnexpectedMessageSizeException) { System.out.println("Caught an oversized message, closing connection..."); ctx.close(); } else { // 其他异常处理逻辑... } } // ...其他处理器逻辑... } 最后，对于消息大小的设定，并非越大越好，而应根据具体应用场景和服务器资源状况进行权衡。另外，咱们也可以琢磨琢磨用些招儿来对付大消息这个难题，比如把消息分块传输，或者使使劲儿，用压缩算法给它“瘦身”一下。 总的来说，处理Netty中的UnexpectedMessageSizeException关键在于提前预防，合理设置消息大小上限，以及妥善处理异常情况。只有把这些技巧摸得门儿清、运用自如，咱们的Netty应用程序才能真正变得身强力壮、高效无比。在这个过程中，不断地思考、实践与优化，才是编程乐趣之所在！

...，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 演讲者：黄涛 AWS高级技术讲师 下载地址：MP4完整视频下载 1. 邱洋的总结 AWS的服务和技术繁多，选择适合自己的方向，而不是什么都去学 AWS的学习资源异常丰富，包括视频、免费文档、在线实验、社区以及专家课程（收费） AWS的考试包括助理级和专家级，并且分别针对架构师、开发与运维人员 助理架构师考试主要针对：设计、实施部署、数据安全、故障排除等4个方面进行考核 AWS的架构师考试重点需要掌握7大“云设计架构”如：弹性原则、最小授权原则等等，熟悉这些非常有助于答题（就好比当初考车的文科一样，是有规律可循的） 多动手非常有助于通过考试，同时也是熟练掌握的不二法宝 助理架构师考试，建议考生拥有6个月AWS实战经验 专家级架构师考试，建议考生拥有2年的实战经验 2. 概述 2.1 AWS的服务列表概览 2.2 需要确定好自己的定位与方向 包括三个维度： - 什么行业 – （移动？视频？互联网？企业？金融？） - 解决什么问题 – 大规模分发？大数据？混合网络？ - 使用哪些服务 – 虚拟主机？虚拟网络和安全？hadoop集群？数据仓库？ 2.3 学习方法是以赛代练（步步实践，边学边用） 首先【观看自学视频】 然后听取【在线课堂】 理论差不多有，开始【动手实验室】（15个免费实验） 深入了解需要【详细查看文档】建议至少先从FAQ阅读，可以缩短很长时间 利用【免费AWS套餐】注意平时的理解和学习 再进行高级实验 需要了解各个服务之间的关联等，【听取讲师指导课程】，就可以高层次的了解服务内容 参加认证考试 2.4 AWS导师课程分类和级别 人员分类：解决方案师、开发人员、系统操作人员 课程分类：入门级、基础级、高级、专项 3. AWS认证的背景信息 3.1 认证的类型 助理级 – 助理架构师 – 助理开发人员 – 助理系统管理员 专家级 – 专家架构师 – 专家开发运维 认证共有5个，如果要参加专家级认证必须先通过助理级认证，其中“专家开发运维(devops)”的认证则通过任意(开发 or 运维)的助理级认证即可 3.2 获得认证后的收益？ 对个人 – 可以证明个人在AWS平台上具备设计、部署和管理高可用、低成本、安全应用的能力 – 在工作上或社区中得到尊重和认可 – 可以把认证放到简历中，linkedin中整合了AWS认证徽章 对企业雇主 – 具备AWS上服务和工具的使用的认可 – 客户认可，降低AWS项目实施风险 – 增加客户满意度 3.3 再认证模式 因为AWS的服务在更新，因此每两年要重新认证（证件的有效期2年），再次参加考试时，题目、时间将会更少，且认证费用更低 3.4 助理架构师认证的知识领域 四大知识域 1 设计：高可用、高效率、可容错低、可扩展的系统 2 实施和部署：强调部署操作能力 3 数据安全性：在部署操作时，始终保持数据保存和传输的安全 4 排除故障：在系统出现问题时，可以快速找到问题并解决问题 知识权重 - 设计：60%的题目 - 实施和部署：10%的题目 - 数据安全：20%的题目 - 排除故障：10%的题目 PS：考试不会按照上面的次序、考试不会注明考试题目的分类 3.5 认证过程 需要在网上注册，找到距离家里比较近的地方考试（考点） 到了现场需要携带身份证，证明自己 并不允许带手机入场 证件上必须有照片 签署NDA保证不会泄露考题 考试中心的电脑中考试（80分钟，55个考题） 考试后马上知道分数和是否通过（不会看到每道题目是否正确） 通过后的成绩、认证证书等将发到email邮箱中 3.6 考试机制 助理级别考试的重点是：单一服务和小规模的组合服务的掌握程度 所有题目都是选择题（多选或单选） 不惩罚打错，所以留白没意义，可以猜一个 55道题 可以给不确定的题目打标签，没提交前都可以回来改答案 3.7 题目示例 单选题 多选题（会告诉你有多少个答案） 汇总查看答案以及mark（标记） 4 AWS架构的7大设计原则 4.1 松耦合 松耦合是容错、运维自动扩容的基础，在设计上应该尽量减少模块间的依赖性，将不会成为未来应用调整、发展的阻碍 松耦合模式的情况 不要标示（依赖）特定对象，依赖特定对象耦合性将非常高 – 使用负载均衡器 – 域名解析 – 弹性IP – 可以动态找到配合的对象，为松耦合带来方便，为应用将来的扩展带来好处 不要依赖其他模块的正确处理或及时的处理 – 使用尽量使用异步的处理，而不是同步的（SQS可以帮到用户） 4.2 模块出错后工作不会有问题 问问某个模块出了问题，应用会怎么样？ 在设计的时候，在出了问题会有影响的模块，进行处理，建立自动恢复性 4.3 实现弹性 在设计上，不要假定模块是正常的、始终不变的 – 可以配合AutoScaling、EIP和可用区AZ来满足 允许模块的失败重启 – 无状态设计比有状态设计好 – 使用ELB、云监控去检测“实例”运行状态 有引导参数的实例（实现自动配置） – 例如：加入user data在启动的时候，告知它应该做的事情 在关闭实例的时候，保存其配置和个性化 – 例如用DynamoDB保存session信息 弹性后就不会为了超配资源而浪费钱了 4.4 安全是整体的事，需要在每个层面综合考虑 基础架构层 计算/网络架构层 数据层 应用层 4.5 最小授权原则 只付于操作者完成工作的必要权限 所有用户的操作必须授权 三种类型的权限能操作AWS – 主账户 – IAM用户 – 授权服务(主要是开发的app） 5 设计：高可用、高效率、可容错、可扩展的系统 本部分的目标是设计出高可用、高效率低成本、可容错、可扩展的系统架构 - 高可用 – 了解AWS服务自身的高可靠性（例如弹性负载均衡）—-因为ELB是可以多AZ部署的 – 用好这些服务可以减少可用性的后顾之忧 - 高效率(低成本) – 了解自己的容量需求，避免超额分配 – 利用不同的价格策略，例如：使用预留实例 – 尽量使用AWS的托管服务（如SNS、SQS） - 可容错 – 了解HA和容错的区别 – 如果说HA是结果，那么容错则是保障HA的一个重要策略 – HA强调系统不要出问题，而容错是在系统出了问题后尽量不要影响业务 - 可扩展性 – 需要了解AWS哪些服务自身就可以扩展，例如SQS、ELB – 了解自动伸缩组（AS） 运用好 AWS 7大架构设计原则的：松耦合、实现弹性 6 实施和部署设计 本部分的在设计的基础上找到合适的工具来实现 对比第一部分“设计”，第一章主要针对用什么，而第二章则讨论怎么用 主要考核AWS云的核心的服务目录和核心服务，包括： 计算机和网络 – EC2、VPC 存储和内容分发 – S3、Glacier 数据库相关分类 – RDS 部署和管理服务 – CloudFormation、CloudWatch、IAM 应用服务 – SQS、SNS 7 数据安全 数据安全的基础，是AWS责任共担的安全模型模型，必须要读懂 数据安全包括4个层面：基础设施层、计算/网络层、数据层、应用层 - 基础设施层 1. 基础硬件安全 2. 授权访问、流程等 - 计算/网络层 1. 主要靠VPC保障网络（防护、路由、网络隔离、易管理） 2. 认识安全组和NACLs以及他们的差别 安全组比ACL多一点，安全组可以针对其他安全组，ACL只能针对IP 安全组只允许统一，ACL可以设置拒绝 安全组有状态！很重要（只要一条入站规则通过，那么出站也可以自动通过），ACL没有状态（必须分别指定出站、入站规则） 安全组的工作的对象是网卡（实例）、ACL工作的对象是子网 认识4种网关，以及他们的差别 共有4种网关，支撑流量进出VPC internet gatway：互联网的访问 virtual private gateway：负责VPN的访问 direct connect：负责企业直连网络的访问 vpc peering：负责VPC的peering的访问 数据层 数据传输安全 – 进入和出AWS的安全 – AWS内部传输安全 通过https访问API 链路的安全 – 通过SSL访问web – 通过IP加密访问VPN – 使用直连 – 使用OFFLINE的导入导出 数据的持久化保存 – 使用EBS – 使用S3访问 访问 – 使用IAM策略 – 使用bucket策略 – 访问控制列表 临时授权 – 使用签名的URL 加密 – 服务器端加密 – 客户端加密 应用层 主要强调的是共担风险模型 多种类型的认证鉴权 给用户在应用层的保障建议 – 选择一种认证鉴权机制（而不要不鉴权） – 用安全的密码和强安全策略 – 保护你的OS（如打开防火墙） – 用强壮的角色来控制权限（RBAC） 判断AWS和用户分担的安全中的标志是，哪些是AWS可以控制的，那些不能，能的就是AWS负责，否则就是用户（举个例子：安全组的功能由AWS负责—是否生效，但是如何使用是用户负责—自己开放所有端口跟AWS无关） AWS可以保障的 用户需要保障的 工具与服务 操作系统 物理内部流程安全 应用程序 物理基础设施 安全组 网络设施 虚拟化设施 OS防火墙 网络规则 管理账号 8 故障排除 问题经常包括的类型： - EC2实例的连接性问题 - 恢复EC2实例或EBS卷上的数据 - 服务使用限制问题 8.1 EC2实例的连接性问题 经常会有多个原因造成无法连接 外部VPC到内部VPC的实例 – 网关（IGW–internet网关、VPG–虚拟私有网关）的添加问题 – 公司网络到VPC的路由规则设置问题 – VPC各个子网间的路由表问题 – 弹性IP和公有IP的问题 – NACLs（网络访问规则） – 安全组 – OS层面的防火墙 8.2 恢复EC2实例或EBS卷上的数据 注意EBS或EC2没有任何强绑定关系 – EBS是可以从旧实例上分离的 – 如有必要尽快做 将EBS卷挂载到新的、健康的实例上 执行流程可以针对恢复没有工作的启动卷（boot volume） – 将root卷分离出来 – 像数据一样挂载到其他实例 – 修复文件 – 重新挂载到原来的实例中重新启动 8.3 服务使用限制问题 AWS有很多软性限制 – 例如AWS初始化的时候，每个类型的EBS实例最多启动20个 还有一些硬性限制例如 – 每个账号最多拥有100个S3的bucket – …… 别的服务限制了当前服务 – 例如无法启动新EC2实例，原因可能是EBS卷达到上限 – Trusted Advisor这个工具可以根据服务水平的不同给出你一些限制的参考（从免费试用，到商业试用，和企业试用的建议） 常见的软性限制 公共的限制 – 每个用户最多创建20个实例，或更少的实例类型 – 每个区域最多5个弹性ip – 每个vpc最多100个安全组 – 最多20个负载均衡 – 最多20个自动伸缩组 – 5000个EBS卷、10000个快照，4w的IOPS和总共20TB的磁盘 – …更多则需要申请了 你不需要记住限制 – 知道限制，并保持数值敏感度就好 – 日后遇到问题时可以排除掉软限制的相关的问题 9. 总结 9.1 认证的主要目标是： 确认架构师能否搜集需求，并且使用最佳实践，在AWS中构建出这个系统 是否能为应用的整个生命周期给出指导意见 9.2 希望架构师(助理或专家级)考试前的准备： 深度掌握至少1门高级别语言（c，c++，java等） 掌握AWS的三份白皮书 – aws概览 – aws安全流程 – aws风险和应对 – 云中的存储选项 – aws的架构最佳实践 按照客户需求，使用AWS组件来部署混合系统的经验 使用AWS架构中心网站了解更多信息 9.3 经验方面的建议 助理架构师 – 至少6个月的实际操作经验、在AWS中管理生产系统的经验 – 学习过AWS的基本课程 专家架构师 – 至少2年的实际操作经验、在AWS中管理多种不同种类的复杂生产系统的经验（多种服务、动态伸缩、高可用、重构或容错） – 在AWS中执行构建的能力，架构的高级概念能力 9.4 相关资源 认证学习的资源地址 - 可以自己练习，模拟考试需要付费的 接下来就去网上报名参加考试 本篇文章为转载内容。原文链接：https://blog.csdn.net/QXK2001/article/details/51292402。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...lection找不到服务器选择策略”问题的深度解析与解决之道 在深入使用Netty这一高性能、异步事件驱动的网络应用程序框架时，我们可能会遇到一个常见的异常提示：“CannotFindServerSelection找不到服务器选择策略”。这句话其实就是在说，我们在设置的时候，可能马虎大意了，没把服务器地址或者地址类型给整明白，就像是拼图少了关键一块，让整个配置过程卡壳了。这篇东西，咱们就围着这个话题转悠，我会带着大伙儿瞅瞅实例代码，掰开揉碎了细细讲讲，一起摸清楚这背后的门道，再聊聊怎么机智地躲过这类问题的坑。 1. 问题概述 无法找到服务器选择策略 在Netty中，当我们尝试连接到远程服务器时，需要明确指定服务器的地址信息。如果在配置的时候，你忘记或者不小心设错了服务器地址，Netty这个家伙就像丢了指南针的探险家，完全找不到北，不知道该连接哪个目标服务器。这时候，它就会抛出一个“CannotFindServerSelection找不到服务器选择策略”的大异常，就像是在跟你说：“喂喂喂，我迷路了，快帮我看看地址对不对！”这就好比你要去朋友家做客，但没有拿到具体地址，自然就迷失了方向。 2. 配置示例与问题分析 首先，让我们通过一段简单的Netty客户端初始化代码来直观理解这个问题： java EventLoopGroup group = new NioEventLoopGroup(); Bootstrap bootstrap = new Bootstrap(); bootstrap.group(group) .channel(NioSocketChannel.class) // 指定通道类型 .handler(new ChannelInitializer() { @Override protected void initChannel(SocketChannel ch) throws Exception { ch.pipeline().addLast(new StringDecoder(), new StringEncoder(), new SimpleClientHandler()); } }); // 错误的服务器地址配置方式（未指定服务器地址） bootstrap.connect(); // 这里没有提供服务器地址和端口，将会导致"CannotFindServerSelection"异常 // 正确的服务器地址配置方式 bootstrap.connect(new InetSocketAddress("localhost", 8080)); // 提供具体的服务器地址和端口 上述代码中，错误的bootstrap.connect()调用并未传入任何服务器地址信息，因此会触发异常。而正确的做法是提供一个InetSocketAddress对象，包含目标服务器的IP地址和端口号。 3. 地址类型的影响 此外，除了确保服务器地址已正确设置外，还需注意的是地址类型的选择。例如，在上述代码中，我们使用了NioSocketChannel作为通信通道，对应的服务器地址类型应为InetSocketAddress。如果你的应用恰好需要用到Unix Domain Socket或者其他一些特别的地址类型，那你就得相应地“变通”一下，调整你的地址类型和通道实现方式，就像是在玩拼图游戏一样，不同的场景要选用不同的拼图块儿。 java // 使用Unix Domain Socket的场景 bootstrap.channel(UnixSocketChannel.class); bootstrap.connect(new DomainSocketAddress("/path/to/socket")); 4. 思考与探讨 面对“CannotFindServerSelection”这样的问题，我们不仅要学会从错误信息中找出关键线索，更要深刻理解Netty框架的工作原理，以确保在配置环节做到万无一失。这就像是平时计划出门旅行一样，不仅得清楚自己要奔向哪个具体的地方（服务器地址），还必须挑对最合适的座驾或交通工具（通道类型），才能一路顺风、顺利到达目的地。 总结来说，当你在使用Netty时遇到“CannotFindServerSelection找不到服务器选择策略”的问题时，别忘了检查两点：一是是否设置了确切的服务器地址；二是所使用的通道类型与地址类型是否匹配。只要把这两个关键点搞定了，咱们就能轻轻松松解决这个麻烦，确保咱们的网络编程之路一路绿灯，畅通无阻地向前冲。

...用的高手，用它来搭建服务器端的应用，又快又稳，简直不要太爽！不过嘛，要是我们在同时处理多个任务时搞砸了资源分配，就算有Netty这样的强力帮手也可能会束手无策。 2. 资源分配的误区 为什么我们会犯错？ 在开始之前，让我们先思考一下：为什么我们会选择错误的资源分配算法呢？很多时候，这个问题可能源自于对系统需求的理解不足，或者是对现有技术栈的过度依赖。比如说，如果我们没意识到自己的应用得应对海量的同时请求，然后就随便选了个简单的线程池方案，那到了高峰期，系统卡成狗基本上是躲不掉的。 2.1 案例分析：一个失败的案例 假设我们正在开发一款即时通讯应用，目标是支持数千用户同时在线聊天。一开始，我们可能觉得用个固定大小的线程池挺省事儿，以为这样能简化开发流程，结果发现事情没那么简单。不过嘛，在真正的战场里，一旦用户蜂拥而至，这种方法就露馅了：线程池里的线程忙得团团转，新的请求不是被直接拒之门外，就是得乖乖排队，等老半天才轮到自己。这不仅影响了用户体验，也限制了系统的扩展能力。 3. Netty中的并发资源分配 寻找正确的路径 既然提到了Netty，那么我们就来看看如何利用Netty来解决并发资源分配的问题。Netty提供了多种机制来管理并发访问，其中最常用的莫过于EventLoopGroup和ChannelPipeline。 3.1 EventLoopGroup：并发管理的核心 EventLoopGroup是Netty中用于处理并发请求的核心组件之一。这家伙专门管理一帮EventLoop小弟，每个小弟都负责处理一类特定的活儿，比如读数据啦，写数据啦，干得可带劲了！合理地设置EventLoopGroup，就能更好地分配和管理资源，避免大家抢来抢去的尴尬局面啦。 示例代码： java // 创建两个不同的EventLoopGroup，分别用于客户端和服务端 EventLoopGroup bossGroup = new NioEventLoopGroup(1); EventLoopGroup workerGroup = new NioEventLoopGroup(); try { // 创建服务器启动器 ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) .childHandler(new ChannelInitializer() { @Override public void initChannel(SocketChannel ch) throws Exception { ch.pipeline().addLast(new TimeServerHandler()); } }); // 绑定端口，同步等待成功 ChannelFuture f = b.bind(port).sync(); // 等待服务端监听端口关闭 f.channel().closeFuture().sync(); } finally { // 优雅地关闭所有线程组 bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); } 在这个例子中，我们创建了两个EventLoopGroup：bossGroup和workerGroup。前者用于接收新的连接请求，后者则负责处理这些连接上的I/O操作。这样的设计不仅提高了并发处理能力，还使得代码结构更加清晰。 3.2 ChannelPipeline：灵活的请求处理管道 除了EventLoopGroup之外，Netty还提供了一个非常强大的功能——ChannelPipeline。这简直就是个超级灵活的请求处理流水线，我们可以把一堆处理器像串糖葫芦一样串起来，然后一个个按顺序来处理网络上的请求，简直不要太爽！这种方式非常适合那些需要执行复杂业务逻辑的应用场景。 示例代码： java public class TimeServerHandler extends ChannelInboundHandlerAdapter { @Override public void channelRead(ChannelHandlerContext ctx, Object msg) { ByteBuf buf = (ByteBuf) msg; try { byte[] req = new byte[buf.readableBytes()]; buf.readBytes(req); String body = new String(req, "UTF-8"); System.out.println("The time server receive order : " + body); String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body) ? new Date( System.currentTimeMillis()).toString() : "BAD ORDER"; currentTime = currentTime + System.getProperty("line.separator"); ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytes()); ctx.write(resp); } finally { buf.release(); } } @Override public void channelReadComplete(ChannelHandlerContext ctx) { ctx.flush(); } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) { // 当出现异常时，关闭Channel cause.printStackTrace(); ctx.close(); } } 在这个例子中，我们定义了一个TimeServerHandler类，继承自ChannelInboundHandlerAdapter。这个处理器的主要职责是从客户端接收请求，并返回当前时间作为响应。加个这样的处理器到ChannelPipeline里，我们就能轻轻松松地扩展或者修改请求处理的逻辑，完全不用去动那些复杂的底层网络通信代码。这样一来，调整起来就方便多了！ 4. 结论 拥抱变化，不断进化 通过上述讨论，我们已经看到了正确选择并发资源分配算法的重要性，以及Netty在这方面的强大支持。当然啦，这只是个开始嘛，真正的考验在于你得根据自己实际用到的地方，不断地调整和优化这些方法。记住，优秀的软件工程师总是愿意拥抱变化，勇于尝试新的技术和方法，以求达到最佳的性能表现和用户体验。希望这篇文章能给大家带来一些启示，让我们一起在技术的海洋里继续探索吧！ --- 这篇技术文章希望能够以一种更贴近实际开发的方式，让大家了解并发资源分配的重要性，并通过Netty提供的强大工具，找到适合自己的解决方案。如果有任何疑问或建议，欢迎随时留言交流！

...ript社区关于变量初始化和属性检测的最佳实践。 最近，ECMAScript 2021（ES2021）新增了一项名为“可选链操作符(?.)”的特性，极大地简化了对可能未定义或不存在的对象属性的访问。这个新语法允许我们在尝试访问嵌套对象属性时，如果任一中间层属性为null或undefined，则表达式整体返回undefined，而不会抛出错误。例如，在使用可选链操作符的情况下，a?.x 如果a为undefined或null，那么整个表达式将直接返回undefined，而不会尝试访问a的x属性。 此外，TypeScript等强类型语言也在不断推动静态类型检查以预防运行时的undefined错误。通过类型注解，开发者可以在编译阶段就发现诸如a.x可能出现的undefined问题，从而提前进行修复。 同时，业界对于避免undefined错误也提出了诸多编程规范建议，如始终初始化变量、合理使用默认参数、以及在函数内部显式检查变量状态等。这些措施不仅有助于减少程序中的undefined异常，也能提升代码质量和维护性。 综上所述，随着JavaScript语言的发展和完善，开发者们有了更多策略和工具来应对和避免undefined带来的困扰，使得我们的代码更加健壮、可靠。

...主题不存在等问题引发异常的概率。 另外，随着微服务架构和云原生技术的广泛应用，Kafka和RabbitMQ等现代消息队列系统的容错机制与自我修复功能也日益成熟。例如，Kafka提供了自动创建Topic的功能，并能在分布式环境下确保消息的持久化和顺序性，从而避免了类似UnknownTopicException的问题。 对于系统设计者而言，除了熟悉各类消息队列产品的特性和异常处理机制外，还需要根据业务需求选择合适的消息模型（如发布/订阅或点对点），并在编码阶段就考虑好资源的初始化与验证逻辑，遵循“设计时预防问题胜于运行时解决问题”的原则。 同时，参考《Enterprise Integration Patterns》一书中的消息通道模式与保证消息传递的相关理论，可以更好地指导我们在实际项目中设计健壮的消息队列体系，以应对包括UnknownTopicException在内的各种潜在问题，从而提升整个系统的稳定性和可靠性。

...建一个新的线程池 .channel(NioSocketChannel.class) // 使用NIO Socket Channel作为传输层协议 .option(ChannelOption.SO_KEEPALIVE, true) // 设置Keepalive属性 .handler(new ChannelInitializer() { @Override public void initChannel(SocketChannel ch) throws Exception { ch.pipeline().addLast(new HttpClientCodec()); // 添加编码解码器 ch.pipeline().addLast(new HttpObjectAggregator(65536)); // 合并Http报文 ch.pipeline().addLast(new HttpResponseDecoder()); ch.pipeline().addLast(new HttpRequestEncoder()); ch.pipeline().addLast(new MyHandler()); // 添加自定义处理程序 } }); 在这个例子中，我们创建了一个新的线程池，并设置了NIO Socket Channel作为传输层协议。同时呢，我们还贴心地塞进来一些不可或缺的通道功能选项，比如那个Keepalive属性啦，还有些超级实用的通道处理器，就像HTTP的编码解码小能手、聚合器大哥、解码器小弟和编码器老弟等等。 接下来，我们可以使用bootstrap.connect(host, port)方法来创建一个新的连接。不过呢，如果我们打算创建多个连接的话，直接用这个方法就不太合适啦。为啥呢？因为这样会让我们一个个手动去捯饬这些连接，那工作量可就海了去了，想想都头疼！所以，我们需要一种方式来批量创建连接。 五、批量创建连接 为了批量创建连接，我们可以使用ChannelFutureGroup和allAsList()方法。ChannelFutureGroup是一个接口，它的实现类代表一组ChannelFuture（用于表示一个连接的完成状态）。我们可以将所有需要创建的连接的ChannelFuture都添加到同一个ChannelFutureGroup中，然后调用futureGroup.allAsList().awaitUninterruptibly();方法来等待所有的连接都被成功创建。 六、使用连接池 当我们有了一个包含多个连接的ChannelFutureGroup之后，我们就可以从中获取连接来发送请求了。例如： java for (Future future : futureGroup) { if (!future.isDone()) { // 如果连接还没有被创建 continue; } try { final SocketChannel ch = (SocketChannel) future.get(); // 获取连接 // 使用ch发送请求... } catch (Exception e) { e.printStackTrace(); } } 七、总结 总的来说，通过使用Bootstrap和ChannelFutureGroup，我们可以很方便地在Netty中实现客户端连接池。这种方法不仅可以大大提高系统的性能，还可以简化我们的开发工作。当然啦，要是你的需求变得复杂起来，那估计你得进一步深入学习Netty的那些门道和技巧，这样才能妥妥地满足你的需求。

...，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 1.在project.config.json 文件中添加 "miniprogramRoot": "/", 2.在项目根目录创建 functions 文件夹 3.右键点击文件夹 选着 新建Node.js云函数 我的云函数名字 叫 checkStr(可以自定义) 点击之后会生成这三个文件 如果没有 请手动添加 config.json {"permissions": {"openapi": ["security.msgSecCheck"]} } index.js // 云函数入口文件 index.jsconst cloud = require('wx-server-sdk')cloud.init()// 云函数入口函数exports.main = async (event, context) => {const wxContext = cloud.getWXContext()try {const result = await cloud.openapi.security.msgSecCheck({content: event.text?event.text:'1'})if (result && result.errCode.toString() === '87014'){return { code: 500, msg: '内容含有违法违规内容', data: result } }else{return { code: 200, msg: 'ok', data: result } }} catch (err) {// 错误处理if (err.errCode.toString() === '87014') {return { code: 500, msg: '内容含有违法违规内容', data: err } }return { code: 502, msg: '调用security接口异常', data: err } }} package.json {"name": "checkStr","version": "1.0.0","description": "","main": "index.js","scripts": {"test": "echo \"Error: no test specified\" && exit 1"},"author": "","license": "ISC","dependencies": {"wx-server-sdk": "~2.3.1"} } 4.右键点击 云函数文件夹 checkStr 实例文件夹 点击上传并部署：云端安装依赖（不上传node_modules） 上传成功之后再右键点击当前文件夹 点击本地调试 会跳出来云函数界面 勾选本地调试 5.在页面中使用 wx.cloud.init();wx.cloud.callFunction({name: 'checkStr',data: {text: e.detail.value?e.detail.value:'1' // 这一步是处理输入框值手动清空的时候会被检测出敏感词，不知道什么原因抱歉} }).then((res) => {if (res.result.code == "200") {this.setData({sendValue: e.detail.value})} else {this.setData({sendValue: ''})wx.showToast({title: '包含敏感字哦。',icon: 'none',duration: 3000})} }) 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_42046201/article/details/108998434。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...该属性可以在类外部被初始化，但必须在使用之前完成初始化。这意味着当你声明一个lateinit属性时，你承诺在代码执行过程中会调用其对应的初始化方法。哎呀，这个特性啊，它主要用在那些要到执行的时候才知道具体数值的玩意儿上头，或者在编程那会儿还不清楚确切数值咋整的情况。就像是你准备做饭，但到底加多少盐，得尝了味道再定，对吧？或者是你去超市买东西，但预算还没算好，得看商品价格了再做决定。这特性就跟那个差不多，灵活应变，随情况调整。 2. 示例代码 如何使用Lateinit Property？ 首先，我们来看一个简单的例子，演示如何在类中声明并使用lateinit属性： kotlin class DataProcessor { lateinit var data: String fun loadData() { // 假设在这里从网络或其他源加载数据 data = "Processed Data" } } fun main() { val processor = DataProcessor() processor.loadData() println(processor.data) // 输出：Processed Data } 在这个例子中，data属性被声明为lateinit。这意味着在main函数中创建DataProcessor实例后，我们不能立即访问data属性，而是必须先调用loadData方法来初始化它。一旦初始化，就可以安全地访问和使用data属性了。 3. 使用Lateinit Property的注意事项 虽然lateinit属性提供了很大的灵活性，但在使用时也需要注意几个关键点： - 必须在使用前初始化：这是最基础的要求。如果你尝试在未初始化的状态下访问或使用lateinit属性，编译器会抛出IllegalStateException异常。 - 不可提前初始化：一旦lateinit属性被初始化，就不能再次修改其值。尝试这样做会导致运行时错误。 - 性能考量：虽然lateinit属性可以延迟初始化，但它可能会增加应用的启动时间和内存消耗，特别是在大量对象实例化时。 4. 遇到“Lateinit Property Not Initialized Before Use”错误怎么办？ 当遇到这个错误时，通常意味着你试图访问或使用了一个未初始化的lateinit属性。解决这个问题的方法通常是： - 检查初始化逻辑：确保在使用属性之前，确实调用了对应的初始化方法或进行了必要的操作。 - 代码重构：如果可能，将属性的初始化逻辑移至更合适的位置，比如构造函数、特定方法或事件处理程序中。 - 避免不必要的延迟初始化：考虑是否真的需要延迟初始化，有时候提前初始化可能更为合理和高效。 5. 实践中的应用案例 在实际项目中，lateinit属性特别适用于依赖于用户输入、网络请求或文件读取等不确定因素的数据加载场景。例如，在构建一个基于用户选择的配置文件加载器时： kotlin class ConfigLoader { lateinit var config: Map fun loadConfig() { // 假设这里通过网络或文件系统加载配置 config = loadFromDisk() } } fun main() { val loader = ConfigLoader() loader.loadConfig() println(loader.config) // 此时config已初始化 } 在这个例子中，config属性的加载逻辑被封装在loadConfig方法中，确保在使用config之前，其已经被正确初始化。 结论 lateinit属性是Kotlin中一个强大而灵活的特性，它允许你推迟属性的初始化直到运行时。然而，正确使用这一特性需要谨慎考虑其潜在的性能影响和错误情况。通过理解其工作原理和最佳实践，你可以有效地利用lateinit属性来增强你的Kotlin代码，使其更加健壮和易于维护。

...个模块专门负责Web服务提供，使用了Spring MVC作为控制器及其视图层的框架。为了让HTML模板与Java逻辑更加清晰地分隔，我们在项目的布局中采用了如下结构： 1. module-core: 应用的核心业务逻辑和服务模块 2. module-web: 启动项，主要包含Web相关的配置与控制层逻辑，依赖于module-core 3. module-views: 存放JSP视图文件，用于前端展示 在此场景下，为确保正确识别并加载JSP视图，我们需要在module-web的配置文件中指定JSP后缀名（spring.mvc.view.suffix），例如： properties spring: mvc: view: prefix: /WEB-INF/views/ suffix: .jsp 然而，当运行程序并尝试访问Controller中带有相关视图名称的方法（如@GetMapping("/home")映射到WEB-INF/views/homePage.jsp）时，浏览器却无法显示出预期的JSP页面内容，且并未抛出任何异常，而是默认返回了空响应或者错误状态码。 三、问题分析与排查 面对这一看似简单的配置失效问题，我们首先需要进行如下几个方面的排查： 1. 检查视图解析器配置 确保视图解析器org.springframework.web.servlet.view.InternalResourceViewResolver已被正确注册并设置了prefix与suffix属性。检查Spring Boot启动类（如WebMvcConfig.java或Application.java中的WebMvcConfigurer实现）： java @Configuration public class WebMvcConfig implements WebMvcConfigurer { @Override public void configureViewResolvers(ViewResolverRegistry registry) { InternalResourceViewResolver resolver = new InternalResourceViewResolver(); resolver.setPrefix("/WEB-INF/views/"); resolver.setSuffix(".jsp"); registry.viewResolver(resolver); } } 2. 模块间依赖与资源路径映射 确认module-web是否正确引入了module-views的相关JSP文件，并指定了正确的资源路径。查看module-web的pom.xml或build.gradle文件中对视图资源模块的依赖路径： xml com.example module-views 1.0.0 war runtime classes // Gradle dependencies { runtimeOnly 'com.example:module-views:1.0.0' } 以及主启动类（如Application.java)中的静态资源映射配置： java @SpringBootApplication public class Application { @Bean TomcatServletWebServerFactory tomcat() { TomcatServletWebServerFactory factory = new TomcatServletWebServerFactory(); factory.addContextCustomizer((TomcatWebServerContext context) -> { // 将模块视图目录映射到根URL下 context.addWelcomeFile("index.jsp"); WebResourceRoot resourceRoot = new TomcatWebResourceRoot(context, "static", "/"); resourceRoot.addDirectory(new File("src/main/resources/static")); context.setResources(resourceRoot); }); return factory; } public static void main(String[] args) { SpringApplication.run(Application.class, args); } } 3. 检查JSP引擎配置 确保Tomcat服务器配置已启用JSP支持。在module-web对应的application.properties或application.yml文件中配置JSP引擎： properties server.tomcat.jsp-enabled=true server.tomcat.jsp.version=2.3 或者在module-web的pom.xml或build.gradle文件中为Tomcat添加Jasper依赖： xml org.apache.tomcat.embed tomcat-embed-jasper provided // Gradle dependencies { implementation 'org.apache.tomcat.embed:tomcat-embed-jasper:9.0.54' } 4. 控制器与视图名称匹配验证 在完成上述配置后，请务必核实Controller中返回的视图名称与其实际路径是否一致。如果存在命名冲突或者拼写错误，将会导致Spring MVC无法找到预期的JSP视图： java @GetMapping("/home") public String home(Model model) { return "homePage"; // 视图名称应更改为"WEB-INF/views/homePage.jsp" } 四、总结与解决办法 综上所述，Spring Boot返回JSP无效的问题可能源于多个因素的叠加效应，包括但不限于视图解析器配置不完整、模块间依赖关系未正确处理、JSP引擎支持未开启、或Controller与视图名称之间的不对应等。要解决这个问题，需从以上几个方面进行逐一排查和修正。 切记，在面对这类问题时，要保持冷静并耐心地定位问题所在，仔细分析配置文件、源代码和日志输出，才能准确找出症结所在，进而成功解决问题。这不仅让我们实实在在地磨炼了编程功夫，更是让咱们对Spring Boot这家伙的工作内幕有了更深的洞察。这样一来，我们在实际项目中遇到问题时，调试和应对的能力都像坐火箭一样嗖嗖提升啦！

...做高性能、安全的网络服务，都喜欢用 Go 语言来搞，因为它真的太牛了！gin-contrib/ratelimit 是一个用于 Go 语言中 Gin 框架的库，专门用于实现 API 访问速率限制。本文将深入探讨如何利用 gin-contrib/ratelimit 来增强 API 安全性和性能。 二、基础概念与原理 速率限制（也称为限流）是一种常见的流量控制手段，它允许系统在单位时间内处理的请求数量不超过某个阈值。哎呀，你瞧这招儿挺机灵的！它能帮咱们解决一个大难题——就是那些疯了似的并发请求，就像一群蚂蚁围攻面包，瞬间就把服务器给淹没了。这样不仅能让我们的服务器喘口气，不至于被这些请求给累趴下，还能给那些没权没份的家伙们上上锁，别让他们乱用咱们的API，搞得咱们这边乱七八糟的。这招儿，既保护了服务器，又守住了规矩，真是一举两得啊！ gin-contrib/ratelimit 提供了一种简单且灵活的方式来配置和应用速率限制规则。它支持多种存储后端，包括内存、Redis 和数据库等，以适应不同的应用场景需求。 三、安装与初始化 首先，确保你的 Go 环境已经配置好，并且安装了 gin-contrib/ratelimit 库。可以通过以下命令进行安装： bash go get github.com/gin-contrib/ratelimit 接下来，在你的 Gin 应用中引入并初始化 ratelimit 包： go import ( "github.com/gin-contrib/ratelimit" "github.com/gin-gonic/gin" ) func main() { r := gin.Default() // 配置限流器 limiter := ratelimit.New(ratelimit.Config{ AllowedRequests: 5, // 允许每分钟最多5次请求 Duration: time.Minute, }) // 将限流器应用于路由 r.Use(limiter) // 定义路由 r.GET("/api", func(c gin.Context) { c.JSON(200, gin.H{"message": "Hello, World!"}) }) r.Run(":8080") } 四、高级功能与自定义 除了基本的速率限制配置外，gin-contrib/ratelimit 还提供了丰富的高级功能，允许开发者根据具体需求进行定制化设置。 - 基于 IP 地址的限制： go limiter := ratelimit.New(ratelimit.Config{ AllowedRequests: 5, Duration: time.Minute, PermitsBy: ratelimit.PermitByIP, }) - 基于 HTTP 请求头的限制： go limiter := ratelimit.New(ratelimit.Config{ AllowedRequests: 5, Duration: time.Minute, PermitsBy: ratelimit.PermitByHeader("X-User-ID"), }) - 基于用户会话的限制： go limiter := ratelimit.New(ratelimit.Config{ AllowedRequests: 5, Duration: time.Minute, PermitsBy: ratelimit.PermitBySessionID, }) 这些高级功能允许你更精细地控制哪些请求会被限制，从而提供更精确的访问控制策略。 五、实践案例 基于 IP 地址的限流 假设我们需要限制某个特定 IP 地址的访问频率： go limiter := ratelimit.New(ratelimit.Config{ AllowedRequests: 10, // 每小时最多10次请求 Duration: time.Hour, PermitsBy: ratelimit.PermitByIP, }) // 在路由上应用限流器 r.Use(limiter) 六、性能考量与优化 在实际部署时，考虑到速率限制的性能影响，合理配置限流参数至关重要。哎呀，你得注意了，设定安全防护的时候，这事儿得拿捏好度才行。要是设得太严，就像在门口挂了个大锁，那些坏人进不来，可合法的访客也被挡在外头了，这就有点儿不地道了。反过来，如果设置的门槛太松，那可就相当于给小偷开了个后门，让各种风险有机可乘。所以啊，找那个平衡点，既不让真正的朋友感到不便，又能守住自家的安全，才是王道！因此，建议结合业务场景和流量预测进行参数调整。 同时，选择合适的存储后端也是性能优化的关键。哎呀，你知道的，在处理那些超级多人同时在线的情况时，咱们用 Redis 来当存储小能手，那效果简直不要太好！它就像个神奇的魔法箱，能飞快地帮我们处理各种数据，让系统运行得又顺溜又高效，简直是高并发环境里的大救星呢！ 七、结论 通过集成 gin-contrib/ratelimit，我们不仅能够有效地管理 API 访问频率，还能够在保障系统稳定运行的同时，为用户提供更好的服务体验。嘿，兄弟！业务这玩意儿，那可是风云变幻，快如闪电。就像你开车，路况不一，得随时调整方向，对吧？API安全性和可用性这事儿，就跟你的车一样重要。所以，咱们得像老司机一样，灵活应对各种情况，时不时地调整和优化限流策略。这样，不管是高峰还是低谷，都能稳稳地掌控全局，让你的业务顺畅无阻，安全又高效。别忘了，这可是保护咱们业务不受攻击，保证用户体验的关键！希望本文能够帮助你更好地理解和应用 gin-contrib/ratelimit，在构建强大、安全的 API 时提供有力的支持。

...，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 文章目录 C10K I/O 模型优化 工作模型优化 C1000K C10M 总结 C10K 和 C1000K 的首字母 C 是 Client 的缩写。 C10K 是单机同时处理 1 万个请求（并发连接 1 万）的问题 C1000K 是单机支持处理 100 万个请求（并发连接 100 万）的问题。 C10K C10K 问题最早由 Dan Kegel 在 1999 年提出。那时的服务器还只是 32 位系统，运行着 Linux 2.2 版本（后来又升级到了 2.4 和 2.6，而 2.6 才支持 x86_64），只配置了很少的内存（2GB）和千兆网卡。 怎么在这样的系统中支持并发 1 万的请求呢？ 从资源上来说，对 2GB 内存和千兆网卡的服务器来说，同时处理 10000 个请求，只要每个请求处理占用不到 200KB（2GB/10000）的内存和 100Kbit （1000Mbit/10000）的网络带宽就可以。 物理资源是足够的，是软件的问题，特别是网络的 I/O 模型问题。 I/O 的模型，文件 I/O和网络 I/O 模型也类似。 在 C10K 以前，Linux 中网络处理都用同步阻塞的方式，也就是每个请求都分配一个进程或者线程。 请求数只有 100 个时，这种方式自然没问题，但增加到 10000 个请求时，10000 个进程或线程的调度、上下文切换乃至它们占用的内存，都会成为瓶颈。 每个请求分配一个线程的方式不合适，为了支持 10000 个并发请求，有两个问题需要我们解决 第一，怎样在一个线程内处理多个请求，也就是要在一个线程内响应多个网络 I/O。以前的同步阻塞方式下，一个线程只能处理一个请求，到这里不再适用，是不是可以用非阻塞 I/O 或者异步 I/O 来处理多个网络请求呢？ 第二，怎么更节省资源地处理客户请求，也就是要用更少的线程来服务这些请求。是不是可以继续用原来的 100 个或者更少的线程，来服务现在的 10000 个请求呢？ I/O 模型优化 异步、非阻塞 I/O 的解决思路是我们在网络编程中经常用到的 I/O 多路复用（I/O Multiplexing） 两种 I/O 事件通知的方式：水平触发和边缘触发，它们常用在套接字接口的文件描述符中。 水平触发：只要文件描述符可以非阻塞地执行 I/O ，就会触发通知。也就是说，应用程序可以随时检查文件描述符的状态，然后再根据状态，进行 I/O 操作。 边缘触发：只有在文件描述符的状态发生改变（也就是 I/O 请求达到）时，才发送一次通知。这时候，应用程序需要尽可能多地执行 I/O，直到无法继续读写，才可以停止。如果 I/O 没执行完，或者因为某种原因没来得及处理，那么这次通知也就丢失了。 I/O 多路复用的方法有很多实现方法，我带你来逐个分析一下。 第一种，使用非阻塞 I/O 和水平触发通知，比如使用 select 或者 poll。 根据刚才水平触发的原理，select 和 poll 需要从文件描述符列表中，找出哪些可以执行 I/O ，然后进行真正的网络 I/O 读写。由于 I/O 是非阻塞的，一个线程中就可以同时监控一批套接字的文件描述符，这样就达到了单线程处理多请求的目的。所以，这种方式的最大优点，是对应用程序比较友好，它的 API 非常简单。 但是，应用软件使用 select 和 poll 时，需要对这些文件描述符列表进行轮询，这样，请求数多的时候就会比较耗时。并且，select 和 poll 还有一些其他的限制。 select 使用固定长度的位相量，表示文件描述符的集合，因此会有最大描述符数量的限制。比如，在 32 位系统中，默认限制是 1024。并且，在 select 内部，检查套接字状态是用轮询的方法，再加上应用软件使用时的轮询，就变成了一个 O(n^2) 的关系。 而 poll 改进了 select 的表示方法，换成了一个没有固定长度的数组，这样就没有了最大描述符数量的限制（当然还会受到系统文件描述符限制）。但应用程序在使用 poll 时，同样需要对文件描述符列表进行轮询，这样，处理耗时跟描述符数量就是 O(N) 的关系。 除此之外，应用程序每次调用 select 和 poll 时，还需要把文件描述符的集合，从用户空间传入内核空间，由内核修改后，再传出到用户空间中。这一来一回的内核空间与用户空间切换，也增加了处理成本。 有没有什么更好的方式来处理呢？答案自然是肯定的。 第二种，使用非阻塞 I/O 和边缘触发通知，比如 epoll。既然 select 和 poll 有那么多的问题，就需要继续对其进行优化，而 epoll 就很好地解决了这些问题。 epoll 使用红黑树，在内核中管理文件描述符的集合，这样，就不需要应用程序在每次操作时都传入、传出这个集合。 epoll 使用事件驱动的机制，只关注有 I/O 事件发生的文件描述符，不需要轮询扫描整个集合。 不过要注意，epoll 是在 Linux 2.6 中才新增的功能（2.4 虽然也有，但功能不完善）。由于边缘触发只在文件描述符可读或可写事件发生时才通知，那么应用程序就需要尽可能多地执行 I/O，并要处理更多的异常事件。 第三种，使用异步 I/O（Asynchronous I/O，简称为 AIO）。 在前面文件系统原理的内容中，我曾介绍过异步 I/O 与同步 I/O 的区别。异步 I/O 允许应用程序同时发起很多 I/O 操作，而不用等待这些操作完成。而在 I/O 完成后，系统会用事件通知（比如信号或者回调函数）的方式，告诉应用程序。这时，应用程序才会去查询 I/O 操作的结果。 异步 I/O 也是到了 Linux 2.6 才支持的功能，并且在很长时间里都处于不完善的状态，比如 glibc 提供的异步 I/O 库，就一直被社区诟病。同时，由于异步 I/O 跟我们的直观逻辑不太一样，想要使用的话，一定要小心设计，其使用难度比较高。 工作模型优化 了解了 I/O 模型后，请求处理的优化就比较直观了。 使用 I/O 多路复用后，就可以在一个进程或线程中处理多个请求，其中，又有下面两种不同的工作模型。 第一种，主进程 + 多个 worker 子进程，这也是最常用的一种模型。这种方法的一个通用工作模式就是：主进程执行 bind() + listen() 后，创建多个子进程；然后，在每个子进程中，都通过 accept() 或 epoll_wait() ，来处理相同的套接字。 比如，最常用的反向代理服务器 Nginx 就是这么工作的。它也是由主进程和多个 worker 进程组成。主进程主要用来初始化套接字，并管理子进程的生命周期；而 worker 进程，则负责实际的请求处理。我画了一张图来表示这个关系。 这里要注意，accept() 和 epoll_wait() 调用，还存在一个惊群的问题。换句话说，当网络 I/O 事件发生时，多个进程被同时唤醒，但实际上只有一个进程来响应这个事件，其他被唤醒的进程都会重新休眠。 其中，accept() 的惊群问题，已经在 Linux 2.6 中解决了； 而 epoll 的问题，到了 Linux 4.5 ，才通过 EPOLLEXCLUSIVE 解决。 为了避免惊群问题， Nginx 在每个 worker 进程中，都增加一个了全局锁（accept_mutex）。这些 worker 进程需要首先竞争到锁，只有竞争到锁的进程，才会加入到 epoll 中，这样就确保只有一个 worker 子进程被唤醒。 不过，根据前面 CPU 模块的学习，你应该还记得，进程的管理、调度、上下文切换的成本非常高。那为什么使用多进程模式的 Nginx ，却具有非常好的性能呢？ 这里最主要的一个原因就是，这些 worker 进程，实际上并不需要经常创建和销毁，而是在没任务时休眠，有任务时唤醒。只有在 worker 由于某些异常退出时，主进程才需要创建新的进程来代替它。 当然，你也可以用线程代替进程：主线程负责套接字初始化和子线程状态的管理，而子线程则负责实际的请求处理。由于线程的调度和切换成本比较低，实际上你可以进一步把 epoll_wait() 都放到主线程中，保证每次事件都只唤醒主线程，而子线程只需要负责后续的请求处理。 第二种，监听到相同端口的多进程模型。在这种方式下，所有的进程都监听相同的接口，并且开启 SO_REUSEPORT 选项，由内核负责将请求负载均衡到这些监听进程中去。这一过程如下图所示。 由于内核确保了只有一个进程被唤醒，就不会出现惊群问题了。比如，Nginx 在 1.9.1 中就已经支持了这种模式。 不过要注意，想要使用 SO_REUSEPORT 选项，需要用 Linux 3.9 以上的版本才可以。 C1000K 基于 I/O 多路复用和请求处理的优化，C10K 问题很容易就可以解决。不过，随着摩尔定律带来的服务器性能提升，以及互联网的普及，你并不难想到，新兴服务会对性能提出更高的要求。 很快，原来的 C10K 已经不能满足需求，所以又有了 C100K 和 C1000K，也就是并发从原来的 1 万增加到 10 万、乃至 100 万。从 1 万到 10 万，其实还是基于 C10K 的这些理论，epoll 配合线程池，再加上 CPU、内存和网络接口的性能和容量提升。大部分情况下，C100K 很自然就可以达到。 那么，再进一步，C1000K 是不是也可以很容易就实现呢？这其实没有那么简单了。 首先从物理资源使用上来说，100 万个请求需要大量的系统资源。比如， 假设每个请求需要 16KB 内存的话，那么总共就需要大约 15 GB 内存。 而从带宽上来说，假设只有 20% 活跃连接，即使每个连接只需要 1KB/s 的吞吐量，总共也需要 1.6 Gb/s 的吞吐量。千兆网卡显然满足不了这么大的吞吐量，所以还需要配置万兆网卡，或者基于多网卡 Bonding 承载更大的吞吐量。 其次，从软件资源上来说，大量的连接也会占用大量的软件资源，比如文件描述符的数量、连接状态的跟踪（CONNTRACK）、网络协议栈的缓存大小（比如套接字读写缓存、TCP 读写缓存）等等。 最后，大量请求带来的中断处理，也会带来非常高的处理成本。这样，就需要多队列网卡、中断负载均衡、CPU 绑定、RPS/RFS（软中断负载均衡到多个 CPU 核上），以及将网络包的处理卸载（Offload）到网络设备（如 TSO/GSO、LRO/GRO、VXLAN OFFLOAD）等各种硬件和软件的优化。 C1000K 的解决方法，本质上还是构建在 epoll 的非阻塞 I/O 模型上。只不过，除了 I/O 模型之外，还需要从应用程序到 Linux 内核、再到 CPU、内存和网络等各个层次的深度优化，特别是需要借助硬件，来卸载那些原来通过软件处理的大量功能。 C10M 显然，人们对于性能的要求是无止境的。再进一步，有没有可能在单机中，同时处理 1000 万的请求呢？这也就是 C10M 问题。 实际上，在 C1000K 问题中，各种软件、硬件的优化很可能都已经做到头了。特别是当升级完硬件（比如足够多的内存、带宽足够大的网卡、更多的网络功能卸载等）后，你可能会发现，无论你怎么优化应用程序和内核中的各种网络参数，想实现 1000 万请求的并发，都是极其困难的。 究其根本，还是 Linux 内核协议栈做了太多太繁重的工作。从网卡中断带来的硬中断处理程序开始，到软中断中的各层网络协议处理，最后再到应用程序，这个路径实在是太长了，就会导致网络包的处理优化，到了一定程度后，就无法更进一步了。 要解决这个问题，最重要就是跳过内核协议栈的冗长路径，把网络包直接送到要处理的应用程序那里去。这里有两种常见的机制，DPDK 和 XDP。 第一种机制，DPDK，是用户态网络的标准。它跳过内核协议栈，直接由用户态进程通过轮询的方式，来处理网络接收。 说起轮询，你肯定会下意识认为它是低效的象征，但是进一步反问下自己，它的低效主要体现在哪里呢？是查询时间明显多于实际工作时间的情况下吧！那么，换个角度来想，如果每时每刻都有新的网络包需要处理，轮询的优势就很明显了。比如： 在 PPS 非常高的场景中，查询时间比实际工作时间少了很多，绝大部分时间都在处理网络包； 而跳过内核协议栈后，就省去了繁杂的硬中断、软中断再到 Linux 网络协议栈逐层处理的过程，应用程序可以针对应用的实际场景，有针对性地优化网络包的处理逻辑，而不需要关注所有的细节。 此外，DPDK 还通过大页、CPU 绑定、内存对齐、流水线并发等多种机制，优化网络包的处理效率。 第二种机制，XDP（eXpress Data Path），则是 Linux 内核提供的一种高性能网络数据路径。它允许网络包，在进入内核协议栈之前，就进行处理，也可以带来更高的性能。XDP 底层跟我们之前用到的 bcc-tools 一样，都是基于 Linux 内核的 eBPF 机制实现的。 XDP 的原理如下图所示： 你可以看到，XDP 对内核的要求比较高，需要的是 Linux 4.8 以上版本，并且它也不提供缓存队列。基于 XDP 的应用程序通常是专用的网络应用，常见的有 IDS（入侵检测系统）、DDoS 防御、 cilium 容器网络插件等。 总结 C10K 问题的根源，一方面在于系统有限的资源；另一方面，也是更重要的因素，是同步阻塞的 I/O 模型以及轮询的套接字接口，限制了网络事件的处理效率。Linux 2.6 中引入的 epoll ，完美解决了 C10K 的问题，现在的高性能网络方案都基于 epoll。 从 C10K 到 C100K ，可能只需要增加系统的物理资源就可以满足；但从 C100K 到 C1000K ，就不仅仅是增加物理资源就能解决的问题了。这时，就需要多方面的优化工作了，从硬件的中断处理和网络功能卸载、到网络协议栈的文件描述符数量、连接状态跟踪、缓存队列等内核的优化，再到应用程序的工作模型优化，都是考虑的重点。 再进一步，要实现 C10M ，就不只是增加物理资源，或者优化内核和应用程序可以解决的问题了。这时候，就需要用 XDP 的方式，在内核协议栈之前处理网络包；或者用 DPDK 直接跳过网络协议栈，在用户空间通过轮询的方式直接处理网络包。 当然了，实际上，在大多数场景中，我们并不需要单机并发 1000 万的请求。通过调整系统架构，把这些请求分发到多台服务器中来处理，通常是更简单和更容易扩展的方案。 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_23864697/article/details/114626793。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 😎 知识点概览 为了方便后续回顾该项目时能够清晰的知道本章节讲了哪些内容，并且能够从该章节的笔记中得到一些帮助，所以在完成本章节的学习后在此对本章节所涉及到的知识点进行总结概述。 本章节为【学成在线】项目的 day15 的内容 根据 课程ID 搜索该课程已发布的课程信息，并返回该课程的所有课程计划信息。 将指定课程 发布时 所的课程计划的媒资信息保存到 teachplan_media_publish 表中， 根据 课程计划id 搜索该课程计划所对应的媒资信息，需要用到的是该课程计划对应的 m3u8 地址，用于在线播放视频，该接口在课程管理服务中开发，供学习服务进行远程调用。 在学习服务中远程调用 课程计划媒资信息查询接口，获取该课程计划的视频播放的 m3u8 url地址，并返回给前端，前端使用该 url 进行视频的在线播放。 在线学习完整的测试流程：媒资信息的上传、选择、发布到前端门户、搜索门户测试，在线学习的播放视频。 目录 内容会比较多，小伙伴门可以根据目录进行按需查阅。 文章目录 😎 知识点概览 目录 一、学习页面：查询课程计划 0x01 需求分析 0x02 Api接口 0x03 服务端开发 Controller Service 测试 0x04 前端开发 配置NGINX虚拟主机 前端 API 方法 前端 API 方法调用 测试 二、学习页面：获取视频播放地址 0x01 需求分析 0x02 课程发布：储存媒资信息 需求分析 数据模型 Dao Service 测试 0x03 Logstash：扫描课程计划媒资 创建索引 创建模板文件 配置 mysql.conf 启动 logstash.bat Logstash多实例运行 0x04 搜素服务：查询课程媒资接口 需求分析 Api接口定义 Service Controller 测试 三、在线学习：接口开发 0x01 需求分析 0x02 搭建开发环境 0x03 Api接口 0x04 服务端开发 需求分析 搜索服务注册Eureka 搜索服务客户端 自定义错误代码 Service Controller 测试 0x05 前端开发 需求分析 api方法 配置代理 视频播放页面 简单的测试 完整的测试 1、上传文件 一些问题 ~~方案1：删除本地分块文件重新尝试上传~~ 方案2：检查前端提交的MD5值是否正确 2、为课程计划选择媒资信息 3、前端门户测试 四、待完善的一些功能 😁 认识作者 一、学习页面：查询课程计划 0x01 需求分析 到目前为止，我们已可以编辑课程计划信息并上传课程视频，下一步我们要实现在线学习页面动态读取章节对应的视频并进行播放。在线学习页面所需要的信息有两类： 课程计划信息 课程学习信息（视频地址、学习进度等） 如下图： 在线学习集成媒资管理的需求如下： 1、在线学习页面显示课程计划 2、点击课程计划播放该课程计划对应的视频 本章节实现学习页面动态显示课程计划，进入不同课程的学习页面右侧动态显示当前课程的课程计划。 0x02 Api接口 课程计划信息从哪里获取？ 在课程发布完成后会自动发布到一个 course_pub 的表中，logstash 会自动将课程发布后的信息自动采集到 ES 索引库中，这些信息也包含课程计划信息。 所以考虑性能要求，课程发布后对课程的查询统一从 ES 索引库中查询。 前端通过请求 搜索服务 获取课程信息，需要单独在 搜索服务 中定义课程信息查询接口。 本接口接收课程id，查询课程所有信息返回给前端。 我们在搜素服务 API 下添加以下方法 @ApiOperation("根据id搜索课程发布信息")public Map<String,CoursePub> getdetail(String id); 返回的课程信息为 json 结构：key 为课程id，value 为课程内容。 0x03 服务端开发 在搜索服务中开发查询课程信息接口。 Controller 在搜素服务下添加以下方法 / 根据id搜索课程发布信息 @param id 课程id @return JSON数据/@Override@GetMapping("/getdetail/{id}")public Map<String, CoursePub> getdetail(@PathVariable("id")String id) {return esCourseService.getdetail(id);} Service / 根据id搜索课程发布信息 @param id 课程id @return JSON数据/public Map<String, CoursePub> getdetail(String id) {//设置索引SearchRequest searchRequest = new SearchRequest(es_index);//设置类型searchRequest.types(es_type);//创建搜索源对象SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();//设置查询条件,根据id进行查询searchSourceBuilder.query(QueryBuilders.termQuery("id",id));//这里不使用source的原字段过滤,查询所有字段// searchSourceBuilder.fetchSource(new String[]{"name", "grade", "charge","pic"}, newString[]{});//设置搜索源对象searchRequest.source(searchSourceBuilder);//执行搜索SearchResponse searchResponse = null;try {searchResponse = restHighLevelClient.search(searchRequest);} catch (IOException e) {e.printStackTrace();}//获取搜索结果SearchHits hits = searchResponse.getHits();SearchHit[] searchHits = hits.getHits(); //获取最优结果Map<String,CoursePub> map = new HashMap<>();for (SearchHit hit: searchHits) {//从搜索结果中取值并添加到coursePub对象Map<String, Object> sourceAsMap = hit.getSourceAsMap();String courseId = (String) sourceAsMap.get("id");String name = (String) sourceAsMap.get("name");String grade = (String) sourceAsMap.get("grade");String charge = (String) sourceAsMap.get("charge");String pic = (String) sourceAsMap.get("pic");String description = (String) sourceAsMap.get("description");String teachplan = (String) sourceAsMap.get("teachplan");CoursePub coursePub = new CoursePub();coursePub.setId(courseId);coursePub.setName(name);coursePub.setPic(pic);coursePub.setGrade(grade);coursePub.setTeachplan(teachplan);coursePub.setDescription(description);//设置map对象map.put(courseId,coursePub);}return map;} 测试 使用 swagger-ui 或 postman 测试查询课程信息接口。 0x04 前端开发 配置NGINX虚拟主机 学习中心的二级域名为 ucenter.xuecheng.com ，我们在 nginx 中配置 ucenter 虚拟主机。 学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;} } 前端ucenterupstream ucenter_server_pool{server 127.0.0.1:7081 weight=10;server 127.0.0.1:13000 weight=10;} 在学习中心要调用搜索的 API，使用 Nginx 解决代理，如下图： 在 ucenter 虚拟主机下配置搜索 Api 代理路径 后台搜索（公开api）upstream search_server_pool{server 127.0.0.1:40100 weight=10;} 学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;}后端搜索服务location /openapi/search/ {proxy_pass http://search_server_pool/search/;} } 前端 API 方法 在学习中心 xc-ui-pc-leanring 对课程信息的查询属于基础常用功能，所以我们将课程查询的 api 方法定义在base 模块下，如下图： 在system.js 中定义课程查询方法： import http from './public'export const course_view = id => {return http.requestGet('/openapi/search/course/getdetail/'+id);} 前端 API 方法调用 在 learning_video.vue 页面中调用课程信息查询接口得到课程计划，将课程计划json 串转成对象。 xc-ui-pc-leanring/src/module/course/page/learning_video.vue 1、定义视图 课程计划 <!--课程计划部分代码--><div class="navCont"><div class="course-weeklist"><div class="nav nav-stacked" v-for="(teachplan_first, index) in teachplanList"><div class="tit nav-justified text-center"><i class="pull-left glyphicon glyphicon-th-list"></i>{ {teachplan_first.pname} }<i class="pull-right"></i></div><li v-if="teachplan_first.children!=null" v-for="(teachplan_second, index) in teachplan_first.children"><i class="glyphicon glyphicon-check"></i><a :href="url" @click="study(teachplan_second.id)">{ {teachplan_second.pname} }</a></li><!-- <div class="tit nav-justified text-center"><i class="pull-left glyphicon glyphicon-th-list"></i>第一章<i class="pull-right"></i></div><li ><i class="glyphicon glyphicon-check"></i><a :href="url" >第一节</a></li>--><!--<li><i class="glyphicon glyphicon-unchecked"></i>为什么分为A、B、C部分</li>--></div></div></div> 课程名称 <div class="top text-center">{ {coursename} }</div> 定义数据对象 data() {return {url:'',//当前urlcourseId:'',//课程idchapter:'',//章节Idcoursename:'',//课程名称coursepic:'',//课程图片teachplanList:[],//课程计划playerOptions: {//播放参数autoplay: false,controls: true,sources: [{type: "application/x-mpegURL",src: ''}]},} } 在 created 钩子方法中获取课程信息 created(){//当前请求的urlthis.url = window.location//课程idthis.courseId = this.$route.params.courseId//章节idthis.chapter = this.$route.params.chapter//查询课程信息systemApi.course_view(this.courseId).then((view_course)=>{if(!view_course || !view_course[this.courseId]){this.$message.error("获取课程信息失败，请重新进入此页面！")return ;} let courseInfo = view_course[this.courseId]console.log(courseInfo)this.coursename = courseInfo.nameif(courseInfo.teachplan){let teachplan = JSON.parse(courseInfo.teachplan);this.teachplanList = teachplan.children;} })}, 测试 在浏览器请求：http://ucenter.xuecheng.com//learning/4028e581617f945f01617f9dabc40000/0 4028e581617f945f01617f9dabc40000：第一个参数为课程 id，测试时从 ES索引库找一个课程 id 0：第二个参数为课程计划 id，此参数用于点击课程计划播放视频。 如果出现跨域问题，但是确定已经配置了跨域，请尝试结束所以 nginx.exe 的进程 和 清空浏览器缓存。 如果还没有解决？重启电脑试试。 二、学习页面：获取视频播放地址 0x01 需求分析 用户进入在线学习页面，点击课程计划将播放该课程计划对应的教学视频。 业务流程如下： 业务流程说明： 1、用户进入在线学习页面，页面请求搜索服务获取课程信息（包括课程计划信息）并且在页面展示。 2、在线学习请求学习服务获取视频播放地址。 3、学习服务校验当前用户是否有权限学习，如果没有权限学习则提示用户。 4、学习服务校验通过，请求搜索服务获取课程媒资信息。 5、搜索服务请求ElasticSearch获取课程媒资信息。 为什么要请求 ElasticSearch 查询课程媒资信息？ 出于性能的考虑，公开查询课程信息从搜索服务查询，分摊 mysql 数据库的访问压力。 什么时候将课程媒资信息存储到 ElasticSearch 中？ 课程媒资信息是在课程发布的时候存入 ElasticSearch，因为课程发布后课程信息将基本不再修改。 0x02 课程发布：储存媒资信息 需求分析 课程媒资信息是在课程发布的时候存入 ElasticSearch 索引库，因为课程发布后课程信息将基本不再修改，具体的业务流程如下。 1、课程发布，向课程媒资信息表写入数据。 1）根据课程 id 删除 teachplanMediaPub 中的数据 2）根据课程 id 查询 teachplanMedia 数据 3）将查询到的 teachplanMedia 数据插入到 teachplanMediaPub 中 2、Logstash 定时扫描课程媒资信息表，并将课程媒资信息写入索引库。 数据模型 在 xc_course 数据库创建课程计划媒资发布表： CREATE TABLE teachplan_media_pub (teachplan_id varchar(32) NOT NULL COMMENT '课程计划id',media_id varchar(32) NOT NULL COMMENT '媒资文件id',media_fileoriginalname varchar(128) NOT NULL COMMENT '媒资文件的原始名称',media_url varchar(256) NOT NULL COMMENT '媒资文件访问地址',courseid varchar(32) NOT NULL COMMENT '课程Id',timestamp timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT'logstash使用',PRIMARY KEY (teachplan_id)) ENGINE=InnoDB DEFAULT CHARSET=utf8 数据模型类如下： package com.xuecheng.framework.domain.course;import lombok.Data;import lombok.ToString;import org.hibernate.annotations.GenericGenerator;import javax.persistence.;import java.io.Serializable;import java.util.Date;@Data@ToString@Entity@Table(name="teachplan_media_pub")@GenericGenerator(name = "jpa-assigned", strategy = "assigned")public class TeachplanMediaPub implements Serializable {private static final long serialVersionUID = -916357110051689485L;@Id@GeneratedValue(generator = "jpa-assigned")@Column(name="teachplan_id")private String teachplanId;@Column(name="media_id")private String mediaId;@Column(name="media_fileoriginalname")private String mediaFileOriginalName;@Column(name="media_url")private String mediaUrl;@Column(name="courseid")private String courseId;@Column(name="timestamp")private Date timestamp;//时间戳} Dao 创建 TeachplanMediaPub 表的 Dao，向 TeachplanMediaPub 存储信息采用先删除该课程的媒资信息，再添加该课程的媒资信息，所以这里定义根据课程 id 删除课程计划媒资方法： public interface TeachplanMediaPubRepository extends JpaRepository<TeachplanMediaPub, String> {//根据课程id删除课程计划媒资信息long deleteByCourseId(String courseId);} 从TeachplanMedia查询课程计划媒资信息 //从TeachplanMedia查询课程计划媒资信息public interface TeachplanMediaRepository extends JpaRepository<TeachplanMedia, String> {List<TeachplanMedia> findByCourseId(String courseId);} Service 编写保存课程计划媒资信息方法，并在课程发布时调用此方法。 1、保存课程计划媒资信息方法 本方法采用先删除该课程的媒资信息，再添加该课程的媒资信息，在 CourseService 下定义该方法 //保存课程计划媒资信息private void saveTeachplanMediaPub(String courseId){//查询课程媒资信息List<TeachplanMedia> byCourseId = teachplanMediaRepository.findByCourseId(courseId);if(byCourseId == null) return; //没有查询到媒资数据则直接结束该方法//将课程计划媒资信息储存到待索引表//删除原有的索引信息teachplanMediaPubRepository.deleteByCourseId(courseId);//一个课程可能会有多个媒资信息,遍历并使用list进行储存List<TeachplanMediaPub> teachplanMediaPubList = new ArrayList<>();for (TeachplanMedia teachplanMedia: byCourseId) {TeachplanMediaPub teachplanMediaPub = new TeachplanMediaPub();BeanUtils.copyProperties(teachplanMedia, teachplanMediaPub);teachplanMediaPubList.add(teachplanMediaPub);}//保存所有信息teachplanMediaPubRepository.saveAll(teachplanMediaPubList);} 2、课程发布时调用此方法 修改课程发布的 coursePublish 方法： ....//保存课程计划媒资信息到待索引表saveTeachplanMediaPub(courseId);//页面urlString pageUrl = cmsPostPageResult.getPageUrl();return new CoursePublishResult(CommonCode.SUCCESS,pageUrl);..... 测试 测试课程发布后是否成功将课程媒资信息存储到 teachplan_media_pub 中，测试流程如下： 1、指定一个课程 2、为课程计划添加课程媒资 3、执行课程发布 4、观察课程计划媒资信息是否存储至 teachplan_media_pub 中 注意：由于此测试仅用于测试发布课程计划媒资信息的功能，可暂时将 cms页面发布的功能暂时屏蔽，提高测试效率。 测试结果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vrzs5589-1595567273126)(https://qnoss.codeyee.com/20200704_15/image7)] 0x03 Logstash：扫描课程计划媒资 Logstash 定时扫描课程媒资信息表，并将课程媒资信息写入索引库。 创建索引 1、创建 xc_course_media 索引 2、并向此索引创建如下映射 POST: http://localhost:9200/xc_course_media/doc/_mapping {"properties" : {"courseid" : {"type" : "keyword"},"teachplan_id" : {"type" : "keyword"},"media_id" : {"type" : "keyword"},"media_url" : {"index" : false,"type" : "text"},"media_fileoriginalname" : {"index" : false,"type" : "text"} }} 索引创建成功 创建模板文件 在 logstach 的 config 目录文件 xc_course_media_template.json 文件路径为 %ES_ROOT_DIR%/logstash6.8.8/config/xc_course_media_template.json %ES_ROOT_DIR% 为 ElasticSearch 和 logstash 的安装目录 内容如下： {"mappings" : {"doc" : {"properties" : {"courseid" : {"type" : "keyword"},"teachplan_id" : {"type" : "keyword"},"media_id" : {"type" : "keyword"},"media_url" : {"index" : false,"type" : "text"},"media_fileoriginalname" : {"index" : false,"type" : "text"} }},"template" : "xc_course_media"} } 配置 mysql.conf 在logstash的 config 目录下配置 mysql_course_media.conf 文件供 logstash 使用，logstash 会根据 mysql_course_media.conf 文件的配置的地址从 MySQL 中读取数据向 ES 中写入索引。 参考https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html 配置输入数据源和输出数据源。 input {stdin {} jdbc {jdbc_connection_string => "jdbc:mysql://localhost:3306/xc_course?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC" 数据库信息jdbc_user => "root"jdbc_password => "123123" MYSQL 驱动地址,修改为maven仓库对应的位置jdbc_driver_library => "D:/soft/apache-maven-3.5.4/repository/mysql/mysql-connector-java/5.1.40/mysql-connector-java-5.1.40.jar" the name of the driver class for mysqljdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"要执行的sql文件statement_filepath => "/conf/course.sql"statement => "select from teachplan_media_pub where timestamp > date_add(:sql_last_value,INTERVAL 8 HOUR)"定时配置schedule => " "record_last_run => truelast_run_metadata_path => "D:/soft/elasticsearch/logstash-6.8.8/config/xc_course_media_metadata"} } output {elasticsearch {ES的ip地址和端口hosts => "localhost:9200"hosts => ["localhost:9200","localhost:9202","localhost:9203"]ES索引库名称index => "xc_course_media"document_id => "%{teachplan_id}"document_type => "doc"template => "D:/soft/elasticsearch/logstash-6.8.8/config/xc_course_media_template.json"template_name =>"xc_course_media"template_overwrite =>"true"} stdout {日志输出codec => json_lines} } 启动 logstash.bat 启动 logstash.bat 采集 teachplan_media_pub 中的数据，向 ES 写入索引。 logstash.bat -f ../config/mysql_course_media.conf 课程发布成功后，Logstash 会自动参加 teachplan_media_pub 表中新增的数据，效果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ILPBxfXi-1595567273134)(https://qnoss.codeyee.com/20200704_15/image10)] Logstash多实例运行 由于之前我们还启动了一个 Logstash 对课程的发布信息进行采集，所以如果想两个 logstash 实例同时运行，因为每个实例都有一个.lock文件，所以不能使用同一个目录来存放数据，所以我们需要使用 --path.data= 为每个实例指定单独的数据目录，具体的代码如下： 该配置是在windows下进行的 课程发布实例 logstash_start_course_pub.bat @title logstash in course_publogstash.bat -f ..\config\mysql.conf --path.data=../data/course_pub 课程计划媒体发布实例 logstash_start_teachplan_media.bat @title logstash i n teachplan_media_publogstash.bat -f ../config/mysql_course_media.conf --path.data=../data/teachplan_media/ 同时运行效果如下 0x04 搜素服务：查询课程媒资接口 需求分析 搜索服务 提供查询课程媒资接口，此接口供学习服务调用。 Api接口定义 @ApiOperation("根据课程计划查询媒资信息")public TeachplanMediaPub getmedia(String teachplanId); Service 1、配置课程计划媒资索引库等信息 在 application.yml 中配置 xuecheng:elasticsearch:hostlist: ${eshostlist:127.0.0.1:9200} 多个结点中间用逗号分隔course:index: xc_coursetype: docsource_field: id,name,grade,mt,st,charge,valid,pic,qq,price,price_old,status,studymodel,teachmode,expires,pub_time,start_time,end_timemedia:index: xc_course_mediatype: docsource_field: courseid,media_id,media_url,teachplan_id,media_fileoriginalname 2、service 方法开发 在 课程搜索服务 中定义课程媒资查询接口，为了适应后续需求，service 参数定义为数组，可一次查询多个课程计划的媒资信息。 / 根据一个或者多个课程计划id查询媒资信息 @param teachplanIds 课程id @return QueryResponseResult/public QueryResponseResult<TeachplanMediaPub> getmedia(String [] teachplanIds){//设置索引SearchRequest searchRequest = new SearchRequest(media_index);//设置类型searchRequest.types(media_type);//创建搜索源对象SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();//源字段过滤String[] media_index_arr = media_field.split(",");searchSourceBuilder.fetchSource(media_index_arr, new String[]{});//查询条件,根据课程计划id查询(可以传入多个课程计划id)searchSourceBuilder.query(QueryBuilders.termsQuery("teachplan_id", teachplanIds));searchRequest.source(searchSourceBuilder);SearchResponse searchResponse = null;try {searchResponse = restHighLevelClient.search(searchRequest);} catch (IOException e) {e.printStackTrace();}//获取结果SearchHits hits = searchResponse.getHits();long totalHits = hits.getTotalHits();SearchHit[] searchHits = hits.getHits();//数据列表List<TeachplanMediaPub> teachplanMediaPubList = new ArrayList<>();for(SearchHit hit:searchHits){TeachplanMediaPub teachplanMediaPub =new TeachplanMediaPub();Map<String, Object> sourceAsMap = hit.getSourceAsMap();//取出课程计划媒资信息String courseid = (String) sourceAsMap.get("courseid");String media_id = (String) sourceAsMap.get("media_id");String media_url = (String) sourceAsMap.get("media_url");String teachplan_id = (String) sourceAsMap.get("teachplan_id");String media_fileoriginalname = (String) sourceAsMap.get("media_fileoriginalname");teachplanMediaPub.setCourseId(courseid);teachplanMediaPub.setMediaUrl(media_url);teachplanMediaPub.setMediaFileOriginalName(media_fileoriginalname);teachplanMediaPub.setMediaId(media_id);teachplanMediaPub.setTeachplanId(teachplan_id);//将对象加入到列表中teachplanMediaPubList.add(teachplanMediaPub);}//构建返回课程媒资信息对象QueryResult<TeachplanMediaPub> queryResult = new QueryResult<>();queryResult.setList(teachplanMediaPubList);queryResult.setTotal(totalHits);return new QueryResponseResult<TeachplanMediaPub>(CommonCode.SUCCESS,queryResult);} Controller / 根据课程计划id搜索发布后的媒资信息 @param teachplanId @return/@GetMapping(value="/getmedia/{teachplanId}")@Overridepublic TeachplanMediaPub getmedia(@PathVariable("teachplanId") String teachplanId) {//为了service的拓展性,所以我们service接收的是数组作为参数,以便后续开发查询多个ID的接口String[] teachplanIds = new String[]{teachplanId};//通过service查询ES获取课程媒资信息QueryResponseResult<TeachplanMediaPub> mediaPubQueryResponseResult = esCourseService.getmedia(teachplanIds);QueryResult<TeachplanMediaPub> queryResult = mediaPubQueryResponseResult.getQueryResult();if(queryResult!=null&& queryResult.getList()!=null&& queryResult.getList().size()>0){//返回课程计划对应课程媒资return queryResult.getList().get(0);} return new TeachplanMediaPub();} 测试 使用 swagger-ui 和 postman 测试课程媒资查询接口。 三、在线学习：接口开发 0x01 需求分析 根据下边的业务流程，本章节完成前端学习页面请求学习服务获取课程视频地址，并自动播放视频。 0x02 搭建开发环境 1、创建数据库 创建 xc_learning 数据库，学习数据库将记录学生的选课信息、学习信息。 导入：资料/xc_learning.sql 2、创建学习服务工程 参考课程管理服务工程结构，创建学习服务工程： 导入：资料/xc-service-learning.zip 项目工程结构如下 0x03 Api接口 此 api 接口是课程学习页面请求学习服务获取课程学习地址。 定义返回值类型： package com.xuecheng.framework.domain.learning.response;import com.xuecheng.framework.model.response.ResponseResult;import com.xuecheng.framework.model.response.ResultCode;import lombok.Data;import lombok.NoArgsConstructor;import lombok.ToString;@Data@ToString@NoArgsConstructorpublic class GetMediaResult extends ResponseResult {public GetMediaResult(ResultCode resultCode, String fileUrl) {super(resultCode);this.fileUrl = fileUrl;}//媒资文件播放地址private String fileUrl;} 定义接口，学习服务根据传入课程 ID、章节 Id(课程计划 ID)来取学习地址。 @Api(value = "录播课程学习管理",description = "录播课程学习管理")public interface CourseLearningControllerApi {@ApiOperation("获取课程学习地址")public GetMediaResult getMediaPlayUrl(String courseId,String teachplanId);} 0x04 服务端开发 需求分析 学习服务根据传入课程ID、章节Id(课程计划ID)请求搜索服务获取学习地址。 搜索服务注册Eureka 学习服务要调用搜索服务查询课程媒资信息，所以需要将搜索服务注册到 eureka 中。 1、查看服务名称是否为 xc-service-search 注意修改application.xml中的服务名称：spring:application:name: xc‐service‐search 2、配置搜索服务的配置文件 application.yml，加入 Eureka 配置 如下： eureka:client:registerWithEureka: true 服务注册开关fetchRegistry: true 服务发现开关serviceUrl: Eureka客户端与Eureka服务端进行交互的地址，多个中间用逗号分隔defaultZone: ${EUREKA_SERVER:http://localhost:50101/eureka/,http://localhost:50102/eureka/}instance:prefer-ip-address: true 将自己的ip地址注册到Eureka服务中ip-address: ${IP_ADDRESS:127.0.0.1}instance-id: ${spring.application.name}:${server.port} 指定实例idribbon:MaxAutoRetries: 2 最大重试次数，当Eureka中可以找到服务，但是服务连不上时将会重试，如果eureka中找不到服务则直接走断路器MaxAutoRetriesNextServer: 3 切换实例的重试次数OkToRetryOnAllOperations: false 对所有操作请求都进行重试，如果是get则可以，如果是post，put等操作没有实现幂等的情况下是很危险的,所以设置为falseConnectTimeout: 5000 请求连接的超时时间ReadTimeout: 6000 请求处理的超时时间 3、添加 eureka 依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring‐cloud‐starter‐netflix‐eureka‐client</artifactId></dependency> 4、修改启动类，在class上添加如下注解： @EnableDiscoveryClient 搜索服务客户端 在 学习服务 创建搜索服务的客户端接口，此接口会生成代理对象，调用搜索服务： package com.xuecheng.learning.client;import com.xuecheng.framework.domain.course.TeachplanMediaPub;import org.springframework.cloud.openfeign.FeignClient;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.PathVariable;@FeignClient(value = "xc‐service‐search")public interface CourseSearchClient {@GetMapping(value="/getmedia/{teachplanId}")public TeachplanMediaPub getmedia(@PathVariable("teachplanId") String teachplanId);} 自定义错误代码 我们在 com.xuecheng.framework.domain.learning.response 包下自定义一个错误消息模型 package com.xuecheng.framework.domain.learning.response;import com.xuecheng.framework.model.response.ResultCode;import lombok.ToString;@ToStringpublic enum LearningCode implements ResultCode {LEARNING_GET_MEDIA_ERROR(false,23001,"学习中心获取媒资信息错误！");//操作代码boolean success;//操作代码int code;//提示信息String message;private LearningCode(boolean success, int code, String message){this.success = success;this.code = code;this.message = message;}@Overridepublic boolean success() {return success;}@Overridepublic int code() {return code;}@Overridepublic String message() {return message;} } 该消息模型基于 ResultCode 来实现，代码如下 package com.xuecheng.framework.model.response;/ Created by mrt on 2018/3/5. 10000-- 通用错误代码 22000-- 媒资错误代码 23000-- 用户中心错误代码 24000-- cms错误代码 25000-- 文件系统/public interface ResultCode {//操作是否成功,true为成功，false操作失败boolean success();//操作代码int code();//提示信息String message(); 从 ResultCode 中我们可以看出，我们约定了用户中心的错误代码使用 23000，所以我们定义的一些错误信息的代码就从 23000 开始计数。 Service 在学习服务中定义 service 方法，此方法远程请求课程管理服务、媒资管理服务获取课程学习地址。 package com.xuecheng.learning.service.impl;import com.netflix.discovery.converters.Auto;import com.xuecheng.framework.domain.course.TeachplanMediaPub;import com.xuecheng.framework.domain.learning.response.GetMediaResult;import com.xuecheng.framework.exception.ExceptionCast;import com.xuecheng.framework.model.response.CommonCode;import com.xuecheng.learning.client.CourseSearchClient;import com.xuecheng.learning.service.LearningService;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;@Servicepublic class LearningServiceImpl implements LearningService {@AutowiredCourseSearchClient courseSearchClient;/ 远程调用搜索服务获取已发布媒体信息中的url @param courseId 课程id @param teachplanId 媒体信息id @return/@Overridepublic GetMediaResult getMediaPlayUrl(String courseId, String teachplanId) {//校验学生权限,是否已付费等//远程调用搜索服务进行查询媒体信息TeachplanMediaPub mediaPub = courseSearchClient.getmedia(teachplanId);if(mediaPub == null) ExceptionCast.cast(CommonCode.FAIL);return new GetMediaResult(CommonCode.SUCCESS, mediaPub.getMediaUrl());} } Controller 调用 service 根据课程计划 id 查询视频播放地址： @RestController@RequestMapping("/learning/course")public class CourseLearningController implements CourseLearningControllerApi {@AutowiredLearningService learningService;@Override@GetMapping("/getmedia/{courseId}/{teachplanId}")public GetMediaResult getMediaPlayUrl(@PathVariable String courseId, @PathVariable String teachplanId) {//获取课程学习地址return learningService.getMedia(courseId, teachplanId);} } 测试 使用 swagger-ui 或postman 测试学习服务查询课程视频地址接口。 0x05 前端开发 需求分析 需要在学习中心前端页面需要完成如下功能： 1、进入课程学习页面需要带上 课程 Id参数及课程计划Id的参数，其中 课程 Id 参数必带，课程计划 Id 可以为空。 2、进入页面根据 课程 Id 取出该课程的课程计划显示在右侧。 3、进入页面后判断如果请求参数中有课程计划 Id 则播放该章节的视频。 4、进入页面后判断如果 课程计划id 为0则需要取出本课程第一个 课程计划的Id，并播放第一个课程计划的视频。 进入到模块 xc-ui-pc-leanring/src/module/course api方法 let sysConfig = require('@/../config/sysConfig')let apiUrl = sysConfig.xcApiUrlPre;/获取播放地址/export const get_media = (courseId,chapter) => {return http.requestGet(apiUrl+'/api/learning/course/getmedia/'+courseId+'/'+chapter);} 配置代理 在 Nginx 中的 ucenter.xuecheng.com 虚拟主机中配置 /api/learning/ 的路径转发，此url 请转发到学习服务。 学习服务upstream learning_server_pool{server 127.0.0.1:40600 weight=10;}学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;}后端搜索服务location /openapi/search/ {proxy_pass http://search_server_pool/search/; }学习服务location ^~ /api/learning/ {proxy_pass http://learning_server_pool/learning/;} } 视频播放页面 1、如果传入的课程计划id为0则取出第一个课程计划id 在 created 钩子方法中完成 created(){//当前请求的urlthis.url = window.location//课程idthis.courseId = this.$route.params.courseId//章节idthis.chapter = this.$route.params.chapter//查询课程信息systemApi.course_view(this.courseId).then((view_course)=>{if(!view_course || !view_course[this.courseId]){this.$message.error("获取课程信息失败，请重新进入此页面！")return ;}let courseInfo = view_course[this.courseId]console.log(courseInfo)this.coursename = courseInfo.nameif(courseInfo.teachplan){console.log("准备开始播放视频")let teachplan = JSON.parse(courseInfo.teachplan);this.teachplanList = teachplan.children;//开始学习if(this.chapter == "0" || !this.chapter){//取出第一个教学计划this.chapter = this.getFirstTeachplan();console.log("第一个教学计划id为 ",this.chapter);this.study(this.chapter);}else{this.study(this.chapter);} }})}, 取出第一个章节 id，用户未输入课程计划 id 或者输入为 0 时，播放第一个。 //取出第一个章节getFirstTeachplan(){for(var i=0;i<this.teachplanList.length;i++){let firstTeachplan = this.teachplanList[i];//如果当前children存在，则取出第一个返回if(firstTeachplan.children && firstTeachplan.children.length>0){let secondTeachplan = firstTeachplan.children[0];return secondTeachplan.id;} }return ;}, 开始学习： //开始学习study(chapter){// 获取播放地址courseApi.get_media(this.courseId,chapter).then((res)=>{if(res.success){let fileUrl = sysConfig.videoUrl + res.fileUrl//播放视频this.playvideo(fileUrl)}else if(res.message){this.$message.error(res.message)}else{this.$message.error("播放视频失败，请刷新页面重试")} }).catch(res=>{this.$message.error("播放视频失败，请刷新页面重试")});}, 2、点击右侧课程章节切换播放 在原有代码基础上添加 click 事件，点击调用开始学习方法（study）。 <li v‐if="teachplan_first.children!=null" v‐for="(teachplan_second, index) inteachplan_first.children"><i class="glyphicon glyphicon‐check"></i><a :href="url" @click="study(teachplan_second.id)">{ {teachplan_second.pname} }</a></li> 3、地址栏路由url变更 这里需要注意一个问题，在用户点击课程章节切换播放时，地址栏的 url 也应该同步改变为当前所选择的课程计划 id 4、在线学习按钮 将 learnstatus 默认更改为 1，这样就能显示出马上学习的按钮，方便我们后续的集成测试。 文件路径为 xc-ui-pc-static-portal/include/course_detail_dynamic.html 部分代码块如下 <script>var body= new Vue({ //创建一个Vue的实例el: "body", //挂载点是id="app"的地方data: {editLoading: false,title:'测试',courseId:'',charge:'',//203001免费,203002收费learnstatus: 1 ,//课程状态，1：马上学习，2：立即报名、3：立即购买course:{},companyId:'template',company_stat:[],course_stat:{"s601001":"","s601002":"","s601003":""} }, 简单的测试 访问在线学习页面：http://ucenter.xuecheng.com//learning/课程id/课程计划id 通过 url 传入两个参数：课程id 和 课程计划id 如果没有课程计划则传入0 测试项目如下： 1、传入正确的课程id、课程计划id，自动播放本章节的视频 2、传入正确的课程id、课程计划id传入0，自动播放第一个视频 3、传入错误的课程id 或 课程计划id，提示错误信息。 4、通过右侧章节目录切换章节及播放视频。 访问： http://ucenter.xuecheng.com//learning/4028e58161bcf7f40161bcf8b77c0000/4028e58161bd18ea0161bd1f73190008 传入正确的课程id、课程计划id，自动播放本章节的视频 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ef0xxym7-1595567273153)(https://qnoss.codeyee.com/20200704_15/image17)] 传入正确的课程id、课程计划id传入0，自动播放第一个视频 访问 http://ucenter.xuecheng.com//learning/4028e58161bcf7f40161bcf8b77c0000/0 识别出第一个课程计划的 id 需要注意的是这里的 chapter 参数是我自己在 study 函数里加上去的，可以忽略。 传入错误的课程id或课程计划id，提示错误信息。 通过右侧章节目录切换章节及播放视频。 点击章节即可播放，但是点击制定章节后 url 没有发生改变，这个问题暂时还没有解决，关注笔记后面的内容。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TOGdxwb4-1595567273158)(https://qnoss.codeyee.com/20200704_15/image20)] 完整的测试 准备工作 启动 RabbitMQ，启动 Logstash、ElasticSearch 建议把所有后端服务都开起来 启动 前端静态门户、启动 nginx 、启动课程管理前端 我们整理一下测试的流程 上传两个媒资视频文件，用于测试 进入到课程管理，为课程计划选择媒资信息 发布课程，等待 logstash 将数据采集到 ElasticSearch 的索引库中 进入学成网主页，点击课程，进入到搜索门户页面 搜索课程，进入到课程详情页面 点击开始学习，进入到课程学习页面，选择课程计划中的一个章节进行学习。 1、上传文件 首先我们使用之前开发的媒资管理模块，上传两个视频文件用于测试。 第一个文件上传成功 一些问题 在上传第二个文件时，发生了错误，我们来检查一下问题出在了哪里 在媒体服务的控制台中可以看到，在 mergeChunks 方法在校验文件 md5 时候抛出了异常 我们在 MD5 校验这里打个断点，重新上传文件，分析一下问题所在。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OpEMZGI8-1595567273166)(https://qnoss.codeyee.com/20200704_15/image23)] 单步调试后发现，合并文件后的MD5值与用户上传的源文件值不相等 方案1：删除本地分块文件重新尝试上传 考虑到可能是在用户上传完 视频的分块文件时发生了一些问题，导致合并文件后与源文件的大小不等，导致MD5也不相同，这里我们把这个视频上传到本地的文件全部删除，在媒资上传页面重新上传文件。 对比所有分块文件的字节大小和本地源文件的大小，完全是相等的 删除所有文件后重新上传，md5值还是不等，考虑从调试一下文件合并的代码。 方案2：检查前端提交的MD5值是否正确 在查阅是否有其他的MD5值获取方案时，发现了一个使用 windows 本地命令获取文件MD5值的方法 certutil -hashfile .\19-在线学习接口-集成测试.avi md5 惊奇的发现，TM的原来是前端那边转换的MD5值不正确，后端这边是没有问题的。 从前面的图可以看出，本地和后端转换的都是以一个 f6f0 开头的MD5值 那么问题就出现在前端了，还需要花一些时间去分析一下，这里暂时就先告一段落，因为上传了几个文件测试中只有这一个文件出现了问题。 2、为课程计划选择媒资信息 进入到一个课程的管理页面 http://localhost:12000//course/manage/baseinfo/4028e58161bcf7f40161bcf8b77c0000 将刚才我们上传的媒资文件的信息和课程计划绑定 选择效果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-epKaqzCD-1595567273178)(https://qnoss.codeyee.com/20200704_15/image29)] 2、发布课程，等待 logstash 从 course_pub 以及 teachplan_media_pub 表中采集数据到 ElasticSearch 当中 发布成功后，我们可以从 teachplan_media_pub 表中看到刚才我们发布的媒资信息 再观察 Logstash 的控制台，发现两个 Logstash 的实例都对更新的课程发布信息进行了采集 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hTUve2ik-1595567273183)(https://qnoss.codeyee.com/20200704_15/image32)] 3、前端门户测试 打开我们的门户主站 http://www.xuecheng.com/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4wZe9R84-1595567273185)(https://qnoss.codeyee.com/20200704_15/image33)] 点击导航栏的课程，进入到我们的搜索门户页面 如果无法进入到搜索门户，请检查你的 xc-ui-pc-portal 前端工程是否已经启动 进入到搜索门户后，可以看到一些初始化时搜索的课程数据，默认是搜索第一页的数据，每页2个课程。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BJ1AKoJb-1595567273187)(https://qnoss.codeyee.com/20200704_15/image34)] 我们可以测试搜索一下前面我们选择媒资信息时所用的课程 点击课程，进入到课程详情页面，然后再点击开始学习。 点击马上学习后，会进入到该课程的在线学习页面，默认自动播放我们第一个课程计划中的视频。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tcuLWnf2-1595567273193)(https://qnoss.codeyee.com/20200704_15/image37)] 我们可以在右侧的目录中选择第二个课程计划，会自动播放所选的课程计划所对应的媒资视频播放地址，该 播放地址正是我们刚才通过 Logstash 自动采集到 ElasticSearch 的索引信息，效果图如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cvi9Dr0Y-1595567273195)(https://qnoss.codeyee.com/20200704_15/image38)] 四、待完善的一些功能 课程发布前，校验课程计划里面是否包含二级课程计划 课程发布前，校验课程计划信息里面是否全部包含媒资信息 删除媒资信息，并且同步删除ES中的索引 在获取该课程的播放地址时校验用户的合法、 在线学习页面，点击右侧目录中的课程计划同时改变url中的课程计划地址 视频文件 19-在线学习接口-集成测试.avi 前端上传时提交的MD5值不正确 😁 认识作者 作者：👦 LCyee ，全干型代码🐕 自建博客：https://www.codeyee.com 记录学习以及项目开发过程中的笔记与心得，记录认知迭代的过程，分享想法与观点。 CSDN 博客：https://blog.csdn.net/codeyee 记录和分享一些开发过程中遇到的问题以及解决的思路。 欢迎加入微服务练习生的队伍，一起交流项目学习过程中的一些问题、分享学习心得等，不定期组织一起刷题、刷项目，共同见证成长。 本篇文章为转载内容。原文链接：https://blog.csdn.net/codeyee/article/details/107558901。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...要向RabbitMQ服务器发送消息来实现数据传输和消息处理等功能。在一些关键的业务场合，我们常常得保证消息能够像百米赛跑那样，稳稳当当地跑到接收方手中，一个字儿都不能错。而且，就算半路上出了什么岔子，也得有办法把那完整的消息给抢救回来，不丢一分一毫。这时，我们就需要利用RabbitMQ中的事务性消息发送功能。 二、什么是事务性消息发送？ 在RabbitMQ中，事务性消息发送是一种特殊的处理方式，它可以在消息传递过程中提供原子性的操作保障，即所有的操作要么全部成功，要么全部失败，不存在中间状态。说白了，就是假设有这么个情况，我们在发消息的时候突然出了点岔子，这时候RabbitMQ可机灵着呢，它会自动把已经发出的所有消息都撤回来，这样一来，咱的消息就能保持原汁原味，完整性妥妥的得到保障啦。 三、如何在RabbitMQ中实现事务性消息发送？ 要实现事务性消息发送，我们需要首先创建一个事务管理器，并将其绑定到RabbitMQ连接上。接下来，我们可以直接用这个事务管理器开启一个新的交易，然后在新开的这个交易里头，放心大胆地发送消息就对了。最后，我们需要调用事务管理器的commit方法来提交事务，或者调用其rollback方法来回滚事务。 下面是一个具体的示例： java import com.rabbitmq.client.; public class TransactionalProducer { private final Connection connection; private final Channel channel; public TransactionalProducer(String host, int port) throws IOException { // 创建连接和通道 this.connection = new Connection(host, port); this.channel = connection.createChannel(); } public void sendMessage(String exchangeName, String routingKey, String message) throws IOException { // 开始一个新的事务 channel.txSelect(); // 发送消息 channel.basicPublish(exchangeName, routingKey, null, message.getBytes()); // 提交事务 channel.txCommit(); } public static void main(String[] args) throws IOException { TransactionalProducer producer = new TransactionalProducer("localhost", 5672); producer.sendMessage("hello-exchange", "hello-routing-key", "Hello World!"); } } 在这个示例中，我们首先创建了一个新的交易连接，并从中获取到了一个交易频道。接着呢，我们就像这样操作的：在把消息发送出去之前，先启动了一个全新的事务，这一步就是通过调用txSelect方法来完成的。而等到消息成功发送出去之后，咱们再潇洒地执行txCommit方法，这就意味着那个事务被顺利提交啦。这样，即使在发送消息的过程中出现了异常，RabbitMQ也会自动撤销已经发送的所有消息，从而保证了消息的完整性和一致性。 四、结论 总的来说，在RabbitMQ中实现事务性消息发送是一项非常重要的功能，它可以为我们提供原子性的操作保障，避免因为单个操作失败而导致的数据丢失或损坏。而通过上面的示例，我们也看到其实现起来并不复杂，只需要简单地几步操作即可。所以，如果你正在用RabbitMQ搞数据传输、处理消息这些活儿，那你就得把这个功能玩得溜溜的，确保在关键时刻能把它物尽其用，一点儿不浪费。

...onsumer端出现异常而导致消息丢失。例如： java Exchange exchange = ExchangeBuilder.direct("exchange").build(); Binding binding = BindingBuilder.bind(exchange).toQueue("queue"); channel.queueDeclare(queueName, false, false, true, null); binding.bind(channel); channel.basicConsume(queueName, true, new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message = new String(body, StandardCharsets.UTF_8); System.out.println("Received: " + message); channel.basicAck(deliveryTag, false); // 发送确认信号给Producer } }); 2. 设置最大重试次数 对于那些由于网络问题导致的消息丢失，我们可以设置一个最大重试次数，超过这个次数就不再尝试发送。例如： php-template public function sendMessage($message, $maxRetries = 5) { for ($retryCount = 0; $retryCount < $maxRetries; $retryCount++) { try { $this->connection->publish($message); return; } catch (AMQPConnectionException $e) { if ($retryCount == $maxRetries - 1) { throw $e; } sleep(rand(1, 3)); // 随机等待一段时间再重试 } } } 3. 自定义死信队列 如果我们发现死信队列满的情况比较频繁，可以考虑自定义死信队列，定期清理死信队列。例如： css // 定义死信队列 $deadLetterQueue = new Queue('dead_letter_queue', false, false, true, false); // 创建DeadLetterExchange $deadLetterExchange = new DirectExchange('dlx'); $deadLetterExchange->setType(DirectExchange::TYPE_FANOUT); $deadLetterExchange->setArguments([ 'x-dead-letter-exchange' => 'amq.direct', 'x-dead-letter-routing-key' => 'dlx', ]); // 绑定死信队列到DeadLetterExchange $channel->bindQueue( $deadLetterQueue, $deadLetterExchange->getName(), $deadLetterQueue->getName() ); // 消费队列并处理死信 $consumer = new Consumer($channel, new Callback(function (MessageInterface $msg) { if (!$msg instanceof RecoverableExceptionMessageInterface) { return; } try { $msg->requeue(); // 将消息重新加入队列 } catch (\Throwable $e) { $msg->redeliver(); // 将消息再次发送给消费者 } })); $channel->consume($deadLetterQueue, '', false, false, false, $consumer); 4. 使用持久化存储 为了避免因网络问题导致消息丢失，我们可以选择使用持久化存储，这样即使在网络中断的情况下，消息也可以保存下来。例如： java Exchange exchange = ExchangeBuilder.direct("exchange").build(); Binding binding = BindingBuilder.bind(exchange).toQueue("queue"); channel.queueDeclare(queueName, true, false, true, null); // 设置持久化标志位 binding.bind(channel); channel.basicConsume(queueName, true, new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message = new String(body, StandardCharsets.UTF_8); System.out.println("Received: " + message); channel.basicAck(deliveryTag, false); // 发送确认信号给Producer } });

...例如，当我们创建一个Channel时，我们可以这样操作： java ServerBootstrap b = new ServerBootstrap(); ChannelFuture f = b.bind(new InetSocketAddress(8080)).sync(); f.channel().close(); 在这个例子中，我们首先创建了一个ServerBootstrap实例，然后绑定到本地的8080端口，并同步等待服务启动。最后，我们关闭了服务器通道。这就是手动释放资源的一种方式。 2.2 自动垃圾回收 除了手动释放资源外，Netty还提供了自动垃圾回收的功能。在Java中，我们通常会使用垃圾回收器来自动回收不再使用的对象。而在Netty中，我们也有一套类似的机制。 具体来说，Netty会定期检查系统中的活跃对象列表，如果发现某个对象已经不再被引用，就会将其加入到垃圾回收队列中，等待垃圾回收器对其进行清理。这其实是一种超级给力的资源管理方法，能够帮我们大大减轻手动清理资源的繁琐劳动。 三、Netty中的资源回收机制 那么，Netty中的资源回收机制又是怎样的呢？实际上，Netty主要通过两种方式来实现资源回收：一是使用垃圾回收器，二是使用内部循环池。 3.1 垃圾回收器 在Java中，我们通常会使用垃圾回收器来自动回收不再使用的对象。而在Netty中，我们也有一套类似的机制。 具体来说，Netty会定期检查系统中的活跃对象列表，如果发现某个对象已经不再被引用，就会将其加入到垃圾回收队列中，等待垃圾回收器对其进行清理。这其实是一种超级给力的资源管理方法，能够帮我们大大减轻手动清理资源的繁琐劳动。 3.2 内部循环池 除了垃圾回收器之外，Netty还使用了一种称为内部循环池的技术来管理资源。这种技术主要是用于处理一些耗时的操作，如IO操作等。 具体来说，Netty会在运行时预先分配一定的线程数量，并将这些线程放入一个线程池中。当我们要进行一项可能耗时较长的操作时，就可以从这个线程池里拽出一个线程宝宝出来帮忙处理任务。当这个操作圆满完成后，咱就顺手把这个线程塞回线程池里，让它继续在那片池子里由“线程大管家”精心打理它的生老病死。 这种方式的好处是，它可以有效地避免线程的频繁创建和销毁，从而提高了系统的效率。同时，由于线程池是由Netty管理的，所以我们可以不用担心资源的泄露问题。 四、结论 总的来说，Netty提供了多种有效的资源管理机制，可以帮助我们更好地管理和利用系统资源。无论是手动释放资源还是自动垃圾回收，都可以有效地避免资源的浪费和泄露。另外，Netty的独门秘籍——内部循环池技术，更是个狠角色。它能手到擒来地处理那些耗时费力的操作，让系统的性能和稳定性嗖嗖提升，真是个给力的小帮手。 然而，无论哪种资源管理方式，都需要我们在编写代码时进行适当的规划和设计。只有这样操作，咱们才能稳稳地保障系统的正常运行和高性能表现，而且还能顺带给避免那些烦人的资源泄露问题引发的各种故障和损失。所以，在用Netty做网络编程的时候，咱们不仅要摸透它的基本功能和操作手法，更得把它的资源管理机制给研究个门儿清，理解得透透的。

...发者快速构建可扩展的服务器端应用程序。想象一下，你正在开发一个需要处理海量数据的大数据流处理平台，这时候Netty就显得尤为重要了。它不仅能够帮助我们高效地管理网络连接，还能让我们轻松应对高并发场景。 我第一次接触Netty的时候，真的被它的灵活性震撼到了。哎，说到程序员的烦心事，那肯定得提一提怎么让程序在被成千上万的人同时戳的时候还能稳如老狗啊！这事儿真心让人头大，尤其是看着服务器指标噌噌往上涨，心里直打鼓，生怕哪一秒就崩了。而Netty通过非阻塞I/O模型，完美解决了这个问题。这就像是一个超级能干的服务员，能够在同一时间同时服务上万个客人，而且就算有个客人纠结半天点菜（也就是某个请求拖拉），也不会耽误其他客人的服务，更不会让整个餐厅都停下来等他。 举个栗子： java EventLoopGroup bossGroup = new NioEventLoopGroup(); // 主线程组 EventLoopGroup workerGroup = new NioEventLoopGroup(); // 工作线程组 try { ServerBootstrap b = new ServerBootstrap(); // 启动辅助类 b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) // 使用NIO通道 .childHandler(new ChannelInitializer() { // 子处理器 @Override protected void initChannel(SocketChannel ch) throws Exception { ch.pipeline().addLast(new StringDecoder()); // 解码器 ch.pipeline().addLast(new StringEncoder()); // 编码器 ch.pipeline().addLast(new SimpleChannelInboundHandler() { @Override protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception { System.out.println("Received message: " + msg); ctx.writeAndFlush("Echo: " + msg); // 回显消息 } }); } }); ChannelFuture f = b.bind(8080).sync(); // 绑定端口并同步等待完成 f.channel().closeFuture().sync(); // 等待服务关闭 } finally { workerGroup.shutdownGracefully(); bossGroup.shutdownGracefully(); } 这段代码展示了如何用Netty创建一个简单的TCP服务器。话说回来，Netty这家伙简直太贴心了，它的API设计得特别直观，想设置啥处理器或者监听事件都超简单，用起来完全没压力，感觉开发效率直接拉满！ 2. 大数据流处理平台中的挑战 接下来，我们聊聊大数据流处理平台面临的挑战。在这个领域，我们通常会遇到以下几个问题： - 高吞吐量：我们需要处理每秒数百万条甚至更多的数据记录。 - 低延迟：对于某些实时应用场景（如股票交易），毫秒级的延迟都是不可接受的。 - 可靠性：数据不能丢失，必须保证至少一次投递。 - 扩展性：随着业务增长，系统需要能够无缝扩容。 这些问题听起来是不是很让人头大？但别担心，Netty正是为此而生的！ 让我分享一个小故事吧。嘿，有次我正忙着弄个日志收集系统，结果一测试才发现，这传统的阻塞式I/O模型简直是“人形瓶颈”啊！流量一大就直接崩溃，完全hold不住那个高峰时刻，简直让人头大！于是，我开始研究Netty，并将其引入到项目中。哈哈，结果怎么样？系统的性能直接翻了三倍！这下我可真服了，选对工具真的太重要了，感觉像是找到了开挂的装备一样爽。 为了更好地理解这些挑战，我们可以看看下面这段代码，这是Netty中用来实现高性能读写的示例： java public class HighThroughputHandler extends ChannelInboundHandlerAdapter { private final ByteBuf buffer; public HighThroughputHandler() { buffer = Unpooled.buffer(1024); } @Override public void channelActive(ChannelHandlerContext ctx) throws Exception { for (int i = 0; i < 1024; i++) { buffer.writeByte((byte) i); } ctx.writeAndFlush(buffer.retain()); } @Override public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { ctx.write(msg); } @Override public void channelReadComplete(ChannelHandlerContext ctx) throws Exception { ctx.flush(); } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { cause.printStackTrace(); ctx.close(); } } 在这段代码中，我们创建了一个自定义的处理器HighThroughputHandler，它能够在每次接收到数据后立即转发出去，从而实现高吞吐量的传输。 3. Netty如何优化大数据流处理平台？ 现在，让我们进入正题——Netty是如何具体优化大数据流处理平台的呢？ 3.1 异步非阻塞I/O Netty的核心优势在于其异步非阻塞I/O模型。这就相当于，当有请求进来的时候，Netty可不会给每个连接都专门安排一个“服务员”，而是让这些连接共用一个“服务团队”。这样既能节省人手，又能高效处理各种任务，多划算啊！这样做的好处是显著减少了内存占用和上下文切换开销。 假设你的大数据流处理平台每天要处理数十亿条数据记录，采用传统的阻塞式I/O模型，很可能早就崩溃了。而Netty则可以通过单线程处理数千个连接，极大地提高了资源利用率。 3.2 零拷贝技术 另一个让Netty脱颖而出的特点是零拷贝技术。嘿，咱们就拿快递打个比方吧！想象一下，你在家里等着收快递，但这个快递特别麻烦——它得先从仓库（相当于内核空间）送到快递员手里（用户空间），然后快递员再把东西送回到你家（又回到内核空间）。这就像是数据在网络通信里来回折腾了好几趟，一会儿在系统深处待着，一会儿又被搬出来给应用用，真是费劲啊！这种操作不仅耗时，还会消耗大量CPU资源。 Netty通过ZeroCopy机制，直接将数据从文件系统传递到网络套接字，避免了不必要的内存拷贝。这种做法不仅加快了数据传输速度，还降低了系统的整体负载。 这里有一个实际的例子： java FileRegion region = new DefaultFileRegion(fileChannel, 0, fileSize); ctx.write(region); 上述代码展示了如何利用Netty的零拷贝功能发送大文件，无需手动加载整个文件到内存中。 3.3 灵活的消息编解码 在大数据流处理平台中，数据格式多种多样，可能包括JSON、Protobuf、Avro等。Netty提供了一套强大的消息编解码框架，允许开发者根据需求自由定制解码逻辑。 例如，如果你的数据是以Protobuf格式传输的，可以这样做： java public class ProtobufDecoder extends MessageToMessageDecoder { @Override protected void decode(ChannelHandlerContext ctx, ByteBuf in, List out) throws Exception { byte[] data = new byte[in.readableBytes()]; in.readBytes(data); MyProtoMessage message = MyProtoMessage.parseFrom(data); out.add(message); } } 通过这种方式，我们可以轻松解析复杂的数据结构，同时保持代码的整洁性和可维护性。 3.4 容错与重试机制 最后但同样重要的是，Netty内置了强大的容错与重试机制。在网上聊天或者传输文件的时候，有时候会出现消息没发出去、对方迟迟收不到的情况，就像快递丢了或者送慢了。Netty这个小助手可机灵了，它会赶紧发现这些问题，然后试着帮咱们把没送到的消息重新发一遍，就像是给快递员多派一个人手，保证咱们的信息能安全顺利地到达目的地。 java RetryHandler retryHandler = new RetryHandler(maxRetries); ctx.pipeline().addFirst(retryHandler); 上面这段代码展示了如何添加一个重试处理器到Netty的管道中，让它在遇到错误时自动重试。 4. 总结与展望 经过这一番探讨，相信大家已经对Netty及其在大数据流处理平台中的应用有了更深入的理解。Netty可不只是个工具库啊，它更像是个靠谱的小伙伴，陪着咱们一起在高性能网络编程的大海里劈波斩浪、寻宝探险！ 当然，Netty也有它的局限性。比如说啊，遇到那种超级复杂的业务场景，你可能就得绞尽脑汁写一堆专门定制的代码，不然根本搞不定。还有呢，这门技术的学习难度有点大，刚上手的小白很容易觉得晕头转向，不知道该怎么下手。但我相信，只要坚持实践，总有一天你会爱上它。 未来，随着5G、物联网等新技术的发展，大数据流处理的需求将会更加旺盛。而Netty凭借其卓越的性能和灵活性，必将在这一领域继续发光发热。所以，不妨大胆拥抱Netty吧，它会让你的开发之旅变得更加精彩！ 好了，今天的分享就到这里啦！如果你有任何疑问或者想法，欢迎随时交流。记住，编程之路没有终点，只有不断前进的脚步。加油，朋友们！

...关键的功能，对于处理异常场景、优化系统性能至关重要。 第一部分：理解消息重新入队的基本概念 消息重新入队，简单来说，就是当消费者无法处理消息或者消息处理失败时，RabbitMQ自动将消息重新放入队列的过程。哎呀，这个机制就像是系统的超级救生员，专门负责不让任何消息失踪，还有一套超级厉害的技能，能在系统出状况的时候及时出手，让它重新变得稳稳当当的。就像你出门忘了带钥匙，但有备用钥匙在手，就能轻松解决问题一样，这个机制就是系统的那个备用钥匙，关键时刻能救大急！ 第二部分：消息重新入队的关键因素 - 消息持久化：消息是否持久化决定了消息在RabbitMQ服务器重启后是否能继续存在。启用持久化（basic.publish()方法中的mandatory参数设置为true）是实现消息重新入队的基础。 - 确认机制：通过配置confirm.select，可以确保消息被正确地投递到队列中。这有助于检测消息投递失败的情况，从而触发重新入队流程。 - 死信交换：当消息经过一系列处理后仍不符合接收条件时，可能会被转移到死信队列中。合理配置死信策略，可以避免死信积累，确保消息正常流转。 第三部分：实现消息重新入队的步骤 步骤一：配置持久化 在RabbitMQ中，确保消息持久化是实现重新入队的第一步。通过生产者代码添加持久化标志： python import pika connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.queue_declare(queue='my_queue', durable=True) message = "Hello, RabbitMQ!" channel.basic_publish(exchange='', routing_key='my_queue', body=message, properties=pika.BasicProperties(delivery_mode=2)) 设置消息持久化 connection.close() 步骤二：使用确认机制 通过confirm.select来监听消息确认状态，确保消息成功到达队列： python def on_delivery_confirmation(method_frame): if method_frame.method.delivery_tag in sent_messages: print(f"Message {method_frame.method.delivery_tag} was successfully delivered") else: print("Failed to deliver message") sent_messages = [] connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.confirm_delivery() channel.basic_consume(queue='my_queue', on_message_callback=callback, auto_ack=False) channel.start_consuming() 步骤三：处理异常与重新入队 在消费端，通过捕获异常并重新发送消息到队列来实现重新入队： python import pika def callback(ch, method, properties, body): try: process_message(body) except Exception as e: print(f"Error processing message: {e}") ch.basic_nack(delivery_tag=method.delivery_tag, requeue=True) def process_message(message): 处理逻辑... pass connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.queue_declare(queue='my_queue') channel.basic_qos(prefetch_count=1) channel.basic_consume(queue='my_queue', on_message_callback=callback) channel.start_consuming() 第四部分：实践与优化 在实际应用中，合理设计队列的命名空间、消息TTL、死信策略等，可以显著提升系统的健壮性和性能。此外，监控系统状态、定期清理死信队列也是维护系统健康的重要措施。 结语 消息重新入队是RabbitMQ提供的一种强大功能，它不仅增强了系统的容错能力，还为开发者提供了灵活的错误处理机制。通过上述步骤的学习和实践，相信你已经对如何在RabbitMQ中实现消息重新入队有了更深入的理解。嘿，兄弟！听我一句，你得明白，做事情可不能马虎。每一个小步骤，每一个细节，都像是你在拼图时放的一块小片儿，这块儿放对了，整幅画才好看。所以啊，在你搞设计或者实现方案的时候，千万要细心点儿，谨慎点儿，别急躁，慢慢来，细节决定成败你知道不？这样出来的成果，才能经得起推敲，让人满意！愿你在构建分布式系统时，能够充分利用RabbitMQ的强大功能，打造出更加稳定、高效的应用。

...明式渲染和响应式数据绑定的方式来创建交互式的Web应用程序。Vue.js以其轻量级、易上手和灵活的特性在现代Web开发领域广受欢迎。 Axios , Axios是一个基于Promise的HTTP客户端库，适用于浏览器和Node.js环境。在Vue.js应用中，开发者可以利用Axios发送同步或异步的HTTP请求，与服务器进行数据交换。Axios提供了一套简洁且功能强大的API，支持拦截请求和响应、取消请求以及自动转换请求和响应数据等特性。 生命周期钩子函数 , 在Vue.js中，生命周期钩子函数是一系列特定时间点被Vue实例调用的函数，这些函数允许开发者在组件的不同阶段执行自定义逻辑。例如，在\ created\ 生命周期钩子函数中，当Vue实例被创建并完成属性初始化后，该函数会被调用，此时适合执行获取数据或其他依赖于初始状态的操作。在文章示例中，我们就在\ created\ 钩子中使用Axios发起同步HTTP请求以获取服务器数据，并将返回的数据绑定到组件的状态（data）中。

...va编写中，客户端和服务器端交流是非常常见的一个操作。客户端指的是用户界面，比如Web页面、客户端应用界面等；服务器端则是处理数据，进行逻辑计算、存储数据等操作。 要完成前服务器端交流，首先需要明确数据的传输方式。在Web编写中，普遍采用的通信方式是HTTPS协议。完成前服务器端交流的方式也非常多，以下是其中的一些: //客户端向服务器端发送指令 $.ajax({ type: "POST", url: "<服务器端URL>", data: {"<变量1>": "<数据1>", "<变量2>": "<数据2>", ... }, dataType: "json", success: function(data) { //响应数据处理 }, error: function(xhr, textStatus, errorThrown) { //异常处理 } }); //服务器端向客户端回应数据 HttpServletResponse response = null; PrintWriter out = null; try { response.setCharacterEncoding("UTF-8"); response.setContentType("application/json;charset=UTF-8"); out = response.getWriter(); out.print(jsonData.toString()); //回应数据 } catch (IOException e) { log.error("Response error", e); } finally { if (out != null) { out.close(); } } //以上代码中，客户端通过$.ajax()方法向服务器端发送指令并传递变量，而服务器端则通过HttpServletResponse对象回应数据到客户端。回应的数据可以是JSON数据格式，也可以是HTML文档或不同格式。 除了上述方式以外，Java中还有许多框架和技术可以完成前服务器端交流。比如，Spring MVC框架能够非常方便地完成前服务器端数据交流，而Hibernate框架则能够方便地操作数据库。 无论采用何种方式，完成前服务器端交流的关键在于理解前服务器端分离的概念，尽量保持前服务器端的解耦。这样，就能够让前服务器端各司其职，提高代码的可维护性和可扩展性。

...ven）模式下的数据绑定问题后，我们不难发现，随着Web开发技术的持续演进，各类MVC框架对于数据绑定机制的设计与实现也在不断优化。例如，Spring MVC通过其强大的@ModelAttribute注解和灵活的数据Binder配置，为开发者提供了更为精细的数据绑定控制能力，从而有效避免属性覆盖、数据校验以及转换异常等问题。 近期，Apache Struts社区也针对数据绑定安全性和易用性发布了若干更新。Struts 2.5版本及以后引入了OGNL表达式的安全改进措施，增强了对模型对象属性访问的控制，从而降低了因不当数据绑定引发的安全风险。同时，新版Struts2还优化了类型转换器的默认行为，并鼓励开发者根据实际场景定制类型转换规则，以应对复杂业务需求中的数据转换挑战。 此外，对于现代Web应用而言，前端表单验证与后端数据处理的有效配合愈发重要。诸如Vue.js、React等现代前端框架结合JSON Schema或AJV等工具，可在用户提交前完成初步的数据校验，减轻服务器端的压力，并提升用户体验。而在后端，无论使用何种MVC框架，都应该坚持最小权限原则，合理设计数据模型并实施严格的数据绑定策略，以确保系统的稳定与安全。 综上所述，面对数据绑定这一核心议题，开发者不仅需要掌握现有框架如Struts2的实现细节，更应关注行业动态和技术趋势，结合最新的安全实践和高效的数据处理方式，才能在实际项目中游刃有余地应对各种数据绑定问题。