前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[Kafka生产者和消费者API跨数据中心...]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
RabbitMQ
...消息中间件,它充当了生产者和消费者之间的桥梁,负责存储、路由和传递消息,确保信息能够在不同的系统组件之间可靠且高效地流转。 异步通信 , 异步通信是计算机程序间的一种通信方式,允许发送方(生产者)无需等待接收方(消费者)立即响应即可继续执行后续操作。在文章中,通过超市收银台的例子形象说明了异步通信的优势——生产者可以独立于消费者进行工作,从而提高整个系统的并行处理能力和吞吐量。 AMQP协议 , AMQP(Advanced Message Queuing Protocol,高级消息队列协议)是一种开放标准的应用层协议,用于消息中间件的统一通信。在使用RabbitMQ时,AMQP协议提供了定义消息路由规则、保证消息传输的可靠性与安全性等功能。在本文背景下,虽然未直接提及AMQP,但作为一款支持AMQP协议的消息中间件,RabbitMQ通过遵循这一协议来实现消息的发布、订阅、路由和确认等机制。 持久化特性 , 在RabbitMQ中,持久化特性指的是消息在被写入队列后,即使在服务器重启或者其他故障情况下也能保持不丢失。这意味着,当生产者设置消息为持久化时,RabbitMQ会将消息存储到磁盘上,以提供更高级别的数据可靠性保障,在出现故障恢复后仍能确保消息的完整性和一致性。
2023-12-12 10:45:52
36
春暖花开-t
Kafka
Kafka设计原则:命名规范与组织结构 1. 初识Kafka 一个让我着迷的消息队列系统 大家好啊!今天咱们聊聊Kafka,这个让我又爱又恨的消息队列系统。说实话,刚接触Kafka的时候,我真是被它的复杂度吓到了。嘿,说真的,一开始也没觉得它有多特别,但用得多了才发现这家伙简直太有范儿了!特别是它的设计思路,名字起得那叫一个讲究,东西摆得也特有条理,看得我忍不住直点头,真心觉得牛! Kafka本质上是一个分布式流处理平台,可以用来处理实时数据流。它的核心是消息队列,但又不仅仅是简单的消息队列。它不仅传输速度快、反应还超灵敏,而且特别皮实,出点小问题也不带怕的。这么能打的表现,让它在大数据圈子里简直成了明星!不过,要想用好Kafka,你得先搞清楚它的命名规范和组织结构。接下来,我会结合自己的理解和实践,给大家分享一些干货。 --- 2. 命名规范 让Kafka的世界井然有序 2.1 主题(Topic):Kafka世界的基石 首先,我们来聊聊主题(Topic)。在Kafka里面呢,主题就好比是一个文件夹,所有的消息啊,就像文件一样,一股脑儿地塞进这个文件夹里头。每一个主题都有一个唯一的名称,这个名字就是它的标识符。比如说嘛,你可以建个叫user_events的话题分区,专门用来存用户干的事儿,点啥、买啥、逛哪儿,都往里丢,方便又清晰! java // 创建一个Kafka主题 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic user_events 这里的关键点在于,主题的名字要尽量简单明了,避免使用特殊字符或者空格。哎呀,这就好比你给文件夹起个特别绕口的名字,结果自己都记不住路径了,Kafka也是一样!它会根据主题的名字创建对应的文件夹结构,但要是主题名太复杂,搞不好就会在找东西的时候迷路,路径解析起来就容易出岔子啦。而且啊,主题的名字最好起得通俗易懂一点,让大伙儿一眼扫过去就明白这是干啥用的。 2.2 分区(Partition):主题的分身术 接着说分区(Partition)。每个主题都可以被划分为多个分区,每个分区就是一个日志文件。分区的作用是什么呢?它可以提高并发性和扩展性。比如说,你有个主题叫orders(订单),你可以把它分成5个区(分区)。这样一来,不同的小伙伴就能一起开工,各自处理这些区里的数据啦! java // 查看主题的分区信息 kafka-topics.sh --describe --zookeeper localhost:2181 --topic orders 分区的数量决定了并发的上限。所以,在设计主题时,你需要仔细权衡分区数量。太多的话,管理起来麻烦;太少的话,可能无法充分利用资源。我一般会根据预计的消息量来决定分区的数量。比如说,如果一秒能收到几千条消息,那分区设成10到20个就挺合适的。毕竟分区太多太少了都不好,得根据实际情况来调,不然可能会卡壳或者资源浪费啊! 2.3 消费者组(Consumer Group):团队协作的秘密武器 最后,我们来说消费者组(Consumer Group)。消费者组是一组消费者的集合,它们共同消费同一个主题的消息。每个消费者组都有一个唯一的名称,这个名字同样非常重要。 java // 创建一个消费者组 kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic user_events --group my_consumer_group 消费者组的设计理念是为了实现负载均衡和故障恢复。比如说,如果有两个小伙伴在一个小组里,系统就会帮他们自动分配任务(也就是主题的分区),这样大家就不会抢来抢去,重复干同样的活儿啦!而且呢,要是有个消费者挂掉了或者出问题了,其他的消费者就会顶上来,接手它负责的那些分区,接着干活儿,完全不受影响。 --- 3. 组织结构 Kafka的大脑与四肢 3.1 集群(Cluster):Kafka的心脏 Kafka集群是由多个Broker组成的,Broker是Kafka的核心组件,负责存储和转发消息。一个Broker就是一个节点,多个Broker协同工作,形成一个分布式的系统。 java // 启动Kafka Broker nohup kafka-server-start.sh config/server.properties & Broker的数量决定了系统的容错能力和性能。其实啊,通常咱们都会建议弄三个Broker,为啥呢?就怕万一有个家伙“罢工”了,比如突然挂掉或者出问题,别的还能顶上,整个系统就不耽误干活啦!不过,Broker的数量也不能太多,否则会增加管理和维护的成本。 3.2 Zookeeper:Kafka的大脑 Zookeeper是Kafka的协调器,它负责管理集群的状态和配置。没有Zookeeper,Kafka就无法正常运作。比如说啊,新添了个Broker(也就是那个消息中转站),Zookeeper就会赶紧告诉其他Broker:“嘿,快看看这位新伙伴,更新一下你们的状态吧!”还有呢,要是某个分区的老大换了(Leader切换了),Zookeeper也会在一旁默默记好这笔账,生怕漏掉啥重要信息似的。 java // 启动Zookeeper nohup zookeeper-server-start.sh config/zookeeper.properties & 虽然Zookeeper很重要,但它也有一定的局限性。比如,它可能会成为单点故障,影响整个系统的稳定性。因此,近年来Kafka也在尝试去掉对Zookeeper的依赖,开发了自己的内部协调机制。 3.3 日志(Log):Kafka的四肢 日志是Kafka存储消息的地方,每个分区对应一个日志文件。嘿,这个日志设计可太聪明了!它用的是顺序写入的方法,就像一条直线往前跑,根本不用左顾右盼,写起来那叫一个快,效率直接拉满! java // 查看日志路径 cat config/server.properties | grep log.dirs 日志的大小可以通过参数log.segment.bytes来控制。默认值是1GB,你可以根据实际情况调整。要是日志文件太大了,查个东西就像在大海捞针一样慢吞吞的;但要是弄得太小吧,又老得换新的日志文件,麻烦得很,还费劲。 --- 4. 实战演练 从零搭建一个Kafka环境 说了这么多理论,咱们来实际操作一下吧!假设我们要搭建一个简单的Kafka环境,用来收集用户的登录日志。 4.1 安装Kafka和Zookeeper 首先,我们需要安装Kafka和Zookeeper。可以从官网下载最新的二进制包,解压后按照文档配置即可。 bash 下载Kafka wget https://downloads.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz 解压 tar -xzf kafka_2.13-3.4.0.tgz 4.2 创建主题和消费者 接下来,我们创建一个名为login_logs的主题,并启动一个消费者来监听消息。 bash 创建主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic login_logs 启动消费者 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic login_logs --from-beginning 4.3 生产消息 最后,我们可以编写一个简单的Java程序来生产消息。 java import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; public class KafkaProducerExample { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); KafkaProducer producer = new KafkaProducer<>(props); for (int i = 0; i < 10; i++) { producer.send(new ProducerRecord<>("login_logs", "key" + i, "value" + i)); } producer.close(); } } 这段代码会向login_logs主题发送10条消息,每条消息都有一个唯一的键和值。 --- 5. 总结 Kafka的魅力在于细节 好了,到这里咱们的Kafka之旅就告一段落了。通过这篇文章,我希望大家能更好地理解Kafka的命名规范和组织结构。Kafka为啥这么牛?因为它在设计的时候真是把每个小细节都琢磨得特别透。就像给主题起名字吧,分个区啦,还有消费者组怎么配合干活儿,这些地方都能看出人家确实是下了一番功夫的,真不是随便凑合出来的! 当然,Kafka的学习之路还有很多内容需要探索,比如监控、调优、安全等等。其实我觉得啊,只要你把命名的规矩弄明白了,东西该怎么放也心里有数了,那你就算是走上正轨啦,成功嘛,它就已经在向你招手啦!加油吧,朋友们! --- 希望这篇文章对你有所帮助,如果有任何疑问,欢迎随时交流哦!
2025-04-05 15:38:52
95
彩虹之上
Beego
...。 此外,近年来随着Kafka、NATS等消息中间件的流行,它们也被广泛应用于异步任务处理中,并且有越来越多的开源库如go-rabbitmq、go-kafka-client等为Go语言提供了便捷的接口来集成这些队列系统,为Beego框架下构建高性能分布式系统提供了更多选择。 对于深入理解异步任务处理机制的开发者而言,可以参考《C.A.R. Hoare的 CSP 理论与 Go 语言并发模型实践》一文,该文通过理论结合实践的方式,剖析了Go语言goroutine背后的设计理念以及如何在实际项目如Beego框架中更好地运用这一强大工具。 综上所述,在当今技术发展背景下,理解和掌握异步任务处理和队列系统的应用不仅有利于提高Beego框架项目的开发效能,也能紧跟行业趋势,应对复杂业务场景的挑战。
2023-04-09 17:38:09
487
昨夜星辰昨夜风-t
ActiveMQ
...需求愈发强烈。为此,Kafka、RabbitMQ等其他主流消息中间件也在不断优化其订阅机制以适应现代分布式系统的要求。 例如,Apache Kafka利用其分区和副本机制确保了消息的持久化和高可用性,即使Broker重启或故障,消费者也能通过跟踪偏移量恢复消费状态。而RabbitMQ则提供了镜像队列功能,使得即使节点失效,订阅者仍可以从其它包含相同数据的队列中继续获取消息。 同时,在ActiveMQ社区,开发者们也正在积极探讨如何进一步改进非持久订阅的可靠性。比如,通过引入新的配置选项或者结合外部存储方案,可能在未来版本中提供更为灵活且兼顾实时性和可靠性的订阅模式。 此外,深入理解CAP理论(一致性、可用性和分区容错性)对于设计和选择合适的消息中间件至关重要。在实际应用场景中,我们需根据业务需求权衡并确定是优先保证消息的实时传递还是数据的完整性,从而更好地指导我们在ActiveMQ或其他消息队列产品中的技术选型与实现策略。
2023-03-05 16:49:49
350
青春印记-t
ActiveMQ
...拟Topic的功能和使用方法后,我们发现其在消息中间件领域具有广泛应用价值。近期,随着微服务架构的普及与云计算技术的发展,消息队列作为实现系统解耦、异步处理的重要工具,其功能特性的丰富性和灵活性显得尤为重要。 例如,在大型分布式系统中,虚拟Topic模式可以有效解决服务间一对多的消息发布难题,尤其在金融交易、社交平台、物联网等场景下,确保信息能够迅速且准确地送达多个目标服务。同时,结合Kafka、RabbitMQ等其他主流消息中间件产品的对比研究,我们可以更深入地探讨虚拟Topic在实际应用场景中的优缺点以及适用范围。 此外,对于消息顺序性要求严格的场景,如证券交易或者日志记录,ActiveMQ提供了Durable Topic和Queue以满足此类需求。而针对虚拟Topic可能存在的消息重复或丢失问题,开发团队正在积极研发优化策略,结合事务、持久化存储等多种技术手段,力求在保证消息高效传递的同时,提供更高级别的数据一致性保障。 因此,持续关注ActiveMQ及其虚拟Topic特性的最新发展动态和技术实践,将有助于开发者更好地应对复杂业务场景下的消息通信挑战,提升系统的稳定性和可扩展性。
2023-02-22 12:28:12
400
春暖花开-t
转载文章
...种基于Java平台的API,用于在分布式系统之间进行异步通信。在文章中,JMS被用作构建消息驱动的应用程序,通过发送和接收消息来解耦系统组件。具体来说,代码片段创建了JMS连接、会话以及消费者,以便从队列或主题中读取消息并进行处理。 ActiveMQ , Apache ActiveMQ是一个开源的消息代理(Message Broker)实现,它遵循JMS规范,提供高效可靠的消息传递机制。在文中,ActiveMQ作为消息中间件被使用,负责管理消息队列和主题,使得客户端可以通过JMS接口与之交互,从而实现在分布式应用程序中的异步通信。 消费者 (Consumer) , 在JMS上下文中,消费者是指一个从消息目的地(如队列或主题)接收并处理消息的实体。在文章所给代码中,consumer = session.createConsumer(destination); 创建了一个消费者对象,该对象监听指定的目的地,并在消息到达时调用receive()方法来获取并处理消息。由于文章描述的问题是单线程环境下消费者无法并发消费消息,因此这里的“消费者”概念与多线程环境下的并发消息处理紧密相关。 会话 (Session) , 在JMS中,会话是应用程序与消息代理之间的一个单向点对点通讯通道,用于创建生产者和消费者对象,以及管理消息的生产和消费过程。在提供的代码段里,会话是通过session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);创建的,其中参数决定了会话的行为方式,例如是否支持事务以及消息确认策略。在本文的情境下,多个使用者需要独立的会话以支持并发消费,而非共享同一个会话导致串行处理消息。
2023-08-29 23:11:29
82
转载
Nacos
...进程中,服务之间通过API进行通信。在本文中,作者作为前端开发者,在微服务架构中遇到的挑战主要包括服务发现与配置管理问题,而Nacos则提供了有效的解决方案。 服务注册 , 在微服务架构中,服务注册是指当一个服务启动后,将其自身的信息(如IP地址、端口号、服务名等)注册到服务注册中心的过程。文中提到的Nacos就具备这样的服务注册功能,使得其他服务能够发现并调用它。 服务发现 , 服务发现是微服务架构中的一个重要环节,指的是客户端(消费者)可以通过查询服务注册中心获取到需要调用的服务实例列表,并根据策略选择合适的服务实例进行通信。在使用Nacos的过程中,如果服务发现失败,可能是因为服务未成功注册到Nacos或者配置信息有误。 动态配置 , 动态配置是微服务架构中的一种能力,允许在不重启服务的情况下实时更新应用的配置信息。Nacos作为配置中心,支持动态配置,即服务可以在运行时从Nacos获取最新的配置信息,从而实现灵活、高效的配置管理。 高可用性 , 高可用性是指系统或服务能够在各种异常情况下持续提供服务的能力。文中提到的Nacos具有高可用性设计,意味着即使在集群环境中部分节点出现故障,剩余的节点仍能正常工作,确保整个系统的稳定性和连续性。
2023-05-24 17:04:09
76
断桥残雪-t
SeaTunnel
...Tunnel处理流式数据并确保ExactlyOnce语义? 在大数据领域,实时流式数据的处理与保证数据处理的 ExactlyOnce 语义一直是技术挑战的核心。SeaTunnel(原名Waterdrop),作为一款开源、高性能、易扩展的数据集成平台,能够高效地处理流式数据,并通过其特有的设计和功能实现 ExactlyOnce 的数据处理保证。本文将深入探讨如何利用SeaTunnel处理流式数据,并通过实例展示如何确保 ExactlyOnce 语义。 1. SeaTunnel 简介 SeaTunnel 是一个用于海量数据同步、转换和计算的统一平台,支持批处理和流处理模式。它拥有一个超级热闹的插件生态圈,就像一个万能的桥梁,能够轻松连接各种数据源和目的地,比如 Kafka、MySQL、HDFS 等等,完全不需要担心兼容性问题。而且,对于 Flink、Spark 这些计算引擎大佬们,它也能提供超棒的支持和服务,让大家用起来得心应手,毫无压力。 2. 使用SeaTunnel处理流式数据 2.1 流式数据源接入 首先,我们来看如何使用SeaTunnel从Kafka获取流式数据。以下是一个配置示例: yaml source: type: kafka09 bootstrapServers: "localhost:9092" topic: "your-topic" groupId: "sea_tunnel_group" 上述代码片段定义了一个Kafka数据源,SeaTunnel会以消费者的身份订阅指定主题并持续读取流式数据。 2.2 数据处理与转换 SeaTunnel支持多种数据转换操作,例如清洗、过滤、聚合等。以下是一个简单的字段筛选和转换示例: yaml transform: - type: select fields: ["field1", "field2"] - type: expression script: "field3 = field1 + field2" 这段配置表示仅选择field1和field2字段,并进行一个简单的字段运算,生成新的field3。 2.3 数据写入目标系统 处理后的数据可以被发送到任意目标系统,比如另一个Kafka主题或HDFS: yaml sink: type: kafka09 bootstrapServers: "localhost:9092" topic: "output-topic" 或者 yaml sink: type: hdfs path: "hdfs://namenode:8020/output/path" 3. 实现 ExactlyOnce 语义 ExactlyOnce 语义是指在分布式系统中,每条消息只被精确地处理一次,即使在故障恢复后也是如此。在SeaTunnel这个工具里头,我们能够实现这个目标,靠的是把Flink或者其他那些支持“ExactlyOnce”这种严谨语义的计算引擎,与具有事务处理功能的数据源和目标巧妙地搭配起来。就像是玩拼图一样,把这些组件严丝合缝地对接起来,确保数据的精准无误传输。 例如,在与Apache Flink整合时,SeaTunnel可以利用Flink的Checkpoint机制来保证状态一致性及ExactlyOnce语义。同时,SeaTunnel还有个很厉害的功能,就是针对那些支持事务处理的数据源,比如更新到Kafka 0.11及以上版本的,还有目标端如Kafka、能进行事务写入的HDFS,它都能联手计算引擎,确保从头到尾,数据“零丢失零重复”的精准传输,真正做到端到端的ExactlyOnce保证。就像一个超级快递员,确保你的每一份重要数据都能安全无误地送达目的地。 在配置中,开启Flink Checkpoint功能,确保在处理过程中遇到故障时可以从检查点恢复并继续处理,避免数据丢失或重复: yaml engine: type: flink checkpoint: interval: 60s mode: exactly_once 总结来说,借助SeaTunnel灵活强大的流式数据处理能力,结合支持ExactlyOnce语义的计算引擎和其他组件,我们完全可以在实际业务场景中实现高可靠、无重复的数据处理流程。在这一路的“探险”中,我们可不只是见识到了SeaTunnel那实实在在的实用性以及它强大的威力,更是亲身感受到了它给开发者们带来的那种省心省力、安心靠谱的舒爽体验。而随着技术和需求的不断演进,SeaTunnel也将在未来持续优化和完善,为广大用户提供更优质的服务。
2023-05-22 10:28:27
113
夜色朦胧
Golang
...通道”这个家伙来传递数据,好比是给多个线程之间搭建了一条高速公路,让它们能够顺畅、安全地交换信息,这样一来,就能轻松搞掂多线程同步的难题啦! go func main() { messages := make(chan string) // 创建一个字符串类型的通道 go producer(messages) // 启动生产者goroutine go consumer(messages) // 同时启动消费者goroutine // 等待两个goroutine完成任务 <-done } func producer(out chan string) { for i := 0; i < 5; i++ { out <- "Message " + strconv.Itoa(i) // 将消息发送到通道 } close(out) // 发送完所有消息后关闭通道 } func consumer(in chan string) { for msg := range in { // 循环接收通道中的消息 fmt.Println("Received: ", msg) } done <- true // 消费者完成任务后发出信号 } 上述代码展示了如何通过通道实现在两个goroutine间的同步通信。生产者和消费者之间就像在玩一场默契的传球游戏,生产者负责把消息塞进一个叫通道的秘密隧道里,而消费者则心领神会地从这个通道取出消息。他们之间的配合那叫一个流畅有序,这样一来,既能实现大家一起高效干活(并发),又能巧妙地避免了争抢数据的矛盾冲突。 4. 总结与探讨 Golang通过goroutine和channel为并发编程赋予了全新的理念和实践方式,它让我们能够在保持代码简洁的同时,轻松驾驭复杂的并发场景。这种设计可不是那种死板的语法条条框框,而是咱们人类智慧实实在在的精华所在,它背后是对高效安全并发模型的深度琢磨和洞察理解,可都是大有学问的! 在实际开发过程中,我们可以根据需求充分利用这些特性,比如在处理网络请求、数据库操作或大规模计算等场景中,通过合理创建goroutine以及巧妙地使用channel,可以显著提高系统的吞吐量和响应速度。 总而言之,深入理解和熟练运用Golang的并发与通道机制,无疑会让我们在开发高性能、可扩展的系统时如虎添翼,也必将引领我们在编程艺术的道路上越走越远。
2023-02-26 18:14:07
405
林中小径
ActiveMQ
...术动态中,我们注意到Kafka、RabbitMQ等其他主流消息队列服务也在不断优化其线程模型和资源分配策略。 例如,Apache Kafka 2.8版本引入了全新的线程模型设计,通过减少主线程间的竞争和锁争用,显著提升了并发处理能力和整体性能。这一改进提示我们在选择和使用消息队列时,不仅需要关注基础的线程池配置,还要紧跟技术发展步伐,适时利用最新特性进行优化。 此外,随着微服务架构的普及与云原生时代的到来,容器化部署下的消息中间件资源管理也面临新的挑战。有研究指出,在Kubernetes集群上运行ActiveMQ时,结合HPA(Horizontal Pod Autoscaler)可实现基于CPU或内存利用率自动调整Pod数量,间接优化内部线程资源的使用效率。 同时,对于系统的整体调优,除了关注单一组件如ActiveMQ的配置外,还应考虑上下游服务的协同工作,比如数据库连接池大小、网络带宽限制等因素。理论结合实践,借鉴《Unix编程艺术》等经典著作中的并发与资源调度理念,可以帮助开发者更科学地理解和配置系统资源,以适应复杂多变的业务场景需求。
2023-02-24 14:58:17
502
半夏微凉
ZooKeeper
...ZooKeeper在数据发布与订阅中的应用后,我们不难发现其在现代分布式系统架构中扮演的重要角色。事实上,随着云计算和大数据技术的飞速发展,越来越多的企业和开发者正在寻求更高效、更可靠的分布式协调服务以应对日益复杂的应用场景。 近期,Apache ZooKeeper项目团队持续优化Watcher机制,致力于解决单个Watcher触发一次的问题,通过引入“持久化Watcher”等新特性来满足大规模实时数据同步的需求。例如,在最新的ZooKeeper 3.7版本中,对Watcher机制进行了重构和增强,使得订阅者可以在数据多次变更时持续接收到通知,极大地提高了系统的实时性和健壮性。 此外,结合Kafka、Hadoop等开源项目的实际案例,我们可以看到ZooKeeper在大型集群管理、服务注册与发现等方面的广泛应用。比如,在Kafka中,ZooKeeper不仅用于Broker节点的管理和协调,还为生产者和消费者提供动态的数据订阅服务,进一步凸显了其在分布式系统中的核心价值。 综上所述,深入研究和掌握ZooKeeper的工作原理及其最新进展,对于构建高可用、高性能的分布式系统至关重要。同时,理解并借鉴其在各类实战场景中的最佳实践,将有助于开发者们更好地应对未来分布式计算环境中的挑战与机遇。
2023-07-04 14:25:57
72
寂静森林
ActiveMQ
...一些头疼的问题,比如数据传输和异步通信。在如今这个信息爆炸的时代,实时客户支持变得越来越重要,而ActiveMQ就是那个能帮你搞定这一切的利器。 2. 什么是ActiveMQ? ActiveMQ是一个开源的消息代理,它的功能非常强大,能够处理大量的消息,并且具有很高的可靠性。这个工具超级 versatile(多才多艺),既能一对一聊天,也能像广播一样发消息给大家。而且,它跟各种编程语言都能愉快地玩耍,比如 Java、C、Python 这些,完全没有沟通障碍!这使得它成为构建复杂分布式系统的理想选择。设想一下,你正忙着搞一个实时客服系统,结果各种渠道的海量请求一股脑儿涌来——电邮、社交媒体、电话,应有尽有。这时你会发现,有个能高效处理这些消息的队列简直是救星啊! 3. 实时客户服务系统的需求分析 在设计一个实时客户服务系统时,我们需要考虑几个关键因素: - 高并发性:系统需要能够同时处理大量用户请求。 - 低延迟:响应时间要快,不能让用户等待太久。 - 可扩展性:随着业务的增长,系统需要能够轻松地进行水平扩展。 - 可靠性:即使出现故障,也不能丢失任何一条消息。 为了满足这些需求,我们可以利用ActiveMQ的强大功能来搭建我们的消息传递平台。接下来,我将通过几个具体的例子来展示如何使用ActiveMQ来实现这些目标。 4. 使用ActiveMQ实现消息传递 4.1 创建一个简单的点对点消息传递系统 首先,我们需要创建一个生产者(Producer)和消费者(Consumer)。生产者负责发送消息,而消费者则负责接收并处理这些消息。 java // 生产者代码示例 import org.apache.activemq.ActiveMQConnectionFactory; import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.MessageProducer; import javax.jms.Queue; import javax.jms.Session; import javax.jms.TextMessage; public class Producer { public static void main(String[] args) throws Exception { // 创建连接工厂 ConnectionFactory connectionFactory = new ActiveMQConnectionFactory("tcp://localhost:61616"); // 创建连接 Connection connection = connectionFactory.createConnection(); connection.start(); // 创建会话 Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE); // 创建队列 Queue queue = session.createQueue("CustomerSupportQueue"); // 创建消息生产者 MessageProducer producer = session.createProducer(queue); // 发送消息 TextMessage message = session.createTextMessage("Hello, Customer!"); producer.send(message); System.out.println("Message sent successfully."); // 关闭资源 session.close(); connection.close(); } } java // 消费者代码示例 import org.apache.activemq.ActiveMQConnectionFactory; import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.Message; import javax.jms.MessageConsumer; import javax.jms.Queue; import javax.jms.Session; public class Consumer { public static void main(String[] args) throws Exception { // 创建连接工厂 ConnectionFactory connectionFactory = new ActiveMQConnectionFactory("tcp://localhost:61616"); // 创建连接 Connection connection = connectionFactory.createConnection(); connection.start(); // 创建会话 Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE); // 创建队列 Queue queue = session.createQueue("CustomerSupportQueue"); // 创建消息消费者 MessageConsumer consumer = session.createConsumer(queue); // 接收消息 Message message = consumer.receive(1000); if (message instanceof TextMessage) { TextMessage textMessage = (TextMessage) message; System.out.println("Received message: " + textMessage.getText()); } else { System.out.println("Received non-text message."); } // 关闭资源 session.close(); connection.close(); } } 4.2 实现发布/订阅模式 在实时客服系统中,我们可能还需要处理来自多个来源的消息,这时候可以使用发布/订阅模式。 java // 发布者代码示例 import org.apache.activemq.ActiveMQConnectionFactory; import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.MessageProducer; import javax.jms.Topic; import javax.jms.Session; import javax.jms.TextMessage; public class Publisher { public static void main(String[] args) throws Exception { // 创建连接工厂 ConnectionFactory connectionFactory = new ActiveMQConnectionFactory("tcp://localhost:61616"); // 创建连接 Connection connection = connectionFactory.createConnection(); connection.start(); // 创建会话 Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE); // 创建主题 Topic topic = session.createTopic("CustomerSupportTopic"); // 创建消息生产者 MessageProducer producer = session.createProducer(topic); // 发送消息 TextMessage message = session.createTextMessage("Hello, Customer!"); producer.send(message); System.out.println("Message sent successfully."); // 关闭资源 session.close(); connection.close(); } } java // 订阅者代码示例 import org.apache.activemq.ActiveMQConnectionFactory; import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.Message; import javax.jms.MessageListener; import javax.jms.Session; import javax.jms.Topic; import javax.jms.TopicSubscriber; public class Subscriber implements MessageListener { public static void main(String[] args) throws Exception { // 创建连接工厂 ConnectionFactory connectionFactory = new ActiveMQConnectionFactory("tcp://localhost:61616"); // 创建连接 Connection connection = connectionFactory.createConnection(); connection.start(); // 创建会话 Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE); // 创建主题 Topic topic = session.createTopic("CustomerSupportTopic"); // 创建消息订阅者 TopicSubscriber subscriber = session.createSubscriber(topic); subscriber.setMessageListener(new Subscriber()); // 等待接收消息 Thread.sleep(5000); // 关闭资源 session.close(); connection.close(); } @Override public void onMessage(Message message) { if (message instanceof TextMessage) { TextMessage textMessage = (TextMessage) message; try { System.out.println("Received message: " + textMessage.getText()); } catch (javax.jms.JMSException e) { e.printStackTrace(); } } else { System.out.println("Received non-text message."); } } } 5. 总结 通过以上示例,我们可以看到,ActiveMQ不仅功能强大,而且易于使用。这东西能在咱们的实时客服系统里头,让消息传得飞快,提升大伙儿的使用感受。当然了,在实际操作中你可能会碰到更多复杂的情况,比如要处理事务、保存消息、搭建集群之类的。不过别担心,只要你们把基础的概念和技能掌握好,这些难题都能迎刃而解。希望这篇文章对你有所帮助,如果有任何问题或者想法,欢迎随时交流讨论!
2025-01-16 15:54:47
84
林中小径
Dubbo
...方案(如返回默认值、使用备份服务等),以防止错误扩散导致整个系统的雪崩效应。在本文中,Dubbo框架支持配置熔断时间窗口,在这个时间段内,服务将保持熔断状态,待恢复后再重新尝试调用。 微服务 , 微服务是一种架构风格,它倡导将复杂的应用程序拆分成一组小型、独立的服务。每个服务运行在其自身的进程中,拥有自己的业务逻辑和数据存储,并通过API进行通信协作。这种架构模式有助于提高系统的可扩展性、灵活性和稳定性,使得各个服务可以独立部署、升级和扩展,降低对其他服务的影响。 服务网格(Service Mesh) , 服务网格是一个专门用于处理服务间通信的基础设施层,通常以轻量级网络代理的形式部署在每个服务实例旁边。在云原生环境中,服务网格负责实现服务发现、负载均衡、熔断降级、流量控制等功能。例如Istio和Linkerd等服务网格产品,它们能够提供统一的服务治理能力,无需开发者在应用代码层面关注复杂的网络问题,从而简化微服务间的通信管理和故障处理。
2023-07-06 13:58:31
466
星河万里-t
RabbitMQ
...会导致消息堆积,影响生产者和消费者的正常交互。 - 响应延迟:处理速度下降,因为需要花费更多时间在磁盘I/O上而非内存操作。 2.2 代码实例 python import pika connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.queue_declare(queue='my_queue') channel.basic_publish(exchange='', routing_key='my_queue', body='Hello World!') 如果此时my_queue队列已满,这段代码将抛出异常,提示AMQP channel closing: (403) NOT ENOUGH DISK SPACE。 三、原因解析 3.1 队列设置不当 - 永久队列:默认情况下,RabbitMQ的队列是持久化的,即使服务器重启,消息也不会丢失。如果队列过大,可能导致磁盘占用过多。 - 配额设置:未正确设置交换机或队列的内存和磁盘使用限制。 3.2 数据备份或清理不及时 - 定期备份:如果没有定期清理旧的消息,随着时间的推移,磁盘空间会被占用。 - 日志保留:长时间运行的RabbitMQ服务器可能会产生大量日志文件,占用磁盘空间。 四、解决方案 4.1 调整队列配置 - 非持久化队列:对于不需要长期保留的消息,可以使用非持久化队列,消息会在服务器重启后丢失。 - 设置队列/交换机大小:通过rabbitmqctl set_policy命令,限制队列和交换机的最大内存和磁盘使用量。 4.2 定期清理 - 清理过期消息:使用rabbitmqadmin工具删除过期消息。 - 清理日志:定期清理旧的日志文件,或者配置RabbitMQ的日志滚动策略。 5. 示例代码 bash rabbitmqadmin purge queue my_queue rabbitmqadmin delete log my_log_file.log 五、预防措施 5.1 监控与预警 - 使用第三方监控工具,如Prometheus或Grafana,实时监控RabbitMQ的磁盘使用情况。 - 设置告警阈值,当磁盘空间低于某个值时触发报警。 六、结语 面对RabbitMQ服务器磁盘空间不足的问题,我们需要深入了解其背后的原因并采取相应的解决策略。只要我们把RabbitMQ好好调教一番,合理分配资源、定期给它来个大扫除,再配上一双雪亮的眼睛时刻盯着,就能保证它稳稳当当地运转起来,不会因为磁盘空间不够用而闹出什么幺蛾子,给我们带来不必要的麻烦。记住,预防总是优于治疗,合理管理我们的资源是关键。
2024-03-17 10:39:10
170
繁华落尽-t
MemCache
...境中能够更有效地解决数据定位和负载均衡的问题。当系统中的 MemCache 节点数量发生变化时(如新增或减少节点),使用一致性哈希算法能尽可能地保证已存储的数据依然能够被映射到合适的节点上,从而实现数据在各节点间的均匀分布,并且最大程度减少因节点增减导致的缓存重定位。 消息队列 , 消息队列是一种异步通信机制,在分布式系统中用于解耦服务之间的直接依赖关系。文中提到通过引入 Redis Pub/Sub 或 RabbitMQ 等消息队列中间件,当数据库发生变更时,发布一条消息通知所有 MemCache 节点删除对应的缓存项,以此来间接维护数据的一致性。消息队列允许生产者将消息发送至队列中暂存,消费者按需从队列中取出并处理这些消息,实现了不同组件间灵活、可靠的消息传递。 CRDTs(Conflict-free Replicated Data Types) , CRDT 是一种高级数据结构,设计用于分布式环境下的无冲突复制。这种数据类型能够在多个副本之间自动同步和合并,即使在网络分区等不稳定环境下也能保证最终一致性。尽管文章未直接提及 CRDTs,但在探讨分布式缓存数据同步问题时,它是未来可能的一种解决方案,尤其适用于需要高度容错性和强一致性的场景。CRDTs 可以在不依赖中心协调的情况下,确保数据在不同节点上的更新操作能正确合并,避免出现数据冲突。
2023-11-14 17:08:32
69
凌波微步
ActiveMQ
监控消费者性能:消息堆积与延迟分析 1. 引言 为何关注消费者性能? 嘿,大家好!今天我们要聊的是一个在分布式系统中非常重要的主题——如何监控消费者性能。你可能听说过,ActiveMQ 是一款非常流行的消息中间件,它能帮我们搭建一个既稳定又可以灵活扩展的消息系统。简单来说,就是能让信息传递得更顺畅、更可靠。不过嘛,当系统变得越来越复杂,特别是消息生产和消费量都很大的时候,监控消费者性能就成了头等大事了。因为这直接关系到系统的响应速度、用户体验以及整体稳定性。 消费者性能不佳的表现形式多种多样,其中最常见的是消息堆积和延迟问题。这些问题可能会导致用户等待时间过长,甚至出现服务不可用的情况。因此,了解并掌握如何监控这些性能指标是非常必要的。 2. 消息堆积与延迟 它们是什么? 首先,让我们来了解一下消息堆积和延迟这两个概念。 - 消息堆积:指的是消息从生产者发送到消费者接收之间的时间差变大,导致队列中的消息数量不断增加。这种情况通常发生在消费者的处理能力不足以应对生产者的发送速率时。 - 延迟:是指消息从生产者发送到消费者接收到这条消息之间的总时间。延迟包括了网络传输时间、处理时间和队列等待时间等。 想象一下,如果你正在等公交车,而公交车却迟迟不来(消息堆积),或者虽然来了但你需要等很长时间才能上车(延迟),这肯定会让你感到沮丧。这就跟分布式系统里的事儿一样,要是消费者手慢点,消息堆积起来,整个系统就得遭殃,性能直线下降。 3. 如何监控消费者性能? 现在我们知道了消息堆积和延迟的重要性,那么接下来的问题就是:如何有效地监控它们呢? 3.1 使用JMX监控 ActiveMQ提供了Java Management Extensions (JMX) 接口,允许我们通过编程方式访问和管理其内部状态。这里有一个简单的例子,展示如何使用JMX来获取当前队列中的消息堆积情况: java import javax.management.MBeanServer; import javax.management.ObjectName; import java.lang.management.ManagementFactory; public class ActiveMQMonitor { public static void main(String[] args) throws Exception { MBeanServer mbs = ManagementFactory.getPlatformMBeanServer(); ObjectName name = new ObjectName("org.apache.activemq:type=Broker,brokerName=localhost"); // 获取队列名称 String queueName = "YourQueueName"; ObjectName queueNameObj = new ObjectName("org.apache.activemq:type=Queue,destinationName=" + queueName); // 获取消息堆积数 Integer messageCount = (Integer) mbs.getAttribute(queueNameObj, "EnqueueCount"); System.out.println("Current Enqueue Count for Queue: " + queueName + " is " + messageCount); } } 3.2 日志分析 除了直接通过API访问数据外,我们还可以通过分析ActiveMQ的日志文件来间接监控消费者性能。比如说,我们可以通过翻看日志里的那些报错和警告信息,揪出隐藏的问题,然后赶紧采取行动来优化一下。 4. 优化策略 既然我们已经掌握了如何监控消费者性能,那么接下来就需要考虑如何优化它了。下面是一些常见的优化策略: - 增加消费者数量:当发现消息堆积时,可以考虑增加更多的消费者来分担工作量。 - 优化消费者逻辑:检查消费者处理消息的逻辑,确保没有不必要的计算或等待,尽可能提高处理效率。 - 调整消息持久化策略:根据业务需求选择合适的消息持久化级别,既保证数据安全又不过度消耗资源。 5. 结语 持续改进 监控消费者性能是一个持续的过程。随着系统的不断演进,新的挑战也会随之而来。因此,我们需要保持灵活性,随时准备调整我们的监控策略和技术手段。希望这篇文章能给你带来一些启示,让你在面对类似问题时更加从容不迫! --- 好了,以上就是我对于“监控消费者性能:消息堆积与延迟分析”的全部分享。希望能给你一些启发,让你的项目变得更高效、更稳当!要是你有任何问题或者想深入了解啥的,尽管留言,咱们一起聊一聊。
2024-10-30 15:36:10
82
山涧溪流
SpringCloud
...ring微服务:注册中心可以不用吗?可以直接调用Service层吗? 1. 引言 在现代分布式系统架构设计中,Spring Cloud 微服务框架以其强大的功能和易用性赢得了开发者的青睐。当我们谈论微服务时,往往绕不开一个重要组件——注册中心。那么问题来了,在构建Spring Cloud微服务架构时,注册中心是否是必不可少的环节呢?我们是否可以直接通过远程调用来访问其他服务的Service层方法? 1.1 注册中心的重要性 注册中心在微服务架构中的角色就像一个中央通讯录,例如Eureka、Consul或Nacos等,它们负责服务实例的注册与发现。当每个微服务启动后,它们就像一个个小员工,兴奋地跑到注册中心那报到,把自己的详细地址(也就是IP和端口)登记在册。这样一来,消费者服务这个“需求方”就可以像查电话簿一样,轻松找到生产者服务这个“供给方”的具体位置了。没有注册中心,各个服务之间的交互将变得异常复杂且难以管理。 java // Spring Cloud Eureka客户端配置示例 @Configuration @EnableEurekaClient public class EurekaClientConfig { } 2. 可以不用注册中心吗? 答案是理论上可以,但实际上不推荐。 - 无注册中心方案:在没有注册中心的情况下,服务间通信需要硬编码或者使用配置中心存储服务实例地址。这种做法在服务数量不多,变动也不是很频繁的时候,勉勉强强还能对付过去。不过,一旦服务规模开始吹气球般地膨胀起来,或者需要灵活调整服务数量时,手动去管理这些服务之间的“牵一发动全身”的依赖关系,那就真的会让人头疼得不行,甚至很可能成为引发系统故障的罪魁祸首。 - 可用性挑战:没有注册中心意味着服务发现能力的缺失,无法实时感知服务实例的上线、下线以及健康状态的变化,这会直接影响系统的稳定性和高可用性。 3. 直接调用Service层? 对于这个问题,从技术角度讲,直接跨服务调用Service层是可能的,但这并不符合微服务的设计原则。 - 侵入式调用:假设两个微服务A和B,如果服务A直接通过RPC或RESTful API的方式调用服务B的Service层方法,这就打破了微服务的边界,使得服务之间高度耦合。如果服务B的内部结构或者方式发生变动,那可能就像多米诺骨牌一样,引发一连串反应影响到服务A,这样一来,我们整个系统的维护保养和未来扩展升级就可能会遇到麻烦了。 java @Service public class ServiceA { @Autowired private RestTemplate restTemplate; public void callServiceB() { // 这里虽然可以实现远程调用,但不符合微服务的最佳实践 String serviceBUrl = "http://service-b/service-method"; ResponseEntity response = restTemplate.getForEntity(serviceBUrl, String.class); // ... } } - 面向接口而非实现:遵循微服务的原则,服务间的通信应当基于API契约进行,即调用方只关心服务提供的接口及其返回结果,而不应关心对方具体的实现细节。所以,正确的做法就像是这样:给各个服务之间设立明确、易懂的API接口,然后就像过家家一样,通过网关或者直接“喊话”调用这些接口来实现彼此的沟通交流。 4. 探讨与建议 在实践中,构建健康的微服务生态系统离不开注册中心的支持。它不仅简化了服务间的依赖管理和通信,也极大地提升了系统的健壮性和弹性。讲到直接调用Service层这事儿,乍一看在一些简单场景里确实好像省事儿不少,不过你要是从长远角度琢磨一下,其实并不利于咱们系统的松耦合和扩展性发展。 结论:即使面临短期成本或复杂度增加的问题,为了保障系统的长期稳定和易于维护,我们强烈建议在Spring Cloud微服务架构中采用注册中心,并遵循服务间通过API进行通信的最佳实践。这样才能充分发挥微服务架构的优势,让每个服务都能独立部署、迭代和扩展。
2023-11-23 11:39:17
36
岁月如歌_
Tomcat
...:Java并发工具与API Java提供了一系列强大的并发工具和API,如java.util.concurrent包下的ExecutorService、Semaphore、CountDownLatch、CyclicBarrier等,这些工具能够帮助开发者更简洁、高效地实现并发控制。例如,ExecutorService提供了一种灵活的任务执行框架,支持线程池、任务提交、任务取消等功能,极大地简化了并发编程的实现过程。理解这些工具的工作原理和适用场景,是构建并发系统的第一步。 实践应用:案例分析与最佳实践 实践是检验理论的唯一标准。通过分析经典的并发编程案例,如生产者-消费者模型、银行账户余额更新等,可以深入了解并发控制的难点和解决方案。例如,在生产者-消费者模型中,通过合理使用信号量、锁等机制,可以避免资源竞争和死锁的发生。此外,遵循一些最佳实践,如使用原子变量、避免过早同步、合理设计线程间的通信方式等,可以在实践中有效减少并发编程的复杂性。 时效性与实时更新:并发编程的新趋势 随着云计算、大数据、人工智能等领域的快速发展,多线程编程的应用场景不断扩展,同时也带来了新的挑战。例如,异步编程、非阻塞算法、无锁编程等新兴技术正在逐步改变传统的并发编程范式。同时,JDK的不断迭代也引入了诸如NIO、Stream API、CompletableFuture等新特性,为并发编程提供了更多便利。因此,持续关注并发编程领域的最新研究动态和技术发展,对于提升系统性能、增强软件鲁棒性具有重要意义。 结语:从理论到实践的桥梁 Java并发编程是一门深奥且实用的技术,它既考验着开发者对语言特性的深刻理解,又要求具备良好的工程实践能力。通过理论学习与实践探索相结合的方式,可以逐步掌握并发编程的核心技巧,构建出既高效又稳定的多线程系统。在这个过程中,不断积累经验、反思错误、优化方案,是通往高手之路的必经之路。 通过本文的探讨,希望能激发读者对Java并发编程的兴趣,鼓励他们在实践中不断探索,最终成为精通并发编程的高手。
2024-08-07 16:07:16
53
岁月如歌
RabbitMQ
使用了过时的API版本,导致功能缺失或错误——RabbitMQ实战中的那些坑 1. 初识RabbitMQ 从“消息队列小白”到“菜鸟程序员” 作为一个刚接触分布式系统的菜鸟程序员,我第一次听说RabbitMQ的时候,内心是充满期待的。它可是鼎鼎大名的“全球最受欢迎的开源消息中介”,不仅稳得一批,还能用各种编程语言来玩转它。当时我觉得:“哇,这不就是传说中的‘消息传递神器’吗?” 于是,我开始着手研究如何搭建一个简单的RabbitMQ服务,并尝试用Python写了一个发送和接收消息的小程序。一切看起来都挺顺的,结果有一天,我突然发现代码竟然挂了!更气人的是,问题出在用的API版本太老旧,导致一些功能直接歇菜了。 我当时就懵了:“啥?API版本还能影响功能?这玩意儿不是应该兼容所有旧版本的嘛?”但事实告诉我,这个世界没有免费的午餐,尤其是涉及到软件开发的时候。 --- 2. 问题重现 为什么我的代码突然崩溃了? 事情要从几个月前说起。那时候,我刚刚完成了一个基于RabbitMQ的消息推送系统。为了赶紧把东西推出去,我就没太细看依赖库的版本,直接装了最新的 pika(就是 RabbitMQ 官方推荐的那个 Python 客户端库)。一切都很完美,测试通过后,我兴高采烈地部署到了生产环境。 然而好景不长,几天后同事反馈说,有些消息无法正常到达消费者端。我赶紧登录服务器检查日志,发现报错信息指向了channel.basic_publish()方法。具体错误是: AttributeError: 'Channel' object has no attribute 'basic_publish' 我当时的第一反应是:“卧槽,这是什么鬼?basic_publish明明在文档里写了啊!”于是我翻阅了官方文档,发现确实存在一个叫做basic_publish的方法,但它属于早期版本的API。 经过一番痛苦的排查,我才意识到问题出在了版本差异上。原来,在较新的pika版本中,basic_publish已经被替换成了basic_publish_exchange,并且参数顺序也发生了变化。而我的代码依然按照旧版本的写法来调用,自然就挂掉了。 --- 3. 深度剖析 过时API的危害与应对之道 这件事让我深刻认识到,RabbitMQ虽然强大,但也需要开发者时刻保持警惕。特别是当你依赖第三方库时,稍不留神就可能踩进“版本陷阱”。以下几点是我总结出来的教训: (1)永远不要忽视版本更新带来的变化 很多开发者习惯于直接复制粘贴网上的代码示例,却很少去验证这些代码是否适用于当前版本。你可能不知道,有时候就算方法名一样,背后的逻辑变了,结果可能会差很多。比如说啊,在RabbitMQ的3.x版本里,你用channel.queue_declare()这个方法的时候,它返回的东西就像是个装满数据的盒子,但这个盒子是那种普通的字典格式的。可到了4.x版本呢,这玩意儿就有点变了味儿,返回的不再是那个简单的字典盒子了,而是一个“高级定制版”的对象实例,感觉像是升级成了一个有专属身份的小家伙。 因此,每次引入新工具之前,一定要先查阅官方文档,确认其最新的API规范。要是不太确定,不妨试试跑一下官方给的例程代码,看看有没有啥奇怪的表现。 (2)版本锁定的重要性 为了避免类似的问题再次发生,我在后续项目中采取了严格的版本管理策略。例如,在requirements.txt文件中明确指定依赖库的具体版本号,而不是使用通配符(如>=)。这样做的好处是,即使未来出现了更高级别的版本,也不会意外破坏现有功能。 下面是一段示例代码,展示了如何在pip中固定pika的版本为1.2.0: python requirements.txt pika==1.2.0 当然,这种方法也有缺点,那就是升级依赖时可能会比较麻烦。不过嘛,要是咱们团队人不多,但手头的项目特别讲究稳当性,那这个方法绝对值得一试! --- 4. 实战演练 修复旧代码,拥抱新世界 既然明白了问题所在,接下来就是动手解决问题了。嘿,为了让大家更清楚地知道怎么把旧版的API换成新版的,我打算用一段代码来给大家做个示范,保证一看就懂! 假设我们有一个简单的RabbitMQ生产者程序,如下所示: python import pika connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.queue_declare(queue='hello') channel.basic_publish(exchange='', routing_key='hello', body='Hello World!') print(" [x] Sent 'Hello World!'") connection.close() 如果你直接运行这段代码,很可能会遇到如下警告: DeprecationWarning: This method will be removed in future releases. Please use the equivalent method on the Channel class. 这是因为queue_declare方法现在已经被重新设计为返回一个包含元数据的对象,而不是单纯的字典。我们需要将其修改为如下形式: python import pika connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() result = channel.queue_declare(queue='', exclusive=True) queue_name = result.method.queue channel.basic_publish(exchange='', routing_key=queue_name, body='Hello World!') print(" [x] Sent 'Hello World!'") connection.close() 可以看到,这里新增了一行代码来获取队列名称,同时调整了routing_key参数的赋值方式。这种改动虽然简单,但却能显著提升程序的健壮性和可读性。 --- 5. 总结与展望 从失败中学习,向成功迈进 回想起这次经历,我既感到懊恼又觉得幸运。真后悔啊,当时要是多花点时间去了解API的新变化,就不会在这上面浪费那么多精力了。不过话说回来,这次小挫折也让我学到了教训,以后会更注意避免类似的错误,而且也会更加重视代码的质量。 最后想对大家说一句:技术的世界瞬息万变,没有人能够永远站在最前沿。但只要保持好奇心和学习热情,我们就一定能找到通往成功的道路。毕竟,正如那句经典的话所说:“失败乃成功之母。”只要勇敢面对挑战,总有一天你会发现,那些曾经让你头疼不已的问题,其实都是成长路上不可或缺的一部分。 希望这篇文章对你有所帮助!如果你也有类似的经历或者见解,欢迎随时交流哦~
2025-03-12 16:12:28
105
岁月如歌
转载文章
...Q) 是Oracle数据库内置的一种消息中间件服务,它允许在数据库内部或跨多个数据库、系统(如Java和C应用程序)之间高效可靠地传输和处理异步消息。AQ支持多种消息格式,包括用户自定义对象、XMLType和ANYDATA,并提供了事务性保证和灵活的消息路由机制。 JMS (Java Message Service) , Java消息服务是一种Java平台的标准API,用于实现消息传递系统中的生产者-消费者模式。JMS使得Java应用程序可以发送、接收和读取消息,从而实现了分布式应用之间的解耦和异步通信。在本文的语境中,Java通过JMS与Oracle AQ集成,监听并处理队列中的消息。 PL/SQL , PL/SQL是Oracle数据库特有的过程化SQL语言,它扩展了SQL的功能,允许开发人员编写包含条件判断、循环和其他复杂逻辑的存储过程、函数、触发器等数据库对象。在文章中,使用PL/SQL执行了一系列对Oracle AQ的操作,如创建队列、启动队列、入队和出队消息等。 JDBC连接参数类 , Java Database Connectivity (JDBC) 连接参数类是Java程序中用于存储数据库连接信息的类。在文中提到的JmsConfig类中,包含了诸如用户名、密码、数据库URL以及目标队列名称等连接参数,这些参数被用于初始化和管理到Oracle数据库的JDBC连接,以便Java应用程序能够与Oracle AQ进行交互。 CustomDatumFactory与CustomDatum , 在Java与Oracle数据库类型转换过程中,CustomDatumFactory和CustomDatum是Oracle JDBC驱动提供的接口和类,用于将Oracle数据库的自定义数据类型(如在本例中的demo_queue_payload_type)转换为Java对象,以便在Java应用程序中处理。CustomDatumFactory负责创建和解析CustomDatum对象,而CustomDatum则表示一个可定制的数据结构,可以与数据库中的自定义数据类型相对应。
2023-12-17 14:22:22
138
转载
转载文章
...峰 作者:阿里云研究中心 田丰 外卖送餐市场近几年都保持了超过200%的高增长速度。有如团购市场、共享出行市场的“百团大战”,网络订餐经历了低门槛遍地开花、砸钱补贴吸引用户量、精益运营降本增效三个重要阶段。据比达咨询市场分析数据显示,2016年中国第三方餐饮外卖市场格局中,饿了么位居第一,市场份额为34.6%,美团外卖(33.6%)、百度外卖(18.5%)紧随其后,在“白领市场”、“社区市场”、“校园市场”的细分领域中,饿了么均占据榜首位置。截至2016年12月,饿了么业务覆盖1400多个城市,用户超过1亿,各地加盟餐厅超过100万家,日订单量突破900万,旗下“蜂鸟配送”日配送单量超过450万。 在 “独角兽”的成长道路上,饿了么面对人工成本高制约业务快速扩张、人工派单速度慢导致高峰期积压订单严重、人工派单随机性强引起订单配送时效性差等现实问题,而阿里云通过智能派单系统,基于海量历史订单数据、餐厅数据、骑手数据、用户数据等信息实现智能派单,逐步替代调度员的大部分工作。智能派单系统整体全面上线后将释放90%以上人工派单的人力,每年节省人力支出预计超过亿元。 饿了么的IT系统架构伴随业务量飙升,进行了三次重大升级。 1)起步期(2009至2013年):饿了么由上海交通大学创始团队起家,发展至35人规模,日订单量维持在十万量级,由“IDC+Python”技术组合支撑业务运营,但面临Python人才难觅等困扰。 2)成长期(2014年至2015年):14年8至9月短短2个月内日均订单量增长10倍,从10万迅猛飙升至100万,业务规模主攻全国200个城市,原有IT系统架构压力极大,依靠人肉运维举步维艰,故障波动影响业务,创始人与核心技术团队坚守机房运维一线,才勉强扛住100万量级业务订单。开始借鉴阿里淘宝架构模式,人员团队也涨至500人,技术生态从Python扩展至“Java+Python”开发体系,从“人肉”支撑百万订单运营到自动化运维,并筹备同城异地容灾体系。 3)规模期(2015年至2017年):2015年7至8月,日均订单量从200万翻倍,以往积压的问题都暴露出来,技术架构面临大考验,坚定了架构上云的方案,团队扩展至1000人,架构要承载数百万量级业务时,出现峰值成本、灾备切换、IDC远程运维等种种挑战,全面战略转型采用“IDC+云计算”的混合云架构。在2016年12月25日圣诞节日订单量迎来前所未有的900万单,因此在技术架构上探索多活部署等创新性研发。 为什么选择架构转型上云?据饿了么CTO张雪峰先生所说,技术架构从IDC经典模式发展至混合云模式,主要原因是三个关键因素让管理层下定决心上云: 1) 脉冲计算:从技术架构配套业务发展分析,网络订餐业务具有明显的“脉冲计算”特征,在每日上午10:00至13:00、晚间16:00至19:00业务高峰值出现,而其他时间则业务量很低,暑假是业务高峰季,2016年5.17大促,饿了么第一次做“秒杀”,一秒订单15000笔,巨大的波峰波谷计算差异,引发了自建数据中心容量不可调和的两难处境,如果大规模投入服务器满足6小时的高峰业务量,则其余18个小时的业务低谷计算资源闲置,若满足平均业务量,则无法跟上业务快速发展节奏,落后于竞争对手;搞电商大促时,计算资源投入巨大,大促之后计算峰值下降,采用自建机房利用率仅10%,所以技术团队摸索出用云计算扛营销大促峰值的新模式,采用混合云架构满足 “潮汐业务”峰值计算,阿里云海量云计算资源弹性随需满足巨大的脉冲计算力缺口,这与每年“双11” 淘宝引入阿里云形成全球最大混合云架构具有异曲同工的创新价值。 2) 数据量爆炸:伴随饿了么近五年业务量呈几何级数的爆发式发展,数据量增速更加令人吃惊,是业务量增速的5倍,每日增量数据接近100TB,2015年短短2个月内业务量增长10倍,数据量增长了50倍,上海主生产机房不堪重负。30GB的DDoS攻击对业务系统造成较大风险,上云成为承载大数据、抗网络攻击的好方法。 3) 高可用性挑战:众所周知,IDC自建系统运维要承担从底层硬件到上层应用的“全栈运维”运营能力与维修能力,当2015年夏天上海数据中心故障发生,主核心交换机宕机时,备核心交换机Bug同时被触发,从事故发生到硬件厂商携维修设备打车赶往现场维修的整个过程中,饥饿的消费者无法订餐吃饭,技术团队第一次经历业务中断而束手无策,才下定决心大笔投入混合云灾备的建设,“吃一堑,长一智”,持续向淘宝学习电商云生产与灾备架构,以自动化运维替代人肉运维,从灾备向多活演进,成为饿了么企业架构转型的必经之路。 4) 大数据精益运营:不论网络打车还是网络订餐,共享服务平台脱颖而出的关键成功要素是智能调度算法,以大数据训练算法提升调度效率,饿了么在高峰时段内让百万“骑士”(送餐快递员)完成更多订单是算法持续优化的目标,而这背后隐藏着诸多复杂因素,包括考虑餐厅、骑士、消费者三者的实时动态位置关系,把新订单插入现有“骑士”的行进路线中,估计每家餐厅出餐时间,每个骑手的行进速度、道路熟悉程度各不相同,新老消费者获客成本、高价低价订单的优先级皆不相同。种种考量因素合并到一起,对于人类调度员来说,每天中午和晚上的高峰都是巨大的挑战。以上海商城路配送站为例,一个调度员每6秒钟就要调度1单,他需要考虑骑手已有订单量、路线熟悉度等。因此可以说,这份工作已经完全不适合人类。但对人工智能而言,阿里云ET则非常擅长处理这类超复杂、大规模、实时性要求高的“非人”问题。 饿了么是中国最大的在线外卖和即时配送平台,日订单量900万单、180万骑手、100万家餐饮店,既是史无前例的计算存储挑战,又是人无我有的战略发展机遇。饿了么携手阿里云人工智能团队,通过海量数据训练优化全球最大实时智能调度系统。在基础架构层,云计算解决弹性支撑业务量波动的基础生存问题,在数据智能层,利用大数据训练核心调度算法、提升餐饮店的商业价值,才是业务决胜的“技术神器”。 在针对大数据资源的“专家+机器”运营分析中,不断发现新的特征: 1) 区域差异性:饿了么与阿里云联合研发小组测试中发现有2个配送站点出现严重超时问题。后来才知道:2个站点均在成都,当地人民喜欢早、中餐一起吃,高峰从11点就开始了。习惯了北上广节奏的ET到成都就懵了。据阿里云人工智能专家闵万里分析:“不存在一套通用的算法可以适配所有站点,所以我们需要让ET自己学习或者向人类运营专家请教当地的风土人情、饮食习惯”。除此之外,饿了么覆盖的餐厅不仅有高大上的连锁店,还有大街小巷的各类难以琢磨的特色小吃,难度是其他智能调度业务的数倍。 2) 复杂路径规划:吃一口热饭有多难?送餐路径规划比驾车出行路径规划难度更高,要考虑“骑士”地图熟悉程度、天气状况、拼单效率、送餐顺序、时间对客户满意度影响、送达写字楼电梯等待时间等各种实际情况,究竟ET是如何实现智能派单并确保效率最优的呢?简单来说,ET会将配送站新接订单插入到每个骑手已有的任务中,重新规划一轮最短配送路径,对比哪个骑手新增时间最短。为了能够准确预估新增时间,ET需要知道全国100万家餐厅的出餐速度、超过180万骑手各自的骑行速度、每个顾客坐电梯下楼取餐的时间。一般来说,餐厅出餐等待时间占到了整个送餐时间的三分之一。ET要想提高骑手效率,必须准确预估出餐时间以减少骑手等待,但又不能让餐等人,最后饭凉了。饿了么旗下蜂鸟配送“准时达”服务单均配送时长缩短至30分钟以内。 3) 天气特殊影响:天气等环境因素对送餐响应时间影响显著,要想计算骑手的送餐路程时间,ET需要知道每个骑手在不同区域、不同天气下的送餐速度。如果北京雾霾,ET能看见吗?双方研发团队为ET内置了恶劣天气的算法模型。通常情况下,每逢恶劣天气,外卖订单将出现大涨,对应的餐厅出餐速度和骑手骑行速度都将受到影响,这些ET都会考虑在内。如果顾客在下雪天点个火锅呢?ET也知道,将自动识别其为大单,锁定某一个骑手专门完成配送。 4) 餐饮营销顾问:饿了么整体业务涉及C端(消费者)、B端(餐饮商户)、D端(物流配送)、BD端(地推营销),以往区域业务开拓考核新店数量,现在会重点关注餐饮外卖“健康度”,对于营业额忽高忽低、在线排名变化的餐饮店,都需要BD专家根据大数据帮助餐饮店经营者找出原因并给出解决建议,避免新店外卖刚开始就淹没在区域竞争中,销量平平的新店会离开平台,通过机器学习把餐饮运营专家的经验、以及人看不到的隐含规律固化下来,以数据决策来发现餐饮店经营问题、产品差异定位,让餐饮商户尝到甜头,才愿意继续经营。举个例子,饿了么员工都喜欢楼下一家鸡排店的午餐,但大数据发现这家店的外卖营收并不如实体店那么火爆,9元“鸡排+酸梅汁”是所有人都喜欢的爆款产品,可为什么同样菜品遭遇“线下火、线上冷”呢?数据预警后,BD顾问指出线上外卖鸡排产品没有写明“含免费酸梅汁一杯”的关键促销内容,导致大多数外卖消费者订一份鸡排一杯酸梅汁,却收到一份鸡排两杯酸梅汁,体验自然不好。 饿了么是数据驱动、智能算法调度的自动化生活服务平台,通过O2O数据的在线实时分析,与阿里云人工智能团队不断改进算法,以“全局最优”取代“局部最优”,保证平台上所有餐饮商户都能享受到数据智能的科技红利。 “上云用数”的外部价值诸多,从饿了么内部反馈来看,上云不仅没有让运维团队失去价值,反而带来了“云原生应用”(Cloud Native Application)、“云上多活”、“CDN云端压测”、“安全风控一体化”等创新路径与方案,通过敏捷基础设施(IaaS)、微服务架构(PaaS和SaaS)、持续交付管理、DevOps等云最佳实践,摆脱“人肉”支撑的种种困境,进而实现更快的上线速度、细致的故障探测和发现、故障时能自动隔离、故障时能够自动恢复、方便的水平扩容。饿了么CTO张雪峰先生说:“互联网平台型组织,业务量涨数倍,企业人数稳定降低,才是技术驱动的正确商业模式。” 在不久的将来,你每天订餐、出行、娱乐、工作留下的大数据,会“驯养”出无处不在、无所不能的智能机器人管家,家庭助理帮你点菜,无人机为你送餐,聊天机器人接受你的投诉……当然这个无比美妙的“未来世界”背后,皆有阿里云的数据智能母体“ET”。 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_34126557/article/details/90592502。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-01-31 14:48:26
343
转载
转载文章
...畅 5.网络响应慢,数据和画面展示慢、 6.过渡动画生硬。 7.界面不可交互,卡死,等等现象。 卡顿是如何发生的 卡顿产生的原因一般都比较复杂,如CPU内存大小,IO操作,锁操作,低效的算法等都会引起卡顿。 站在开发的角度看: 通常我们讲,屏幕刷新率是60fps,需要在16ms内完成所有的工作才不会造成卡顿。 为什么是16ms,不是17,18呢? 下面我们先来理清在UI绘制中的几个概念: SurfaceFlinger: SurfaceFlinger作用是接受多个来源的图形显示数据Surface,合成后发送到显示设备,比如我们的主界面中:可能会有statusBar,侧滑菜单,主界面,这些View都是独立Surface渲染和更新,最后提交给SF后,SF根据Zorder,透明度,大小,位置等参数,合成为一个数据buffer,传递HWComposer或者OpenGL处理,最终给显示器。 在显示过程中使用到了bufferqueue,surfaceflinger作为consumer方,比如windowmanager管理的surface作为生产方产生页面,交由surfaceflinger进行合成。 VSYNC Android系统每隔16ms发出VSYNC信号,触发对UI进行渲染,VSYNC是一种在PC上很早就有应用,可以理解为一种定时中断技术。 tearing 问题: 早期的 Android 是没有 vsync 机制的,CPU 和 GPU 的配合也比较混乱,这也造成著名的 tearing 问题,即 CPU/GPU 直接更新正在显示的屏幕 buffer 造成画面撕裂。 后续 Android 引入了双缓冲机制,但是 buffer 的切换也需要一个比较合适的时机,也就是屏幕扫描完上一帧后的时机,这也就是引入 vsync 的原因。 早先一般的屏幕刷新率是 60fps,所以每个 vsync 信号的间隔也是 16ms,不过随着技术的更迭以及厂商对于流畅性的追求,越来越多 90fps 和 120fps 的手机面世,相对应的间隔也就变成了 11ms 和 8ms。 VSYNC信号种类: 1.屏幕产生的硬件VSYNC:硬件VSYNC是一种脉冲信号,起到开关和触发某种操作的作用。 2.由SurfaceFlinger将其转成的软件VSYNC信号,经由Binder传递给Choreographer Choreographer: 编舞者,用于注册VSYNC信号并接收VSYNC信号回调,当内部接收到这个信号时最终会调用到doFrame进行帧的绘制操作。 Choreographer在系统中流程: 如何通过Choreographer计算掉帧情况:原理就是: 通过给Choreographer设置FrameCallback,在每次绘制前后看时间差是16.6ms的多少倍,即为前后掉帧率。 使用方式如下: //Application.javapublic void onCreate() {super.onCreate();//在Application中使用postFrameCallbackChoreographer.getInstance().postFrameCallback(new FPSFrameCallback(System.nanoTime()));}public class FPSFrameCallback implements Choreographer.FrameCallback {private static final String TAG = "FPS_TEST";private long mLastFrameTimeNanos = 0;private long mFrameIntervalNanos;public FPSFrameCallback(long lastFrameTimeNanos) {mLastFrameTimeNanos = lastFrameTimeNanos;mFrameIntervalNanos = (long)(1000000000 / 60.0);}@Overridepublic void doFrame(long frameTimeNanos) {//初始化时间if (mLastFrameTimeNanos == 0) {mLastFrameTimeNanos = frameTimeNanos;}final long jitterNanos = frameTimeNanos - mLastFrameTimeNanos;if (jitterNanos >= mFrameIntervalNanos) {final long skippedFrames = jitterNanos / mFrameIntervalNanos;if(skippedFrames>30){//丢帧30以上打印日志Log.i(TAG, "Skipped " + skippedFrames + " frames! "+ "The application may be doing too much work on its main thread.");} }mLastFrameTimeNanos=frameTimeNanos;//注册下一帧回调Choreographer.getInstance().postFrameCallback(this);} } UI绘制全路径分析: 有了前面几个概念,这里我们让SurfaceFlinger结合View的绘制流程用一张图来表达整个绘制流程: 生产者:APP方构建Surface的过程。 消费者:SurfaceFlinger UI绘制全路径分析卡顿原因: 接下来,我们逐个分析,看看都会有哪些原因可能造成卡顿: 1.渲染流程 1.Vsync 调度:这个是起始点,但是调度的过程会经过线程切换以及一些委派的逻辑,有可能造成卡顿,但是一般可能性比较小,我们也基本无法介入; 2.消息调度:主要是 doframe Message 的调度,这就是一个普通的 Handler 调度,如果这个调度被其他的 Message 阻塞产生了时延,会直接导致后续的所有流程不会被触发 3.input 处理:input 是一次 Vsync 调度最先执行的逻辑,主要处理 input 事件。如果有大量的事件堆积或者在事件分发逻辑中加入大量耗时业务逻辑,会造成当前帧的时长被拉大,造成卡顿,可以尝试通过事件采样的方案,减少 event 的处理 4.动画处理:主要是 animator 动画的更新,同理,动画数量过多,或者动画的更新中有比较耗时的逻辑,也会造成当前帧的渲染卡顿。对动画的降帧和降复杂度其实解决的就是这个问题; 5.view 处理:主要是接下来的三大流程,过度绘制、频繁刷新、复杂的视图效果都是此处造成卡顿的主要原因。比如我们平时所说的降低页面层级,主要解决的就是这个问题; 6.measure/layout/draw:view 渲染的三大流程,因为涉及到遍历和高频执行,所以这里涉及到的耗时问题均会被放大,比如我们会降不能在 draw 里面调用耗时函数,不能 new 对象等等; 7.DisplayList 的更新:这里主要是 canvas 和 displaylist 的映射,一般不会存在卡顿问题,反而可能存在映射失败导致的显示问题; 8.OpenGL 指令转换:这里主要是将 canvas 的命令转换为 OpenGL 的指令,一般不存在问题 9.buffer 交换:这里主要指 OpenGL 指令集交换给 GPU,这个一般和指令的复杂度有关 10.GPU 处理:顾名思义,这里是 GPU 对数据的处理,耗时主要和任务量和纹理复杂度有关。这也就是我们降低 GPU 负载有助于降低卡顿的原因; 11.layer 合成:Android P 修改了 Layer 的计算方法 , 把这部分放到了 SurfaceFlinger 主线程去执行, 如果后台 Layer 过多, 就会导致 SurfaceFlinger 在执行 rebuildLayerStacks 的时候耗时 , 导致 SurfaceFlinger 主线程执行时间过长。 可以选择降低Surface层级来优化卡顿。 12.光栅化/Display:这里暂时忽略,底层系统行为; Buffer 切换:主要是屏幕的显示,这里 buffer 的数量也会影响帧的整体延迟,不过是系统行为,不能干预。 2.系统负载 内存:内存的吃紧会直接导致 GC 的增加甚至 ANR,是造成卡顿的一个不可忽视的因素; CPU:CPU 对卡顿的影响主要在于线程调度慢、任务执行的慢和资源竞争,比如 1.降频会直接导致应用卡顿; 2.后台活动进程太多导致系统繁忙,cpu \ io \ memory 等资源都会被占用, 这时候很容易出现卡顿问题 ,这种情况比较常见,可以使用dumpsys cpuinfo查看当前设备的cpu使用情况: 3.主线程调度不到 , 处于 Runnable 状态,这种情况比较少见 4.System 锁:system_server 的 AMS 锁和 WMS 锁 , 在系统异常的情况下 , 会变得非常严重 , 如下图所示 , 许多系统的关键任务都被阻塞 , 等待锁的释放 , 这时候如果有 App 发来的 Binder 请求带锁 , 那么也会进入等待状态 , 这时候 App 就会产生性能问题 ; 如果此时做 Window 动画 , 那么 system_server 的这些锁也会导致窗口动画卡顿 GPU:GPU 的影响见渲染流程,但是其实还会间接影响到功耗和发热; 功耗/发热:功耗和发热一般是不分家的,高功耗会引起高发热,进而会引起系统保护,比如降频、热缓解等,间接的导致卡顿。 如何监控卡顿 线下监控: 我们知道卡顿问题的原因错综复杂,但最终都可以反馈到CPU使用率上来 1.使用dumpsys cpuinfo命令 这个命令可以获取当时设备cpu使用情况,我们可以在线下通过重度使用应用来检测可能存在的卡顿点 A8S:/ $ dumpsys cpuinfoLoad: 1.12 / 1.12 / 1.09CPU usage from 484321ms to 184247ms ago (2022-11-02 14:48:30.793 to 2022-11-02 14:53:30.866):2% 1053/scanserver: 0.2% user + 1.7% kernel0.6% 934/system_server: 0.4% user + 0.1% kernel / faults: 563 minor0.4% 564/signserver: 0% user + 0.4% kernel0.2% 256/ueventd: 0.1% user + 0% kernel / faults: 320 minor0.2% 474/surfaceflinger: 0.1% user + 0.1% kernel0.1% 576/vendor.sprd.hardware.gnss@2.0-service: 0.1% user + 0% kernel / faults: 54 minor0.1% 286/logd: 0% user + 0% kernel / faults: 10 minor0.1% 2821/com.allinpay.appstore: 0.1% user + 0% kernel / faults: 1312 minor0.1% 447/android.hardware.health@2.0-service: 0% user + 0% kernel / faults: 1175 minor0% 1855/com.smartpos.dataacqservice: 0% user + 0% kernel / faults: 755 minor0% 2875/com.allinpay.appstore:pushcore: 0% user + 0% kernel / faults: 744 minor0% 1191/com.android.systemui: 0% user + 0% kernel / faults: 70 minor0% 1774/com.android.nfc: 0% user + 0% kernel0% 172/kworker/1:2: 0% user + 0% kernel0% 145/irq/24-70900000: 0% user + 0% kernel0% 575/thermald: 0% user + 0% kernel / faults: 300 minor... 2.CPU Profiler 这个工具是AS自带的CPU性能检测工具,可以在PC上实时查看我们CPU使用情况。 AS提供了四种Profiling Model配置: 1.Sample Java Methods:在应用程序基于Java的代码执行过程中,频繁捕获应用程序的调用堆栈 获取有关应用程序基于Java的代码执行的时间和资源使用情况信息。 2.Trace java methods:在运行时对应用程序进行检测,以在每个方法调用的开始和结束时记录时间戳。收集时间戳并进行比较以生成方法跟踪数据,包括时序信息和CPU使用率。 请注意与检测每种方法相关的开销会影响运行时性能,并可能影响性能分析数据。对于生命周期相对较短的方法,这一点甚至更为明显。此外,如果您的应用在短时间内执行大量方法,则探查器可能会很快超过其文件大小限制,并且可能无法记录任何进一步的跟踪数据。 3.Sample C/C++ Functions:捕获应用程序本机线程的示例跟踪。要使用此配置,您必须将应用程序部署到运行Android 8.0(API级别26)或更高版本的设备。 4.Trace System Calls:捕获细粒度的详细信息,使您可以检查应用程序与系统资源的交互方式 您可以检查线程状态的确切时间和持续时间,可视化CPU瓶颈在所有内核中的位置,并添加自定义跟踪事件进行分析。在对性能问题进行故障排除时,此类信息可能至关重要。要使用此配置,您必须将应用程序部署到运行Android 7.0(API级别24)或更高版本的设备。 使用方式: Debug.startMethodTracing("");// 需要检测的代码片段...Debug.stopMethodTracing(); 优点:有比较全面的调用栈以及图像化方法时间显示,包含所有线程的情况 缺点:本身也会带来一点的性能开销,可能会带偏优化方向 火焰图:可以显示当前应用的方法堆栈: 3.Systrace Systrace在前面一篇分析启动优化的文章讲解过 这里我们简单来复习下: Systrace用来记录当前应用的系统以及应用(使用Trace类打点)的各阶段耗时信息包括绘制信息以及CPU信息等。 使用方式: Trace.beginSection("MyApp.onCreate_1");alt(200);Trace.endSection(); 在命令行中: python systrace.py -t 5 sched gfx view wm am app webview -a "com.chinaebipay.thirdcall" -o D:\trac1.html 记录的方法以及CPU中的耗时情况: 优点: 1.轻量级,开销小,CPU使用率可以直观反映 2.右侧的Alerts能够根据我们应用的问题给出具体的建议,比如说,它会告诉我们App界面的绘制比较慢或者GC比较频繁。 4.StrictModel StrictModel是Android提供的一种运行时检测机制,用来帮助开发者自动检测代码中不规范的地方。 主要和两部分相关: 1.线程相关 2.虚拟机相关 基础代码: private void initStrictMode() {// 1、设置Debug标志位,仅仅在线下环境才使用StrictModeif (DEV_MODE) {// 2、设置线程策略StrictMode.setThreadPolicy(new StrictMode.ThreadPolicy.Builder().detectCustomSlowCalls() //API等级11,使用StrictMode.noteSlowCode.detectDiskReads().detectDiskWrites().detectNetwork() // or .detectAll() for all detectable problems.penaltyLog() //在Logcat 中打印违规异常信息// .penaltyDialog() //也可以直接跳出警报dialog// .penaltyDeath() //或者直接崩溃.build());// 3、设置虚拟机策略StrictMode.setVmPolicy(new StrictMode.VmPolicy.Builder().detectLeakedSqlLiteObjects()// 给NewsItem对象的实例数量限制为1.setClassInstanceLimit(NewsItem.class, 1).detectLeakedClosableObjects() //API等级11.penaltyLog().build());} } 线上监控: 线上需要自动化的卡顿检测方案来定位卡顿,它能记录卡顿发生时的场景。 自动化监控原理: 采用拦截消息调度流程,在消息执行前埋点计时,当耗时超过阈值时,则认为是一次卡顿,会进行堆栈抓取和上报工作 首先,我们看下Looper用于执行消息循环的loop()方法,关键代码如下所示: / Run the message queue in this thread. Be sure to call {@link quit()} to end the loop./public static void loop() {...for (;;) {Message msg = queue.next(); // might blockif (msg == null) {// No message indicates that the message queue is quitting.return;// This must be in a local variable, in case a UI event sets the loggerfinal Printer logging = me.mLogging;if (logging != null) {// 1logging.println(">>>>> Dispatching to " + msg.target + " " +msg.callback + ": " + msg.what);}...try {// 2 msg.target.dispatchMessage(msg);dispatchEnd = needEndTime ? SystemClock.uptimeMillis() : 0;} finally {if (traceTag != 0) {Trace.traceEnd(traceTag);} }...if (logging != null) {// 3logging.println("<<<<< Finished to " + msg.target + " " + msg.callback);} 在Looper的loop()方法中,在其执行每一个消息(注释2处)的前后都由logging进行了一次打印输出。可以看到,在执行消息前是输出的">>>>> Dispatching to “,在执行消息后是输出的”<<<<< Finished to ",它们打印的日志是不一样的,我们就可以由此来判断消息执行的前后时间点。 具体的实现可以归纳为如下步骤: 1、首先,我们需要使用Looper.getMainLooper().setMessageLogging()去设置我们自己的Printer实现类去打印输出logging。这样,在每个message执行的之前和之后都会调用我们设置的这个Printer实现类。 2、如果我们匹配到">>>>> Dispatching to "之后,我们就可以执行一行代码:也就是在指定的时间阈值之后,我们在子线程去执行一个任务,这个任务就是去获取当前主线程的堆栈信息以及当前的一些场景信息,比如:内存大小、电脑、网络状态等。 3、如果在指定的阈值之内匹配到了"<<<<< Finished to ",那么说明message就被执行完成了,则表明此时没有产生我们认为的卡顿效果,那我们就可以将这个子线程任务取消掉。 这里我们使用blockcanary来做测试: BlockCanary APM是一个非侵入式的性能监控组件,可以通过通知的形式弹出卡顿信息。它的原理就是我们刚刚讲述到的卡顿监控的实现原理。 使用方式: 1.导入依赖 implementation 'com.github.markzhai:blockcanary-android:1.5.0' Application的onCreate方法中开启卡顿监控 // 注意在主进程初始化调用BlockCanary.install(this, new AppBlockCanaryContext()).start(); 3.继承BlockCanaryContext类去实现自己的监控配置上下文类 public class AppBlockCanaryContext extends BlockCanaryContext {....../ 指定判定为卡顿的阈值threshold (in millis), 你可以根据不同设备的性能去指定不同的阈值 @return threshold in mills/public int provideBlockThreshold() {return 1000;}....} 4.在Activity的onCreate方法中执行一个耗时操作 try {Thread.sleep(4000);} catch (InterruptedException e) {e.printStackTrace();} 5.结果: 可以看到一个和LeakCanary一样效果的阻塞可视化堆栈图 那有了BlockCanary的方法耗时监控方式是不是就可以解百愁了呢,呵呵。有那么容易就好了 根据原理:我们拿到的是msg执行前后的时间和堆栈信息,如果msg中有几百上千个方法,就无法确认到底是哪个方法导致的耗时,也有可能是多个方法堆积导致。 这就导致我们无法准确定位哪个方法是最耗时的。如图中:堆栈信息是T2的,而发生耗时的方法可能是T1到T2中任何一个方法甚至是堆积导致。 那如何优化这块? 这里我们采用字节跳动给我们提供的一个方案:基于 Sliver trace 的卡顿监控体系 Sliver trace 整体流程图: 主要包含两个方面: 检测方案: 在监控卡顿时,首先需要打开 Sliver 的 trace 记录能力,Sliver 采样记录 trace 执行信息,对抓取到的堆栈进行 diff 聚合和缓存。 同时基于我们的需要设置相应的卡顿阈值,以 Message 的执行耗时为衡量。对主线程消息调度流程进行拦截,在消息开始分发执行时埋点,在消息执行结束时计算消息执行耗时,当消息执行耗时超过阈值,则认为产生了一次卡顿。 堆栈聚合策略: 当卡顿发生时,我们需要为此次卡顿准备数据,这部分工作是在端上子线程中完成的,主要是 dump trace 到文件以及过滤聚合要上报的堆栈。分为以下几步: 1.拿到缓存的主线程 trace 信息并 dump 到文件中。 2.然后从文件中读取 trace 信息,按照数据格式,从最近的方法栈向上追溯,找到当前 Message 包含的全部 trace 信息,并将当前 Message 的完整 trace 写入到待上传的 trace 文件中,删除其余 trace 信息。 3.遍历当前 Message trace,按照(Method 执行耗时 > Method 耗时阈值 & Method 耗时为该层堆栈中最耗时)为条件过滤出每一层函数调用堆栈的最长耗时函数,构成最后要上报的堆栈链路,这样特征堆栈中的每一步都是最耗时的,且最底层 Method 为最后的耗时大于阈值的 Method。 之后,将 trace 文件和堆栈一同上报,这样的特征堆栈提取策略保证了堆栈聚合的可靠性和准确性,保证了上报到平台后堆栈的正确合理聚合,同时提供了进一步分析问题的 trace 文件。 可以看到字节给的是一整套监控方案,和前面BlockCanary不同之处就在于,其是定时存储堆栈,缓存,然后使用diff去重的方式,并上传到服务器,可以最大限度的监控到可能发生比较耗时的方法。 开发中哪些习惯会影响卡顿的发生 1.布局太乱,层级太深。 1.1:通过减少冗余或者嵌套布局来降低视图层次结构。比如使用约束布局代替线性布局和相对布局。 1.2:用 ViewStub 替代在启动过程中不需要显示的 UI 控件。 1.3:使用自定义 View 替代复杂的 View 叠加。 2.主线程耗时操作 2.1:主线程中不要直接操作数据库,数据库的操作应该放在数据库线程中完成。 2.2:sharepreference尽量使用apply,少使用commit,可以使用MMKV框架来代替sharepreference。 2.3:网络请求回来的数据解析尽量放在子线程中,不要在主线程中进行复制的数据解析操作。 2.4:不要在activity的onResume和onCreate中进行耗时操作,比如大量的计算等。 2.5:不要在 draw 里面调用耗时函数,不能 new 对象 3.过度绘制 过度绘制是同一个像素点上被多次绘制,减少过度绘制一般减少布局背景叠加等方式,如下图所示右边是过度绘制的图片。 4.列表 RecyclerView使用优化,使用DiffUtil和notifyItemDataSetChanged进行局部更新等。 5.对象分配和回收优化 自从Android引入 ART 并且在Android 5.0上成为默认的运行时之后,对象分配和垃圾回收(GC)造成的卡顿已经显著降低了,但是由于对象分配和GC有额外的开销,它依然又可能使线程负载过重。 在一个调用不频繁的地方(比如按钮点击)分配对象是没有问题的,但如果在在一个被频繁调用的紧密的循环里,就需要避免对象分配来降低GC的压力。 减少小对象的频繁分配和回收操作。 好了,关于卡顿优化的问题就讲到这里,下篇文章会对卡顿中的ANR情况的处理,这里做个铺垫。 如果喜欢我的文章,欢迎关注我的公众号。 点击这看原文链接: 参考 Android卡顿检测及优化 一文读懂直播卡顿优化那些事儿 “终于懂了” 系列:Android屏幕刷新机制—VSync、Choreographer 全面理解! 深入探索Android卡顿优化(上) 西瓜卡顿 & ANR 优化治理及监控体系建设 5376)] 参考 Android卡顿检测及优化 一文读懂直播卡顿优化那些事儿 “终于懂了” 系列:Android屏幕刷新机制—VSync、Choreographer 全面理解! 深入探索Android卡顿优化(上) 西瓜卡顿 & ANR 优化治理及监控体系建设 本篇文章为转载内容。原文链接:https://blog.csdn.net/yuhaibing111/article/details/127682399。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-03-26 08:05:57
214
转载
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
!!
- 重新执行上一条命令。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"