[Python爬虫技术实现数据抓取和处理]的搜索结果

...eb应用程序中的缓存处理，以提高网站性能。然而，在实际应用过程中，我们可能会遇到Memcached进程占用CPU过高的问题。这不仅会影响系统的运行效率，还可能引发一系列问题。这篇文章会手把手教你一步步弄明白，为啥Memcached这个小家伙有时候会使劲霸占CPU资源，然后咱再一起商量商量怎么把它给“治”好，让它恢复正常运作。 二、Memcached进程占用CPU高的原因分析 1. Memcached配置不当 当Memcached配置不当时，会导致其频繁进行数据操作，从而增加CPU负担。比如说，要是你给数据设置的过期时间太长了，让Memcached这个家伙没法及时把没用的数据清理掉，那可能会造成CPU这老兄压力山大，消耗过多的资源。 示例代码如下： python import memcache mc = memcache.Client(['localhost:11211']) mc.set('key', 'value', 120) 上述代码中，设置的数据过期时间为120秒，即两分钟。这就意味着，即使数据已经没啥用了，Memcached这家伙还是会死拽着这些数据不放，在接下来的两分钟里持续占据着CPU资源不肯放手。 2. Memcached与大量客户端交互 当Memcached与大量客户端频繁交互时，会加重其CPU负担。这是因为每次交互都需要进行复杂的计算和数据处理操作。比如，想象一下你运营的Web应用火爆到不行，用户请求多得不得了，每个请求都得去Memcached那儿抓取数据。这时候，Memcached这个家伙可就压力山大了，CPU资源被消耗得嗷嗷叫啊！ 示例代码如下： python import requests for i in range(1000): response = requests.get('http://localhost/memcached/data') print(response.text) 上述代码中，循环执行了1000次HTTP GET请求，每次请求都会从Memcached获取数据。这会导致Memcached的CPU资源消耗过大。 三、排查Memcached进程占用CPU高的方法 1. 使用top命令查看CPU使用情况 在排查Memcached进程占用CPU过高的问题时，我们可以首先使用top命令查看系统中哪些进程正在占用大量的CPU资源。例如，以下输出表示PID为31063的Memcached进程正在占用大量的CPU资源： javascript top - 13:34:47 up 1 day, 6:13, 2 users, load average: 0.24, 0.36, 0.41 Tasks: 174 total, 1 running, 173 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.2 us, 0.3 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem : 16378080 total, 16163528 free, 182704 used, 122848 buff/cache KiB Swap: 0 total, 0 free, 0 used. 2120360 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3106 root 20 0 1058688 135484 4664 S 45.9 8.3 1:23.79 python memcached_client.py 我们可以看到，PID为31063的Python程序正在占用大量的CPU资源。接着，我们可以使用ps命令进一步了解这个进程的情况： bash ps -p 3106 2. 查看Memcached配置文件 在确认Memcached进程是否异常后，我们需要查看其配置文件，以确定是否存在配置错误导致的高CPU资源消耗。例如，以下是一个默认的Memcached配置文件（/etc/memcached.conf）的一部分： php-template Default MaxItems per key (65536). default_maxbytes 67108864 四、解决Memcached进程占用CPU高的方案 1. 调整Memcached配置 根据Memcached配置不当的原因，我们可以调整相关参数来降低CPU资源消耗。例如，可以减少过期时间、增大最大数据大小等。以下是修改过的配置文件的一部分： php-template Default MaxItems per key (131072). default_maxbytes 134217728 Increase expiration time to reduce CPU usage. default_time_to_live 14400 2. 控制与Memcached的交互频率 对于因大量客户端交互导致的高CPU资源消耗问题，我们可以采取一些措施来限制与Memcached的交互频率。例如，可以在服务器端添加限流机制，防止短时间内产生大量请求。或者，优化客户端代码，减少不必要的网络通信。 3. 提升硬件设备性能 最后，如果其他措施都无法解决问题，我们也可以考虑提升硬件设备性能，如增加CPU核心数量、扩大内存容量等。但这通常不是最佳解决方案，因为这可能会带来更高的成本。 五、结论 总的来说，Memcached进程占用CPU过高是一个常见的问题，其产生的原因是多种多样的。要真正把这个问题给揪出来，咱们得把系统工具和实际操作的经验都使上劲儿，得像钻井工人一样深入挖掘Memcached这家伙的工作内幕和使用门道。只有这样，才能真正找到问题的关键所在，并提出有效的解决方案。 感谢阅读这篇文章，希望对你有所帮助！

动态数据 , 在本文语境中，动态数据是指随着用户交互或系统状态变化而实时更新的数据。例如，在采集百度下拉词数据时，当用户在搜索框中输入关键词时出现的下拉推荐词列表就是一种动态数据，它随用户的输入行为实时生成并消失。 JSON格式 , JavaScript Object Notation（JSON）是一种轻量级的数据交换格式，易于人阅读和编写，也易于机器解析和生成。在文中，百度返回的下拉词数据即采用JSON格式，包含键值对结构，通过抓取并解析JSON响应内容，可以提取出具体的下拉推荐词信息。 线程池 (concurrent.futures.ThreadPoolExecutor) , 在Python编程中，线程池是一种多线程编程的高效解决方案，通过预先创建一定数量的线程并进行复用，能够减少线程频繁创建销毁带来的开销。文中使用了concurrent.futures.ThreadPoolExecutor来并发处理多个关键词的下拉词数据获取任务，每个关键词的请求作为一个独立的任务提交给线程池，线程池中的空闲线程会自动执行这些任务，从而提高了数据采集效率。 抓包操作 , 在网络编程与数据分析领域中，抓包操作指的是利用网络封包分析软件（如Wireshark、Fiddler等，或浏览器开发者工具）捕获、记录网络传输过程中经过计算机网络接口的所有数据包的过程。在本文的具体情境下，作者通过浏览器开发者工具进行抓包操作，找到了包含百度下拉词数据的HTTP请求，进一步分析了该请求的相关参数和返回结果，以实现自动化数据采集的目标。

...SeaTunnel中实现数据的自动化监控？ 1. 海洋中的数据船 初识SeaTunnel 嘿，朋友们！想象一下，你正站在一艘巨大的数据船上，这艘船的名字叫SeaTunnel。这是一款阿里巴巴开源的数据集成工具，用起来特别顺手，能在各种数据库之间轻松搬家和同步数据。不管是从数据库倒腾到另一个数据库，还是把文件搬进数据库，甚至是在那些复杂的大数据平台之间倒腾数据，SeaTunnel都能搞定。而且，它的设计思路就是简洁易用，让数据工程师们可以更专注于数据本身，而不是被复杂的设置搞得头大。 但是，仅仅是搬运数据还不够，我们还需要知道这些数据在航行过程中是否一切正常，有没有遇到任何阻碍。这就引出了我们的主题：如何在SeaTunnel中实现数据的自动化监控？ 2. 监控的重要性 为何要监控数据？ 数据就像海洋中的鱼群，它们不断移动，不断变化。如果我们不加以监控，就可能错过重要的信息或者遇到意外的情况。比如说，数据传不过来咋办？数据质量变差了咋整？这些问题得赶紧察觉并处理掉，不然可能会影响到咱们的决策，严重的话还可能捅娄子呢。 所以，建立一个可靠的监控系统是至关重要的。通过监控，我们可以随时掌握数据传输的情况，确保数据既安全又完整，一旦出现任何异常，也能迅速反应过来，保证业务平稳运行。 3. SeaTunnel监控的基本原理 SeaTunnel的监控机制主要依赖于其内置的任务管理和状态报告功能。每回有个新任务开跑，SeaTunnel就会记下它的状态，然后立马通知监控系统。监控系统就像是个细心的小管家，它会接收这些状态报告，然后仔细分析一下，看看数据传输是不是一切正常。 具体来说，SeaTunnel的任务状态主要包括以下几种： - 待启动（PENDING）：任务已经创建，但尚未开始执行。 - 正在运行（RUNNING）：任务正在进行数据传输。 - 已完成（FINISHED）：任务执行完成，数据传输成功。 - 失败（FAILED）：任务执行过程中遇到了问题，导致传输失败。 这些状态信息会被实时记录下来，并可以通过API或者日志的方式进行查询和分析。 4. 实现自动化监控的具体步骤 现在，让我们来看看如何在SeaTunnel中实现自动化监控。我们将分步介绍，从配置到实际操作，一步步来。 4.1 配置监控插件 首先，我们需要安装和配置一个监控插件。目前，SeaTunnel支持多种监控插件，如Prometheus、Grafana等。这里我们以Prometheus为例，因为它提供了强大的数据收集和可视化功能。 yaml sea_tunnel_conf.yaml plugins: - name: prometheus config: endpoint: "http://localhost:9090" 在这个配置文件中，我们指定了监控插件为Prometheus，并设置了Prometheus服务器的地址。当然，你需要根据实际情况调整这些配置。 4.2 编写监控脚本 接下来，我们需要编写一个简单的脚本来定期检查SeaTunnel任务的状态，并将异常情况上报给Prometheus。 python import requests import time def check_status(): response = requests.get("http://localhost:9090/api/v1/query?query=seatail_monitor_task_status") data = response.json() for task in data['data']['result']: if task['value'][1] == 'FAILED': print(f"Task {task['metric']['job']} has failed!") while True: check_status() time.sleep(60) 每隔一分钟检查一次 这个Python脚本每隔一分钟就会检查一次所有SeaTunnel任务的状态。如果某个任务的状态为“FAILED”，则会打印出错误信息。你可以根据需要修改这个脚本，例如添加邮件通知功能。 4.3 集成监控插件 为了让监控插件与SeaTunnel无缝集成，我们需要在SeaTunnel的任务配置文件中添加相应的监控配置。例如： yaml tasks: - name: data_migration type: jdbc config: source: url: "jdbc:mysql://source_host/source_db" username: "username" password: "password" table: "source_table" sink: url: "jdbc:mysql://sink_host/sink_db" username: "username" password: "password" table: "sink_table" monitoring: plugin: prometheus config: endpoint: "http://localhost:9090" 在这里，我们为data_migration任务启用了Prometheus监控插件，并指定了Prometheus服务器的地址。 4.4 验证和测试 最后一步，就是验证整个监控系统的有效性。你可以试试手动搞点状况，比如说断开数据库连接，然后看看监控脚本能不能抓到这些异常，并且顺利汇报给Prometheus。 此外，你还可以利用Prometheus提供的图形界面，查看各个任务的状态变化趋势，以及历史数据。这对于后续的数据分析和优化非常有帮助。 5. 总结与展望 通过上述步骤，我们成功地在SeaTunnel中实现了数据的自动化监控。这样做不仅让数据传输变得更稳当，还让我们能更轻松地搞定海量数据。 当然，自动化监控只是一个起点。随着业务越来越忙，技术也在不断进步，咱们得不停地琢磨新招儿。比如说，可以用机器学习提前预判可能出现的问题，或者搞些更牛的警报系统，让咱们反应更快点儿。但无论如何，有了SeaTunnel作为坚实的基础，相信我们可以走得更远。 这就是今天的内容，希望大家能够从中获得灵感，创造出更多有趣且实用的应用场景。如果你有任何想法或建议，欢迎随时分享交流！

....下载训练集 2.对数据进行调整 2.1 将ubyte格式转为jpg格式 2.2 将图片按照标签分类到具体文件夹 2.3 数据存在的缺陷 2.4 优化建议(核心) 二、模型训练 三、项目实现 1. 代码实现 2. 采用器件 2. 注意事项 总结 前言 第一次接触OpenMV也是第一次将理论用于实践，是老师让我实现的一个小测验，这几天完成后决定写下完整的过程。本文主要是当缝合怪，借鉴和参考了其他人的代码再根据我个人设备进行了一定的调整，此外还包括了我自身实践过程中的一些小意外。 ！！！一定要根据个人器件型号和个人设备来参考 一、数字识别的模型训练 1.下载训练集 研究期间，我发现大部分人以及官网教程采用的都是自己拍摄照片再进行网络训练，存在的缺陷就是数据集较小不全面、操作繁琐。个人认为如果是对标准的数字进行识别，自己手动拍取照片进行识别足够了。但想要应用于更广泛的情况，应该寻找更大的数据集，所以我找到了国外手写数字的数据集MNIST。建议四个文件都下载 数据链接：MINIST数据集 2.对数据进行调整 2.1 将ubyte格式转为jpg格式 代码参考链接：python将ubyte格式的MNIST数据集转成jpg图片格式并保存 import numpy as npimport cv2import osimport structdef trans(image, label, save):image位置，label位置和转换后的数据保存位置if 'train' in os.path.basename(image):prefix = 'train'else:prefix = 'test'labelIndex = 0imageIndex = 0i = 0lbdata = open(label, 'rb').read()magic, nums = struct.unpack_from(">II", lbdata, labelIndex)labelIndex += struct.calcsize('>II')imgdata = open(image, "rb").read()magic, nums, numRows, numColumns = struct.unpack_from('>IIII', imgdata, imageIndex)imageIndex += struct.calcsize('>IIII')for i in range(nums):label = struct.unpack_from('>B', lbdata, labelIndex)[0]labelIndex += struct.calcsize('>B')im = struct.unpack_from('>784B', imgdata, imageIndex)imageIndex += struct.calcsize('>784B')im = np.array(im, dtype='uint8')img = im.reshape(28, 28)save_name = os.path.join(save, '{}_{}_{}.jpg'.format(prefix, i, label))cv2.imwrite(save_name, img)if __name__ == '__main__':需要更改的文件路径！！！！！！此处是原始数据集位置train_images = 'C:/Users/ASUS/Desktop/train-images.idx3.ubyte'train_labels = 'C:/Users/ASUS/Desktop/train-labels.idx1.ubyte'test_images ='C:/Users/ASUS/Desktop/t10k-images.idx3.ubyte'test_labels = 'C:/Users/ASUS/Desktop/t10k-labels.idx1.ubyte'此处是我们将转化后的数据集保存的位置save_train ='C:/Users/ASUS/Desktop/MNIST/train_images/'save_test ='C:/Users/ASUS/Desktop/MNIST/test_images/'if not os.path.exists(save_train):os.makedirs(save_train)if not os.path.exists(save_test):os.makedirs(save_test)trans(test_images, test_labels, save_test)trans(train_images, train_labels, save_train) 2.2 将图片按照标签分类到具体文件夹 文章参考链接：python实现根据文件名自动分类转移至不同的文件夹 注意：为了适合这个数据集和我的win11系统对代码进行了一点调整，由于数据很多如果只需要部分数据一定要将那些数据单独放在一个文件夹。 导入库import osimport shutil 当前文件夹所在的路径，使用时需要进行修改current_path = 'C:/Users/ASUS/Desktop/MNIST/test'print('当前文件夹为:' + current_path) 读取该路径下的文件filename_list = os.listdir(current_path) 建立文件夹并且进行转移 假设原图片名称 test_001_2.jpgfor filename in filename_list:name1, name2, name3 = filename.split('_') name1 = test name2 = 001 name3 = 2.jpgname4, name5 = name3.split('.') name4 = 2 name5 = jpgif name5 == 'jpg' or name5 == 'png':try:os.mkdir(current_path+'/'+name4)print('成功建立文件夹:'+name4)except:passtry:shutil.move(current_path+'/'+filename, current_path+'/'+name4[:])print(filename+'转移成功！')except Exception as e:print('文件 %s 转移失败' % filename)print('转移错误原因:' + e)print('整理完毕！') 2.3 数据存在的缺陷 数据集内的图片数量很多，由于后面介绍的云端训练的限制，只能采用部分数据（本人采用的是1000张，大家可以自行增减数目）。 数据集为国外的数据集，很多数字写的跟我们不一样。如果想要更好的适用于我们国内的场景，可以对数据集进行手动的筛选。下面是他们写的数字2： 可以看出跟我们的不一样，不过数据集中仍然存在跟常规书写的一样的，我们需要进行人为的筛选。 2.4 优化建议(核心) 分析发现，部分数字精度不高的原因主要是国外手写很随意，我们可以通过调整网络参数(如下)、人为筛选数据(如上)、增大数据集等方式进行优化。 二、模型训练 主要参考文章：通过云端自动生成openmv的神经网络模型，进行目标检测 ！！！唯一不同的点是我图像参数设置的是灰度而不是上述文章的RGB。 下面是我模型训练时的参数设置（仅供参考）： 通过混淆矩阵可以看出，主要的错误在于数字2、6、8。我们可以通过查看识别错误的数字来分析可能的原因。 三、项目实现 ！！！我们需要先将上述步骤中导出文件中的所有内容复制粘贴带OpenMV中自带的U盘中。然后将其中的.py文件名称改为main 1. 代码实现 本人修改后的完整代码展示如下，使用的是OpenMV IDE（官网下载）： 数字识别后控制直流电机转速from pyb import Pin, Timerimport sensor, image, time, os, tf, math, random, lcd, uos, gc 根据识别的数字输出不同占比的PWM波def run(number):if inverse == True:ain1.low()ain2.high()else:ain1.high()ain2.low()ch1.pulse_width_percent(abs(number10)) 具体参数调整自行搜索sensor.reset() 初始化感光元件sensor.set_pixformat(sensor.GRAYSCALE) set_pixformat : 设置像素模式(GRAYSCALSE : 灰色; RGB565 : 彩色)sensor.set_framesize(sensor.QQVGA2) set_framesize : 设置处理图像的大小sensor.set_windowing((128, 160)) set_windowing ： 设置提取区域大小sensor.skip_frames(time = 2000) skip_frames ：跳过2000ms再读取图像lcd.init() 初始化lcd屏幕。inverse = False True : 电机反转 False : 电机正转ain1 = Pin('P1', Pin.OUT_PP) 引脚P1作为输出ain2 = Pin('P4', Pin.OUT_PP) 引脚P4作为输出ain1.low() P1初始化低电平ain2.low() P4初始化低电平tim = Timer(2, freq = 1000) 采用定时器2，频率为1000Hzch1 = tim.channel(4, Timer.PWM, pin = Pin('P5'), pulse_width_percent = 100) 输出通道1 配置PWM模式下的定时器（高电平有效） 端口为P5 初始占空比为100%clock = time.clock() 设置一个时钟用于追踪FPS 加载模型try:net = tf.load("trained.tflite", load_to_fb=uos.stat('trained.tflite')[6] > (gc.mem_free() - (641024)))except Exception as e:print(e)raise Exception('Failed to load "trained.tflite", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')') 加载标签try:labels = [line.rstrip('\n') for line in open("labels.txt")]except Exception as e:raise Exception('Failed to load "labels.txt", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')') 不断的进行运行while(True):clock.tick() 更新时钟img = sensor.snapshot().binary([(0,64)]) 抓取一张图像以灰度图显示lcd.display(img) 拍照并显示图像for obj in net.classify(img, min_scale=1.0, scale_mul=0.8, x_overlap=0.5, y_overlap=0.5): 初始化最大值和标签max_num = -1max_index = -1print("\nPredictions at [x=%d,y=%d,w=%d,h=%d]" % obj.rect())img.draw_rectangle(obj.rect()) 预测值和标签写成一个列表predictions_list = list(zip(labels, obj.output())) 输出各个标签的预测值，找到最大值进行输出for i in range(len(predictions_list)):print('%s 的概率为： %f' % (predictions_list[i][0], predictions_list[i][1]))if predictions_list[i][1] > max_num:max_num = predictions_list[i][1]max_index = int(predictions_list[i][0])run(max_index)print('该数字预测为：%d' % max_index)print('FPS为：', clock.fps())print('PWM波占空比为: %d%%' % (max_index10)) 2. 采用器件 使用的器件为OpenMV4 H7 Plus和L298N以及常用的直流电机。关键是找到器件的引脚图，再进行简单的连线即可。 参考文章：【L298N驱动模块学习笔记】–openmv驱动 参考文章：【openmv】原理图 引脚图 2. 注意事项 上述代码中我用到了lcd屏幕，主要是为了方便离机操作。使用过程中，OpenMV的lcd初始化时会重置端口，所有我们在输出PWM波的时候一定不要发生引脚冲突。我们可以在OpenMV官网查看lcd用到的端口： 可以看到上述用到的是P0、P2、P3、P6、P7和P8。所有我们输出PWM波时要避开这些端口。下面是OpenMV的PWM资源： 总结 本人第一次自己做东西也是第一次使用python，所以代码和项目写的都很粗糙，只是简单的识别数字控制直流电机。我也是四处借鉴修改后写下的大小，这篇文章主要是为了给那些像我一样的小白们提供一点帮助，减少大家查找资料的时间。模型的缺陷以及改进方法上述中已经说明，如果我有写错或者大家有更好的方法欢迎大家告诉我，大家一起进步！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_57100435/article/details/130740351。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...畅 5.网络响应慢，数据和画面展示慢、 6.过渡动画生硬。 7.界面不可交互，卡死，等等现象。 卡顿是如何发生的 卡顿产生的原因一般都比较复杂，如CPU内存大小，IO操作，锁操作，低效的算法等都会引起卡顿。 站在开发的角度看： 通常我们讲，屏幕刷新率是60fps，需要在16ms内完成所有的工作才不会造成卡顿。 为什么是16ms，不是17，18呢？ 下面我们先来理清在UI绘制中的几个概念： SurfaceFlinger： SurfaceFlinger作用是接受多个来源的图形显示数据Surface，合成后发送到显示设备,比如我们的主界面中：可能会有statusBar，侧滑菜单，主界面，这些View都是独立Surface渲染和更新，最后提交给SF后，SF根据Zorder，透明度，大小，位置等参数，合成为一个数据buffer，传递HWComposer或者OpenGL处理，最终给显示器。 在显示过程中使用到了bufferqueue，surfaceflinger作为consumer方，比如windowmanager管理的surface作为生产方产生页面，交由surfaceflinger进行合成。 VSYNC Android系统每隔16ms发出VSYNC信号，触发对UI进行渲染，VSYNC是一种在PC上很早就有应用，可以理解为一种定时中断技术。 tearing 问题： 早期的 Android 是没有 vsync 机制的，CPU 和 GPU 的配合也比较混乱，这也造成著名的 tearing 问题，即 CPU/GPU 直接更新正在显示的屏幕 buffer 造成画面撕裂。 后续 Android 引入了双缓冲机制，但是 buffer 的切换也需要一个比较合适的时机，也就是屏幕扫描完上一帧后的时机，这也就是引入 vsync 的原因。 早先一般的屏幕刷新率是 60fps，所以每个 vsync 信号的间隔也是 16ms，不过随着技术的更迭以及厂商对于流畅性的追求，越来越多 90fps 和 120fps 的手机面世，相对应的间隔也就变成了 11ms 和 8ms。 VSYNC信号种类： 1.屏幕产生的硬件VSYNC：硬件VSYNC是一种脉冲信号，起到开关和触发某种操作的作用。 2.由SurfaceFlinger将其转成的软件VSYNC信号，经由Binder传递给Choreographer Choreographer： 编舞者，用于注册VSYNC信号并接收VSYNC信号回调，当内部接收到这个信号时最终会调用到doFrame进行帧的绘制操作。 Choreographer在系统中流程： 如何通过Choreographer计算掉帧情况：原理就是: 通过给Choreographer设置FrameCallback，在每次绘制前后看时间差是16.6ms的多少倍，即为前后掉帧率。 使用方式如下： //Application.javapublic void onCreate() {super.onCreate();//在Application中使用postFrameCallbackChoreographer.getInstance().postFrameCallback(new FPSFrameCallback(System.nanoTime()));}public class FPSFrameCallback implements Choreographer.FrameCallback {private static final String TAG = "FPS_TEST";private long mLastFrameTimeNanos = 0;private long mFrameIntervalNanos;public FPSFrameCallback(long lastFrameTimeNanos) {mLastFrameTimeNanos = lastFrameTimeNanos;mFrameIntervalNanos = (long)(1000000000 / 60.0);}@Overridepublic void doFrame(long frameTimeNanos) {//初始化时间if (mLastFrameTimeNanos == 0) {mLastFrameTimeNanos = frameTimeNanos;}final long jitterNanos = frameTimeNanos - mLastFrameTimeNanos;if (jitterNanos >= mFrameIntervalNanos) {final long skippedFrames = jitterNanos / mFrameIntervalNanos;if(skippedFrames>30){//丢帧30以上打印日志Log.i(TAG, "Skipped " + skippedFrames + " frames! "+ "The application may be doing too much work on its main thread.");} }mLastFrameTimeNanos=frameTimeNanos;//注册下一帧回调Choreographer.getInstance().postFrameCallback(this);} } UI绘制全路径分析： 有了前面几个概念，这里我们让SurfaceFlinger结合View的绘制流程用一张图来表达整个绘制流程： 生产者：APP方构建Surface的过程。 消费者：SurfaceFlinger UI绘制全路径分析卡顿原因： 接下来，我们逐个分析，看看都会有哪些原因可能造成卡顿： 1.渲染流程 1.Vsync 调度：这个是起始点，但是调度的过程会经过线程切换以及一些委派的逻辑，有可能造成卡顿，但是一般可能性比较小，我们也基本无法介入； 2.消息调度：主要是 doframe Message 的调度，这就是一个普通的 Handler 调度，如果这个调度被其他的 Message 阻塞产生了时延，会直接导致后续的所有流程不会被触发 3.input 处理：input 是一次 Vsync 调度最先执行的逻辑，主要处理 input 事件。如果有大量的事件堆积或者在事件分发逻辑中加入大量耗时业务逻辑，会造成当前帧的时长被拉大，造成卡顿，可以尝试通过事件采样的方案，减少 event 的处理 4.动画处理：主要是 animator 动画的更新，同理，动画数量过多，或者动画的更新中有比较耗时的逻辑，也会造成当前帧的渲染卡顿。对动画的降帧和降复杂度其实解决的就是这个问题； 5.view 处理：主要是接下来的三大流程，过度绘制、频繁刷新、复杂的视图效果都是此处造成卡顿的主要原因。比如我们平时所说的降低页面层级，主要解决的就是这个问题； 6.measure/layout/draw：view 渲染的三大流程，因为涉及到遍历和高频执行，所以这里涉及到的耗时问题均会被放大，比如我们会降不能在 draw 里面调用耗时函数，不能 new 对象等等； 7.DisplayList 的更新：这里主要是 canvas 和 displaylist 的映射，一般不会存在卡顿问题，反而可能存在映射失败导致的显示问题； 8.OpenGL 指令转换：这里主要是将 canvas 的命令转换为 OpenGL 的指令，一般不存在问题 9.buffer 交换：这里主要指 OpenGL 指令集交换给 GPU，这个一般和指令的复杂度有关 10.GPU 处理：顾名思义，这里是 GPU 对数据的处理，耗时主要和任务量和纹理复杂度有关。这也就是我们降低 GPU 负载有助于降低卡顿的原因； 11.layer 合成：Android P 修改了 Layer 的计算方法 , 把这部分放到了 SurfaceFlinger 主线程去执行, 如果后台 Layer 过多, 就会导致 SurfaceFlinger 在执行 rebuildLayerStacks 的时候耗时 , 导致 SurfaceFlinger 主线程执行时间过长。 可以选择降低Surface层级来优化卡顿。 12.光栅化/Display：这里暂时忽略，底层系统行为； Buffer 切换：主要是屏幕的显示，这里 buffer 的数量也会影响帧的整体延迟，不过是系统行为，不能干预。 2.系统负载 内存：内存的吃紧会直接导致 GC 的增加甚至 ANR，是造成卡顿的一个不可忽视的因素； CPU：CPU 对卡顿的影响主要在于线程调度慢、任务执行的慢和资源竞争，比如 1.降频会直接导致应用卡顿； 2.后台活动进程太多导致系统繁忙，cpu \ io \ memory 等资源都会被占用, 这时候很容易出现卡顿问题 ，这种情况比较常见,可以使用dumpsys cpuinfo查看当前设备的cpu使用情况： 3.主线程调度不到 , 处于 Runnable 状态，这种情况比较少见 4.System 锁：system_server 的 AMS 锁和 WMS 锁 , 在系统异常的情况下 , 会变得非常严重 , 如下图所示 , 许多系统的关键任务都被阻塞 , 等待锁的释放 , 这时候如果有 App 发来的 Binder 请求带锁 , 那么也会进入等待状态 , 这时候 App 就会产生性能问题 ; 如果此时做 Window 动画 , 那么 system_server 的这些锁也会导致窗口动画卡顿 GPU：GPU 的影响见渲染流程，但是其实还会间接影响到功耗和发热； 功耗/发热：功耗和发热一般是不分家的，高功耗会引起高发热，进而会引起系统保护，比如降频、热缓解等，间接的导致卡顿。 如何监控卡顿 线下监控： 我们知道卡顿问题的原因错综复杂，但最终都可以反馈到CPU使用率上来 1.使用dumpsys cpuinfo命令 这个命令可以获取当时设备cpu使用情况，我们可以在线下通过重度使用应用来检测可能存在的卡顿点 A8S:/ $ dumpsys cpuinfoLoad: 1.12 / 1.12 / 1.09CPU usage from 484321ms to 184247ms ago (2022-11-02 14:48:30.793 to 2022-11-02 14:53:30.866):2% 1053/scanserver: 0.2% user + 1.7% kernel0.6% 934/system_server: 0.4% user + 0.1% kernel / faults: 563 minor0.4% 564/signserver: 0% user + 0.4% kernel0.2% 256/ueventd: 0.1% user + 0% kernel / faults: 320 minor0.2% 474/surfaceflinger: 0.1% user + 0.1% kernel0.1% 576/vendor.sprd.hardware.gnss@2.0-service: 0.1% user + 0% kernel / faults: 54 minor0.1% 286/logd: 0% user + 0% kernel / faults: 10 minor0.1% 2821/com.allinpay.appstore: 0.1% user + 0% kernel / faults: 1312 minor0.1% 447/android.hardware.health@2.0-service: 0% user + 0% kernel / faults: 1175 minor0% 1855/com.smartpos.dataacqservice: 0% user + 0% kernel / faults: 755 minor0% 2875/com.allinpay.appstore:pushcore: 0% user + 0% kernel / faults: 744 minor0% 1191/com.android.systemui: 0% user + 0% kernel / faults: 70 minor0% 1774/com.android.nfc: 0% user + 0% kernel0% 172/kworker/1:2: 0% user + 0% kernel0% 145/irq/24-70900000: 0% user + 0% kernel0% 575/thermald: 0% user + 0% kernel / faults: 300 minor... 2.CPU Profiler 这个工具是AS自带的CPU性能检测工具，可以在PC上实时查看我们CPU使用情况。 AS提供了四种Profiling Model配置： 1.Sample Java Methods：在应用程序基于Java的代码执行过程中，频繁捕获应用程序的调用堆栈 获取有关应用程序基于Java的代码执行的时间和资源使用情况信息。 2.Trace java methods：在运行时对应用程序进行检测，以在每个方法调用的开始和结束时记录时间戳。收集时间戳并进行比较以生成方法跟踪数据，包括时序信息和CPU使用率。 请注意与检测每种方法相关的开销会影响运行时性能，并可能影响性能分析数据。对于生命周期相对较短的方法，这一点甚至更为明显。此外，如果您的应用在短时间内执行大量方法，则探查器可能会很快超过其文件大小限制，并且可能无法记录任何进一步的跟踪数据。 3.Sample C/C++ Functions:捕获应用程序本机线程的示例跟踪。要使用此配置，您必须将应用程序部署到运行Android 8.0（API级别26）或更高版本的设备。 4.Trace System Calls:捕获细粒度的详细信息，使您可以检查应用程序与系统资源的交互方式 您可以检查线程状态的确切时间和持续时间，可视化CPU瓶颈在所有内核中的位置，并添加自定义跟踪事件进行分析。在对性能问题进行故障排除时，此类信息可能至关重要。要使用此配置，您必须将应用程序部署到运行Android 7.0（API级别24）或更高版本的设备。 使用方式： Debug.startMethodTracing("");// 需要检测的代码片段...Debug.stopMethodTracing(); 优点：有比较全面的调用栈以及图像化方法时间显示，包含所有线程的情况 缺点：本身也会带来一点的性能开销，可能会带偏优化方向 火焰图：可以显示当前应用的方法堆栈： 3.Systrace Systrace在前面一篇分析启动优化的文章讲解过 这里我们简单来复习下： Systrace用来记录当前应用的系统以及应用(使用Trace类打点)的各阶段耗时信息包括绘制信息以及CPU信息等。 使用方式： Trace.beginSection("MyApp.onCreate_1");alt(200);Trace.endSection(); 在命令行中： python systrace.py -t 5 sched gfx view wm am app webview -a "com.chinaebipay.thirdcall" -o D:\trac1.html 记录的方法以及CPU中的耗时情况： 优点： 1.轻量级，开销小，CPU使用率可以直观反映 2.右侧的Alerts能够根据我们应用的问题给出具体的建议，比如说，它会告诉我们App界面的绘制比较慢或者GC比较频繁。 4.StrictModel StrictModel是Android提供的一种运行时检测机制，用来帮助开发者自动检测代码中不规范的地方。 主要和两部分相关： 1.线程相关 2.虚拟机相关 基础代码： private void initStrictMode() {// 1、设置Debug标志位，仅仅在线下环境才使用StrictModeif (DEV_MODE) {// 2、设置线程策略StrictMode.setThreadPolicy(new StrictMode.ThreadPolicy.Builder().detectCustomSlowCalls() //API等级11，使用StrictMode.noteSlowCode.detectDiskReads().detectDiskWrites().detectNetwork() // or .detectAll() for all detectable problems.penaltyLog() //在Logcat 中打印违规异常信息// .penaltyDialog() //也可以直接跳出警报dialog// .penaltyDeath() //或者直接崩溃.build());// 3、设置虚拟机策略StrictMode.setVmPolicy(new StrictMode.VmPolicy.Builder().detectLeakedSqlLiteObjects()// 给NewsItem对象的实例数量限制为1.setClassInstanceLimit(NewsItem.class, 1).detectLeakedClosableObjects() //API等级11.penaltyLog().build());} } 线上监控： 线上需要自动化的卡顿检测方案来定位卡顿，它能记录卡顿发生时的场景。 自动化监控原理： 采用拦截消息调度流程，在消息执行前埋点计时，当耗时超过阈值时，则认为是一次卡顿，会进行堆栈抓取和上报工作 首先，我们看下Looper用于执行消息循环的loop()方法，关键代码如下所示： / Run the message queue in this thread. Be sure to call {@link quit()} to end the loop./public static void loop() {...for (;;) {Message msg = queue.next(); // might blockif (msg == null) {// No message indicates that the message queue is quitting.return;// This must be in a local variable, in case a UI event sets the loggerfinal Printer logging = me.mLogging;if (logging != null) {// 1logging.println(">>>>> Dispatching to " + msg.target + " " +msg.callback + ": " + msg.what);}...try {// 2 msg.target.dispatchMessage(msg);dispatchEnd = needEndTime ? SystemClock.uptimeMillis() : 0;} finally {if (traceTag != 0) {Trace.traceEnd(traceTag);} }...if (logging != null) {// 3logging.println("<<<<< Finished to " + msg.target + " " + msg.callback);} 在Looper的loop()方法中，在其执行每一个消息（注释2处）的前后都由logging进行了一次打印输出。可以看到，在执行消息前是输出的">>>>> Dispatching to “，在执行消息后是输出的”<<<<< Finished to ",它们打印的日志是不一样的，我们就可以由此来判断消息执行的前后时间点。 具体的实现可以归纳为如下步骤： 1、首先，我们需要使用Looper.getMainLooper().setMessageLogging()去设置我们自己的Printer实现类去打印输出logging。这样，在每个message执行的之前和之后都会调用我们设置的这个Printer实现类。 2、如果我们匹配到">>>>> Dispatching to "之后，我们就可以执行一行代码：也就是在指定的时间阈值之后，我们在子线程去执行一个任务，这个任务就是去获取当前主线程的堆栈信息以及当前的一些场景信息，比如：内存大小、电脑、网络状态等。 3、如果在指定的阈值之内匹配到了"<<<<< Finished to "，那么说明message就被执行完成了，则表明此时没有产生我们认为的卡顿效果，那我们就可以将这个子线程任务取消掉。 这里我们使用blockcanary来做测试: BlockCanary APM是一个非侵入式的性能监控组件，可以通过通知的形式弹出卡顿信息。它的原理就是我们刚刚讲述到的卡顿监控的实现原理。 使用方式： 1.导入依赖 implementation 'com.github.markzhai:blockcanary-android:1.5.0' Application的onCreate方法中开启卡顿监控 // 注意在主进程初始化调用BlockCanary.install(this, new AppBlockCanaryContext()).start(); 3.继承BlockCanaryContext类去实现自己的监控配置上下文类 public class AppBlockCanaryContext extends BlockCanaryContext {....../ 指定判定为卡顿的阈值threshold (in millis), 你可以根据不同设备的性能去指定不同的阈值 @return threshold in mills/public int provideBlockThreshold() {return 1000;}....} 4.在Activity的onCreate方法中执行一个耗时操作 try {Thread.sleep(4000);} catch (InterruptedException e) {e.printStackTrace();} 5.结果： 可以看到一个和LeakCanary一样效果的阻塞可视化堆栈图 那有了BlockCanary的方法耗时监控方式是不是就可以解百愁了呢，呵呵。有那么容易就好了 根据原理：我们拿到的是msg执行前后的时间和堆栈信息，如果msg中有几百上千个方法，就无法确认到底是哪个方法导致的耗时，也有可能是多个方法堆积导致。 这就导致我们无法准确定位哪个方法是最耗时的。如图中：堆栈信息是T2的，而发生耗时的方法可能是T1到T2中任何一个方法甚至是堆积导致。 那如何优化这块？ 这里我们采用字节跳动给我们提供的一个方案：基于 Sliver trace 的卡顿监控体系 Sliver trace 整体流程图： 主要包含两个方面: 检测方案： 在监控卡顿时，首先需要打开 Sliver 的 trace 记录能力，Sliver 采样记录 trace 执行信息，对抓取到的堆栈进行 diff 聚合和缓存。 同时基于我们的需要设置相应的卡顿阈值，以 Message 的执行耗时为衡量。对主线程消息调度流程进行拦截，在消息开始分发执行时埋点，在消息执行结束时计算消息执行耗时，当消息执行耗时超过阈值，则认为产生了一次卡顿。 堆栈聚合策略： 当卡顿发生时，我们需要为此次卡顿准备数据，这部分工作是在端上子线程中完成的，主要是 dump trace 到文件以及过滤聚合要上报的堆栈。分为以下几步： 1.拿到缓存的主线程 trace 信息并 dump 到文件中。 2.然后从文件中读取 trace 信息，按照数据格式，从最近的方法栈向上追溯，找到当前 Message 包含的全部 trace 信息，并将当前 Message 的完整 trace 写入到待上传的 trace 文件中，删除其余 trace 信息。 3.遍历当前 Message trace，按照（Method 执行耗时 > Method 耗时阈值 & Method 耗时为该层堆栈中最耗时）为条件过滤出每一层函数调用堆栈的最长耗时函数，构成最后要上报的堆栈链路，这样特征堆栈中的每一步都是最耗时的，且最底层 Method 为最后的耗时大于阈值的 Method。 之后，将 trace 文件和堆栈一同上报，这样的特征堆栈提取策略保证了堆栈聚合的可靠性和准确性，保证了上报到平台后堆栈的正确合理聚合，同时提供了进一步分析问题的 trace 文件。 可以看到字节给的是一整套监控方案，和前面BlockCanary不同之处就在于，其是定时存储堆栈，缓存，然后使用diff去重的方式，并上传到服务器，可以最大限度的监控到可能发生比较耗时的方法。 开发中哪些习惯会影响卡顿的发生 1.布局太乱，层级太深。 1.1：通过减少冗余或者嵌套布局来降低视图层次结构。比如使用约束布局代替线性布局和相对布局。 1.2：用 ViewStub 替代在启动过程中不需要显示的 UI 控件。 1.3：使用自定义 View 替代复杂的 View 叠加。 2.主线程耗时操作 2.1：主线程中不要直接操作数据库，数据库的操作应该放在数据库线程中完成。 2.2：sharepreference尽量使用apply，少使用commit，可以使用MMKV框架来代替sharepreference。 2.3：网络请求回来的数据解析尽量放在子线程中，不要在主线程中进行复制的数据解析操作。 2.4：不要在activity的onResume和onCreate中进行耗时操作，比如大量的计算等。 2.5：不要在 draw 里面调用耗时函数，不能 new 对象 3.过度绘制 过度绘制是同一个像素点上被多次绘制，减少过度绘制一般减少布局背景叠加等方式，如下图所示右边是过度绘制的图片。 4.列表 RecyclerView使用优化，使用DiffUtil和notifyItemDataSetChanged进行局部更新等。 5.对象分配和回收优化 自从Android引入 ART 并且在Android 5.0上成为默认的运行时之后，对象分配和垃圾回收（GC）造成的卡顿已经显著降低了，但是由于对象分配和GC有额外的开销，它依然又可能使线程负载过重。 在一个调用不频繁的地方（比如按钮点击）分配对象是没有问题的，但如果在在一个被频繁调用的紧密的循环里，就需要避免对象分配来降低GC的压力。 减少小对象的频繁分配和回收操作。 好了，关于卡顿优化的问题就讲到这里，下篇文章会对卡顿中的ANR情况的处理，这里做个铺垫。 如果喜欢我的文章，欢迎关注我的公众号。 点击这看原文链接： 参考 Android卡顿检测及优化 一文读懂直播卡顿优化那些事儿 “终于懂了” 系列：Android屏幕刷新机制—VSync、Choreographer 全面理解！ 深入探索Android卡顿优化（上） 西瓜卡顿 & ANR 优化治理及监控体系建设 5376)] 参考 Android卡顿检测及优化 一文读懂直播卡顿优化那些事儿 “终于懂了” 系列：Android屏幕刷新机制—VSync、Choreographer 全面理解！ 深入探索Android卡顿优化（上） 西瓜卡顿 & ANR 优化治理及监控体系建设 本篇文章为转载内容。原文链接：https://blog.csdn.net/yuhaibing111/article/details/127682399。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...val这样的开源库在处理基于Linux系统的CAN通信时更加高效（查阅：“Advancements in SocketCAN for Real-time and Secure Automotive Communication”，发布于IEEE Transactions on Intelligent Transportation Systems, 2022年第二季度）。 对于Python环境配置以及多版本共存问题，Python官方社区持续更新其文档以指导开发者正确管理Python版本，尤其是对于需要特定版本进行编译工作的场景，如CanFestival的编译过程所示（链接至Python官网文档：https://docs.python.org/3/using/mac.htmlpython-config）。同时，一篇名为《Python虚拟环境(virtualenv)在嵌入式开发中的实践运用》的技术文章提供了如何在复杂环境中隔离Python环境并确保编译顺利进行的实际案例分析（来源：Embedded Computing Design，2022年春季刊）。 综上所述，延伸阅读材料不仅涵盖了最新技术动态，还通过实际应用场景解读，帮助读者更好地掌握嵌入式开发中源码编译、CAN通信及Python环境管理等关键知识点。

... graphviz python-sphinx python-pip 这里指导安装步骤还有sudo pip install sphinxcontrib-doxylink sphinxcontrib-googleanalytics，这个可能是以前的版本需要的依赖的包，但在0.6.3中并不需要，而且装上还会报错（卡在这里好久），因此我们就不装这个。 之后我们进入ndn-cxx 0.6.3的根目录： cd /usr/local/lib/ndn-cxx-0.6.3 接连执行以下命令 sudo ./waf configuresudo ./wafsudo ./waf install 在运行第2个命令的时候，会出现如下结果： 我们这里不用理会（不知道为啥，虽然出了ERROR，但是还是可以运行，可能最后他只是出了个WARNING，而且在过程中，WARNING都是可以忽略的）。等出现如图所示的结果： 我们就可以进行下一步： sudo ldconfig sudo ./waf configure --with-examplessudo ./wafsudo ./waf install 到此，ndn-cxx 0.6.3的环境就装好了。 安装NFD 0.6.3 打开终端，按照以下代码依次输入： sudo apt-get install software-properties-common sudo add-apt-repository ppa:named-data/ppasudo apt-get update sudo apt-get install nfd 原文指导步骤，之后是利用git命令下载ndn-cxx和nfd，因为我们提前下载过了并拷贝进虚拟机，因此，在此忽略该步骤。 sudo apt-get install build-essential pkg-config libboost-all-dev \libsqlite3-dev libssl-dev libpcap-dev sudo apt-get install doxygen graphviz python-sphinx 之后，我们进入nfd 0.6.3根目录： cd /usr/local/lib/nfd-0.6.3 进入root模式，安装一个库（很重要，因为我们不是利用git命令安装，这步必不可少；否则下一步下面会报错中断）： sudo sucurl -L https://github.com/zaphoyd/websocketpp/archive/0.7.0.tar.gz > websocket.tar.gztar zxf websocket.tar.gz -C websocketpp/ --strip 1exit 之后，执行以下命令： sudo ./waf configuresudo ./wafsudo ./waf install 同样，过程中出现WARNING不用管。 最后，一定记着执行以下命令： sudo cp /usr/local/etc/ndn/nfd.conf.sample /usr/local/etc/ndn/nfd.conf 这样才能成功开启nfd。 至此，ndn-cxx 0.6.3和nfd 0.6.3全部安装完成。 执行示例程序 打开终端，运行nfd nfd-start（可能需要输入密码） 在ndn-cxx 0.6.3根目录下打开终端，进入examples目录，或者直接在example目录下打开终端（我选择这种方式，因为懒）。 这里，必须先运行producer程序，再运行consumer程序，作为学计算机的，应该不需要解释为啥了吧。 在一个终端下执行producer命令： ./producer 再打开一个终端，执行consumer命令： ./consumer 这时就可以成功看到交互了，但是有点儿问题，consumer会出现warning，如图所示： 这是为啥呢，好像是因为最近的版本，必须为interest报文指定一个默认前缀，为了之后的APP功能设计，详情请看以下链接： http://named-data.net/doc/ndn-cxx/current/doxygen/d1/d81/classndn_1_1Interest.htmla0275843d0eda5134e7fd7e787f972e78 这里我们怎么修改才能让他不显示这个warning呢？按照以下步骤： 进入ndn-cxx 的src目录： cd /usr/local/lib/ndn-cxx-0.6.3/src 修改interest.cpp文件，因为权限设置，我们在root下使用vim命令修改： sudo su（输入密码）vim interest.cpp找到 static bool hasDefaultCanBePrefixWarning = false将false改为true 之后，我们在ndn-cxx 0.6.3目录下再编译运行一下就行了，即： sudo ./waf configure --with-examplessudo ./wafsudo ./waf install 之后再examples目录再执行两个程序，就可以得到结果： 至此环境已经搭好，目前正准备进行后续工作。。。。。 望各位大佬手下留情，转载注明出处，感谢感谢！！！！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/silent_time/article/details/84146586。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...。据比达咨询市场分析数据显示，2016年中国第三方餐饮外卖市场格局中，饿了么位居第一，市场份额为34.6%，美团外卖（33.6%）、百度外卖（18.5%）紧随其后，在“白领市场”、“社区市场”、“校园市场”的细分领域中，饿了么均占据榜首位置。截至2016年12月，饿了么业务覆盖1400多个城市，用户超过1亿，各地加盟餐厅超过100万家，日订单量突破900万，旗下“蜂鸟配送”日配送单量超过450万。 在 “独角兽”的成长道路上，饿了么面对人工成本高制约业务快速扩张、人工派单速度慢导致高峰期积压订单严重、人工派单随机性强引起订单配送时效性差等现实问题，而阿里云通过智能派单系统，基于海量历史订单数据、餐厅数据、骑手数据、用户数据等信息实现智能派单，逐步替代调度员的大部分工作。智能派单系统整体全面上线后将释放90%以上人工派单的人力，每年节省人力支出预计超过亿元。 饿了么的IT系统架构伴随业务量飙升，进行了三次重大升级。 1）起步期（2009至2013年）：饿了么由上海交通大学创始团队起家，发展至35人规模，日订单量维持在十万量级，由“IDC+Python”技术组合支撑业务运营，但面临Python人才难觅等困扰。 2）成长期（2014年至2015年）：14年8至9月短短2个月内日均订单量增长10倍，从10万迅猛飙升至100万，业务规模主攻全国200个城市，原有IT系统架构压力极大，依靠人肉运维举步维艰，故障波动影响业务，创始人与核心技术团队坚守机房运维一线，才勉强扛住100万量级业务订单。开始借鉴阿里淘宝架构模式，人员团队也涨至500人，技术生态从Python扩展至“Java+Python”开发体系，从“人肉”支撑百万订单运营到自动化运维，并筹备同城异地容灾体系。 3）规模期（2015年至2017年）：2015年7至8月，日均订单量从200万翻倍，以往积压的问题都暴露出来，技术架构面临大考验，坚定了架构上云的方案，团队扩展至1000人，架构要承载数百万量级业务时，出现峰值成本、灾备切换、IDC远程运维等种种挑战，全面战略转型采用“IDC+云计算”的混合云架构。在2016年12月25日圣诞节日订单量迎来前所未有的900万单，因此在技术架构上探索多活部署等创新性研发。 为什么选择架构转型上云？据饿了么CTO张雪峰先生所说，技术架构从IDC经典模式发展至混合云模式，主要原因是三个关键因素让管理层下定决心上云： 1） 脉冲计算：从技术架构配套业务发展分析，网络订餐业务具有明显的“脉冲计算”特征，在每日上午10:00至13:00、晚间16:00至19:00业务高峰值出现，而其他时间则业务量很低，暑假是业务高峰季，2016年5.17大促，饿了么第一次做“秒杀”，一秒订单15000笔，巨大的波峰波谷计算差异，引发了自建数据中心容量不可调和的两难处境，如果大规模投入服务器满足6小时的高峰业务量，则其余18个小时的业务低谷计算资源闲置，若满足平均业务量，则无法跟上业务快速发展节奏，落后于竞争对手；搞电商大促时，计算资源投入巨大，大促之后计算峰值下降，采用自建机房利用率仅10%，所以技术团队摸索出用云计算扛营销大促峰值的新模式，采用混合云架构满足 “潮汐业务”峰值计算，阿里云海量云计算资源弹性随需满足巨大的脉冲计算力缺口，这与每年“双11” 淘宝引入阿里云形成全球最大混合云架构具有异曲同工的创新价值。 2） 数据量爆炸：伴随饿了么近五年业务量呈几何级数的爆发式发展，数据量增速更加令人吃惊，是业务量增速的5倍，每日增量数据接近100TB，2015年短短2个月内业务量增长10倍，数据量增长了50倍，上海主生产机房不堪重负。30GB的DDoS攻击对业务系统造成较大风险，上云成为承载大数据、抗网络攻击的好方法。 3） 高可用性挑战：众所周知，IDC自建系统运维要承担从底层硬件到上层应用的“全栈运维”运营能力与维修能力，当2015年夏天上海数据中心故障发生，主核心交换机宕机时，备核心交换机Bug同时被触发，从事故发生到硬件厂商携维修设备打车赶往现场维修的整个过程中，饥饿的消费者无法订餐吃饭，技术团队第一次经历业务中断而束手无策，才下定决心大笔投入混合云灾备的建设，“吃一堑，长一智”，持续向淘宝学习电商云生产与灾备架构，以自动化运维替代人肉运维，从灾备向多活演进，成为饿了么企业架构转型的必经之路。 4） 大数据精益运营：不论网络打车还是网络订餐，共享服务平台脱颖而出的关键成功要素是智能调度算法，以大数据训练算法提升调度效率，饿了么在高峰时段内让百万“骑士”（送餐快递员）完成更多订单是算法持续优化的目标，而这背后隐藏着诸多复杂因素，包括考虑餐厅、骑士、消费者三者的实时动态位置关系，把新订单插入现有“骑士”的行进路线中，估计每家餐厅出餐时间，每个骑手的行进速度、道路熟悉程度各不相同，新老消费者获客成本、高价低价订单的优先级皆不相同。种种考量因素合并到一起，对于人类调度员来说，每天中午和晚上的高峰都是巨大的挑战。以上海商城路配送站为例，一个调度员每6秒钟就要调度1单，他需要考虑骑手已有订单量、路线熟悉度等。因此可以说，这份工作已经完全不适合人类。但对人工智能而言，阿里云ET则非常擅长处理这类超复杂、大规模、实时性要求高的“非人”问题。 饿了么是中国最大的在线外卖和即时配送平台，日订单量900万单、180万骑手、100万家餐饮店，既是史无前例的计算存储挑战，又是人无我有的战略发展机遇。饿了么携手阿里云人工智能团队，通过海量数据训练优化全球最大实时智能调度系统。在基础架构层，云计算解决弹性支撑业务量波动的基础生存问题，在数据智能层，利用大数据训练核心调度算法、提升餐饮店的商业价值，才是业务决胜的“技术神器”。 在针对大数据资源的“专家+机器”运营分析中，不断发现新的特征： 1） 区域差异性：饿了么与阿里云联合研发小组测试中发现有2个配送站点出现严重超时问题。后来才知道：2个站点均在成都，当地人民喜欢早、中餐一起吃，高峰从11点就开始了。习惯了北上广节奏的ET到成都就懵了。据阿里云人工智能专家闵万里分析：“不存在一套通用的算法可以适配所有站点，所以我们需要让ET自己学习或者向人类运营专家请教当地的风土人情、饮食习惯”。除此之外，饿了么覆盖的餐厅不仅有高大上的连锁店，还有大街小巷的各类难以琢磨的特色小吃，难度是其他智能调度业务的数倍。 2） 复杂路径规划：吃一口热饭有多难？送餐路径规划比驾车出行路径规划难度更高，要考虑“骑士”地图熟悉程度、天气状况、拼单效率、送餐顺序、时间对客户满意度影响、送达写字楼电梯等待时间等各种实际情况，究竟ET是如何实现智能派单并确保效率最优的呢？简单来说，ET会将配送站新接订单插入到每个骑手已有的任务中，重新规划一轮最短配送路径，对比哪个骑手新增时间最短。为了能够准确预估新增时间，ET需要知道全国100万家餐厅的出餐速度、超过180万骑手各自的骑行速度、每个顾客坐电梯下楼取餐的时间。一般来说，餐厅出餐等待时间占到了整个送餐时间的三分之一。ET要想提高骑手效率，必须准确预估出餐时间以减少骑手等待，但又不能让餐等人，最后饭凉了。饿了么旗下蜂鸟配送“准时达”服务单均配送时长缩短至30分钟以内。 3） 天气特殊影响：天气等环境因素对送餐响应时间影响显著，要想计算骑手的送餐路程时间，ET需要知道每个骑手在不同区域、不同天气下的送餐速度。如果北京雾霾，ET能看见吗？双方研发团队为ET内置了恶劣天气的算法模型。通常情况下，每逢恶劣天气，外卖订单将出现大涨，对应的餐厅出餐速度和骑手骑行速度都将受到影响，这些ET都会考虑在内。如果顾客在下雪天点个火锅呢？ET也知道，将自动识别其为大单，锁定某一个骑手专门完成配送。 4） 餐饮营销顾问：饿了么整体业务涉及C端（消费者）、B端（餐饮商户）、D端（物流配送）、BD端（地推营销），以往区域业务开拓考核新店数量，现在会重点关注餐饮外卖“健康度”，对于营业额忽高忽低、在线排名变化的餐饮店，都需要BD专家根据大数据帮助餐饮店经营者找出原因并给出解决建议，避免新店外卖刚开始就淹没在区域竞争中，销量平平的新店会离开平台，通过机器学习把餐饮运营专家的经验、以及人看不到的隐含规律固化下来，以数据决策来发现餐饮店经营问题、产品差异定位，让餐饮商户尝到甜头，才愿意继续经营。举个例子，饿了么员工都喜欢楼下一家鸡排店的午餐，但大数据发现这家店的外卖营收并不如实体店那么火爆，9元“鸡排+酸梅汁”是所有人都喜欢的爆款产品，可为什么同样菜品遭遇“线下火、线上冷”呢？数据预警后，BD顾问指出线上外卖鸡排产品没有写明“含免费酸梅汁一杯”的关键促销内容，导致大多数外卖消费者订一份鸡排一杯酸梅汁，却收到一份鸡排两杯酸梅汁，体验自然不好。 饿了么是数据驱动、智能算法调度的自动化生活服务平台，通过O2O数据的在线实时分析，与阿里云人工智能团队不断改进算法，以“全局最优”取代“局部最优”，保证平台上所有餐饮商户都能享受到数据智能的科技红利。 “上云用数”的外部价值诸多，从饿了么内部反馈来看，上云不仅没有让运维团队失去价值，反而带来了“云原生应用”(Cloud Native Application)、“云上多活”、“CDN云端压测”、“安全风控一体化”等创新路径与方案，通过敏捷基础设施(IaaS)、微服务架构(PaaS和SaaS)、持续交付管理、DevOps等云最佳实践，摆脱“人肉”支撑的种种困境，进而实现更快的上线速度、细致的故障探测和发现、故障时能自动隔离、故障时能够自动恢复、方便的水平扩容。饿了么CTO张雪峰先生说：“互联网平台型组织，业务量涨数倍，企业人数稳定降低，才是技术驱动的正确商业模式。” 在不久的将来，你每天订餐、出行、娱乐、工作留下的大数据，会“驯养”出无处不在、无所不能的智能机器人管家，家庭助理帮你点菜，无人机为你送餐，聊天机器人接受你的投诉……当然这个无比美妙的“未来世界”背后，皆有阿里云的数据智能母体“ET”。 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_34126557/article/details/90592502。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...中文分词：做最好的 Python 中文分词组件 “Jieba” (Chinese for “to stutter”) Chinese text segmentation: built to be the best Python Chinese word segmentation module. Scroll down for English documentation. 特点 支持四种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本，请升级jieba，pip install jieba --upgrade 。PaddlePaddle官网 支持繁体分词 支持自定义词典 MIT 授权协议 安装说明 代码对 Python 2/3 均兼容 全自动安装：easy_install jieba 或者 pip install jieba / pip3 install jieba 半自动安装：先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行 python setup.py install 手动安装：将 jieba 目录放置于当前目录或者 site-packages 目录 通过 import jieba 来引用 如果需要使用paddle模式下的分词和词性标注功能，请先安装paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。 算法 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法 主要功能 分词 jieba.cut 方法接受四个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型；use_paddle 参数用来控制是否使用paddle模式下的分词模式，paddle模式采用延迟加载方式，通过enable_paddle接口安装paddlepaddle-tiny，并且import相关代码； jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8 jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用 jieba.lcut 以及 jieba.lcut_for_search 直接返回 list jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。 代码示例 encoding=utf-8import jiebajieba.enable_paddle() 启动paddle模式。 0.40版之后开始支持，早期版本不支持strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]for str in strs:seg_list = jieba.cut(str,use_paddle=True) 使用paddle模式print("Paddle Mode: " + '/'.join(list(seg_list)))seg_list = jieba.cut("我来到北京清华大学", cut_all=True)print("Full Mode: " + "/ ".join(seg_list)) 全模式seg_list = jieba.cut("我来到北京清华大学", cut_all=False)print("Default Mode: " + "/ ".join(seg_list)) 精确模式seg_list = jieba.cut("他来到了网易杭研大厦") 默认是精确模式print(", ".join(seg_list))seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") 搜索引擎模式print(", ".join(seg_list)) 输出: 【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学【精确模式】: 我/ 来到/ 北京/ 清华大学【新词识别】：他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造 添加自定义词典 载入词典 开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率 用法： jieba.load_userdict(file_name) file_name 为文件类对象或自定义词典的路径 词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。 词频省略时使用自动计算的能保证分出该词的词频。 例如： 创新办 3 i云计算 5凱特琳 nz台中 更改分词器（默认为 jieba.dt）的 tmp_dir 和 cache_file 属性，可分别指定缓存文件所在的文件夹及其文件名，用于受限的文件系统。 范例： 自定义词典：https://github.com/fxsjy/jieba/blob/master/test/userdict.txt 用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py 之前： 李小福 / 是 / 创新 / 办 / 主任 / 也 / 是 / 云 / 计算 / 方面 / 的 / 专家 / 加载自定义词库后：　李小福 / 是 / 创新办 / 主任 / 也 / 是 / 云计算 / 方面 / 的 / 专家 / 调整词典 使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。 使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。 注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。 代码示例： >>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))如果/放到/post/中将/出错/。>>> jieba.suggest_freq(('中', '将'), True)494>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))如果/放到/post/中/将/出错/。>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))「/台/中/」/正确/应该/不会/被/切开>>> jieba.suggest_freq('台中', True)69>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))「/台中/」/正确/应该/不会/被/切开 “通过用户自定义词典来增强歧义纠错能力” — https://github.com/fxsjy/jieba/issues/14 关键词提取 基于 TF-IDF 算法的关键词抽取 import jieba.analyse jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()) sentence 为待提取的文本 topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20 withWeight 为是否一并返回关键词权重值，默认值为 False allowPOS 仅包括指定词性的词，默认值为空，即不筛选 jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件 代码示例 （关键词提取） https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py 关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径 用法： jieba.analyse.set_idf_path(file_name) file_name为自定义语料库的路径 自定义语料库示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py 关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径 用法： jieba.analyse.set_stop_words(file_name) file_name为自定义语料库的路径 自定义语料库示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py 关键词一并返回关键词权重值示例 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py 基于 TextRank 算法的关键词抽取 jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口相同，注意默认过滤词性。 jieba.analyse.TextRank() 新建自定义 TextRank 实例 算法论文： TextRank: Bringing Order into Texts 基本思想: 将待抽取关键词的文本进行分词 以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图 计算图中节点的PageRank，注意是无向带权图 使用示例: 见 test/demo.py 词性标注 jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。 标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。 除了jieba默认分词模式，提供paddle模式下的词性标注功能。paddle模式采用延迟加载方式，通过enable_paddle()安装paddlepaddle-tiny，并且import相关代码； 用法示例 >>> import jieba>>> import jieba.posseg as pseg>>> words = pseg.cut("我爱北京天安门") jieba默认模式>>> jieba.enable_paddle() 启动paddle模式。 0.40版之后开始支持，早期版本不支持>>> words = pseg.cut("我爱北京天安门",use_paddle=True) paddle模式>>> for word, flag in words:... print('%s %s' % (word, flag))...我 r爱 v北京 ns天安门 ns paddle模式词性标注对应表如下： paddle模式词性和专名类别标签集合如下表，其中词性标签 24 个（小写字母），专名类别标签 4 个（大写字母）。 标签 含义 标签 含义 标签 含义 标签 含义 n 普通名词 f 方位名词 s 处所名词 t 时间 nr 人名 ns 地名 nt 机构名 nw 作品名 nz 其他专名 v 普通动词 vd 动副词 vn 名动词 a 形容词 ad 副形词 an 名形词 d 副词 m 数量词 q 量词 r 代词 p 介词 c 连词 u 助词 xc 其他虚词 w 标点符号 PER 人名 LOC 地名 ORG 机构名 TIME 时间 并行分词 原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升 基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows 用法： jieba.enable_parallel(4) 开启并行分词模式，参数为并行进程数 jieba.disable_parallel() 关闭并行分词模式 例子：https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py 实验结果：在 4 核 3.4GHz Linux 机器上，对金庸全集进行精确分词，获得了 1MB/s 的速度，是单进程版的 3.3 倍。 注意：并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。 Tokenize：返回词语在原文的起止位置 注意，输入参数只接受 unicode 默认模式 result = jieba.tokenize(u'永和服装饰品有限公司')for tk in result:print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) word 永和 start: 0 end:2word 服装 start: 2 end:4word 饰品 start: 4 end:6word 有限公司 start: 6 end:10 搜索模式 result = jieba.tokenize(u'永和服装饰品有限公司', mode='search')for tk in result:print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) word 永和 start: 0 end:2word 服装 start: 2 end:4word 饰品 start: 4 end:6word 有限 start: 6 end:8word 公司 start: 8 end:10word 有限公司 start: 6 end:10 ChineseAnalyzer for Whoosh 搜索引擎 引用： from jieba.analyse import ChineseAnalyzer 用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py 命令行分词 使用示例：python -m jieba news.txt > cut_result.txt 命令行选项（翻译）： 使用: python -m jieba [options] filename结巴命令行界面。固定参数:filename 输入文件可选参数:-h, --help 显示此帮助信息并退出-d [DELIM], --delimiter [DELIM]使用 DELIM 分隔词语，而不是用默认的' / '。若不指定 DELIM，则使用一个空格分隔。-p [DELIM], --pos [DELIM]启用词性标注；如果指定 DELIM，词语和词性之间用它分隔，否则用 _ 分隔-D DICT, --dict DICT 使用 DICT 代替默认词典-u USER_DICT, --user-dict USER_DICT使用 USER_DICT 作为附加词典，与默认词典或自定义词典配合使用-a, --cut-all 全模式分词（不支持词性标注）-n, --no-hmm 不使用隐含马尔可夫模型-q, --quiet 不输出载入信息到 STDERR-V, --version 显示版本信息并退出如果没有指定文件名，则使用标准输入。 --help 选项输出： $> python -m jieba --helpJieba command line interface.positional arguments:filename input fileoptional arguments:-h, --help show this help message and exit-d [DELIM], --delimiter [DELIM]use DELIM instead of ' / ' for word delimiter; or aspace if it is used without DELIM-p [DELIM], --pos [DELIM]enable POS tagging; if DELIM is specified, use DELIMinstead of '_' for POS delimiter-D DICT, --dict DICT use DICT as dictionary-u USER_DICT, --user-dict USER_DICTuse USER_DICT together with the default dictionary orDICT (if specified)-a, --cut-all full pattern cutting (ignored with POS tagging)-n, --no-hmm don't use the Hidden Markov Model-q, --quiet don't print loading messages to stderr-V, --version show program's version number and exitIf no filename specified, use STDIN instead. 延迟加载机制 jieba 采用延迟加载，import jieba 和 jieba.Tokenizer() 不会立即触发词典的加载，一旦有必要才开始加载词典构建前缀字典。如果你想手工初始 jieba，也可以手动初始化。 import jiebajieba.initialize() 手动初始化（可选） 在 0.28 之前的版本是不能指定主词典的路径的，有了延迟加载机制后，你可以改变主词典的路径: jieba.set_dictionary('data/dict.txt.big') 例子： https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py 其他词典 占用内存较小的词典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small 支持繁体分词更好的词典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big 下载你所需要的词典，然后覆盖 jieba/dict.txt 即可；或者用 jieba.set_dictionary('data/dict.txt.big') 其他语言实现 结巴分词 Java 版本 作者：piaolingxue 地址：https://github.com/huaban/jieba-analysis 结巴分词 C++ 版本 作者：yanyiwu 地址：https://github.com/yanyiwu/cppjieba 结巴分词 Rust 版本 作者：messense, MnO2 地址：https://github.com/messense/jieba-rs 结巴分词 Node.js 版本 作者：yanyiwu 地址：https://github.com/yanyiwu/nodejieba 结巴分词 Erlang 版本 作者：falood 地址：https://github.com/falood/exjieba 结巴分词 R 版本 作者：qinwf 地址：https://github.com/qinwf/jiebaR 结巴分词 iOS 版本 作者：yanyiwu 地址：https://github.com/yanyiwu/iosjieba 结巴分词 PHP 版本 作者：fukuball 地址：https://github.com/fukuball/jieba-php 结巴分词 .NET(C) 版本 作者：anderscui 地址：https://github.com/anderscui/jieba.NET/ 结巴分词 Go 版本 作者: wangbin 地址: https://github.com/wangbin/jiebago 作者: yanyiwu 地址: https://github.com/yanyiwu/gojieba 结巴分词Android版本 作者 Dongliang.W 地址：https://github.com/452896915/jieba-android 友情链接 https://github.com/baidu/lac 百度中文词法分析（分词+词性+专名）系统 https://github.com/baidu/AnyQ 百度FAQ自动问答系统 https://github.com/baidu/Senta 百度情感识别系统 系统集成 Solr: https://github.com/sing1ee/jieba-solr 分词速度 1.5 MB / Second in Full Mode 400 KB / Second in Default Mode 测试环境: Intel® Core™ i7-2600 CPU @ 3.4GHz；《围城》.txt 常见问题 1. 模型的数据是如何生成的？ 详见： https://github.com/fxsjy/jieba/issues/7 2. “台中”总是被切成“台 中”？（以及类似情况） P(台中) ＜ P(台)×P(中)，“台中”词频不够导致其成词概率较低 解决方法：强制调高词频 jieba.add_word('台中') 或者 jieba.suggest_freq('台中', True) 3. “今天天气 不错”应该被切成“今天 天气 不错”？（以及类似情况） 解决方法：强制调低词频 jieba.suggest_freq(('今天', '天气'), True) 或者直接删除该词 jieba.del_word('今天天气') 4. 切出了词典中没有的词语，效果不理想？ 解决方法：关闭新词发现 jieba.cut('丰田太省了', HMM=False) jieba.cut('我们中出了一个叛徒', HMM=False) 更多问题请点击：https://github.com/fxsjy/jieba/issues?sort=updated&state=closed 修订历史 https://github.com/fxsjy/jieba/blob/master/Changelog jieba “Jieba” (Chinese for “to stutter”) Chinese text segmentation: built to be the best Python Chinese word segmentation module. Features Support three types of segmentation mode: Accurate Mode attempts to cut the sentence into the most accurate segmentations, which is suitable for text analysis. Full Mode gets all the possible words from the sentence. Fast but not accurate. Search Engine Mode, based on the Accurate Mode, attempts to cut long words into several short words, which can raise the recall rate. Suitable for search engines. Supports Traditional Chinese Supports customized dictionaries MIT License Online demo http://jiebademo.ap01.aws.af.cm/ (Powered by Appfog) Usage Fully automatic installation: easy_install jieba or pip install jieba Semi-automatic installation: Download http://pypi.python.org/pypi/jieba/ , run python setup.py install after extracting. Manual installation: place the jieba directory in the current directory or python site-packages directory. import jieba. Algorithm Based on a prefix dictionary structure to achieve efficient word graph scanning. Build a directed acyclic graph (DAG) for all possible word combinations. Use dynamic programming to find the most probable combination based on the word frequency. For unknown words, a HMM-based model is used with the Viterbi algorithm. Main Functions Cut The jieba.cut function accepts three input parameters: the first parameter is the string to be cut; the second parameter is cut_all, controlling the cut mode; the third parameter is to control whether to use the Hidden Markov Model. jieba.cut_for_search accepts two parameter: the string to be cut; whether to use the Hidden Markov Model. This will cut the sentence into short words suitable for search engines. The input string can be an unicode/str object, or a str/bytes object which is encoded in UTF-8 or GBK. Note that using GBK encoding is not recommended because it may be unexpectly decoded as UTF-8. jieba.cut and jieba.cut_for_search returns an generator, from which you can use a for loop to get the segmentation result (in unicode). jieba.lcut and jieba.lcut_for_search returns a list. jieba.Tokenizer(dictionary=DEFAULT_DICT) creates a new customized Tokenizer, which enables you to use different dictionaries at the same time. jieba.dt is the default Tokenizer, to which almost all global functions are mapped. Code example: segmentation encoding=utf-8import jiebaseg_list = jieba.cut("我来到北京清华大学", cut_all=True)print("Full Mode: " + "/ ".join(seg_list)) 全模式seg_list = jieba.cut("我来到北京清华大学", cut_all=False)print("Default Mode: " + "/ ".join(seg_list)) 默认模式seg_list = jieba.cut("他来到了网易杭研大厦")print(", ".join(seg_list))seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") 搜索引擎模式print(", ".join(seg_list)) Output: [Full Mode]: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学[Accurate Mode]: 我/ 来到/ 北京/ 清华大学[Unknown Words Recognize] 他, 来到, 了, 网易, 杭研, 大厦 (In this case, "杭研" is not in the dictionary, but is identified by the Viterbi algorithm)[Search Engine Mode]： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造 Add a custom dictionary Load dictionary Developers can specify their own custom dictionary to be included in the jieba default dictionary. Jieba is able to identify new words, but you can add your own new words can ensure a higher accuracy. Usage： jieba.load_userdict(file_name) file_name is a file-like object or the path of the custom dictionary The dictionary format is the same as that of dict.txt: one word per line; each line is divided into three parts separated by a space: word, word frequency, POS tag. If file_name is a path or a file opened in binary mode, the dictionary must be UTF-8 encoded. The word frequency and POS tag can be omitted respectively. The word frequency will be filled with a suitable value if omitted. For example: 创新办 3 i云计算 5凱特琳 nz台中 Change a Tokenizer’s tmp_dir and cache_file to specify the path of the cache file, for using on a restricted file system. Example: 云计算 5李小福 2创新办 3[Before]： 李小福 / 是 / 创新 / 办 / 主任 / 也 / 是 / 云 / 计算 / 方面 / 的 / 专家 /[After]：　李小福 / 是 / 创新办 / 主任 / 也 / 是 / 云计算 / 方面 / 的 / 专家 / Modify dictionary Use add_word(word, freq=None, tag=None) and del_word(word) to modify the dictionary dynamically in programs. Use suggest_freq(segment, tune=True) to adjust the frequency of a single word so that it can (or cannot) be segmented. Note that HMM may affect the final result. Example: >>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))如果/放到/post/中将/出错/。>>> jieba.suggest_freq(('中', '将'), True)494>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))如果/放到/post/中/将/出错/。>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))「/台/中/」/正确/应该/不会/被/切开>>> jieba.suggest_freq('台中', True)69>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))「/台中/」/正确/应该/不会/被/切开 Keyword Extraction import jieba.analyse jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()) sentence: the text to be extracted topK: return how many keywords with the highest TF/IDF weights. The default value is 20 withWeight: whether return TF/IDF weights with the keywords. The default value is False allowPOS: filter words with which POSs are included. Empty for no filtering. jieba.analyse.TFIDF(idf_path=None) creates a new TFIDF instance, idf_path specifies IDF file path. Example (keyword extraction) https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py Developers can specify their own custom IDF corpus in jieba keyword extraction Usage： jieba.analyse.set_idf_path(file_name) file_name is the path for the custom corpus Custom Corpus Sample：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big Sample Code：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py Developers can specify their own custom stop words corpus in jieba keyword extraction Usage： jieba.analyse.set_stop_words(file_name) file_name is the path for the custom corpus Custom Corpus Sample：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt Sample Code：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py There’s also a TextRank implementation available. Use: jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) Note that it filters POS by default. jieba.analyse.TextRank() creates a new TextRank instance. Part of Speech Tagging jieba.posseg.POSTokenizer(tokenizer=None) creates a new customized Tokenizer. tokenizer specifies the jieba.Tokenizer to internally use. jieba.posseg.dt is the default POSTokenizer. Tags the POS of each word after segmentation, using labels compatible with ictclas. Example: >>> import jieba.posseg as pseg>>> words = pseg.cut("我爱北京天安门")>>> for w in words:... print('%s %s' % (w.word, w.flag))...我 r爱 v北京 ns天安门 ns Parallel Processing Principle: Split target text by line, assign the lines into multiple Python processes, and then merge the results, which is considerably faster. Based on the multiprocessing module of Python. Usage: jieba.enable_parallel(4) Enable parallel processing. The parameter is the number of processes. jieba.disable_parallel() Disable parallel processing. Example: https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py Result: On a four-core 3.4GHz Linux machine, do accurate word segmentation on Complete Works of Jin Yong, and the speed reaches 1MB/s, which is 3.3 times faster than the single-process version. Note that parallel processing supports only default tokenizers, jieba.dt and jieba.posseg.dt. Tokenize: return words with position The input must be unicode Default mode result = jieba.tokenize(u'永和服装饰品有限公司')for tk in result:print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) word 永和 start: 0 end:2word 服装 start: 2 end:4word 饰品 start: 4 end:6word 有限公司 start: 6 end:10 Search mode result = jieba.tokenize(u'永和服装饰品有限公司',mode='search')for tk in result:print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) word 永和 start: 0 end:2word 服装 start: 2 end:4word 饰品 start: 4 end:6word 有限 start: 6 end:8word 公司 start: 8 end:10word 有限公司 start: 6 end:10 ChineseAnalyzer for Whoosh from jieba.analyse import ChineseAnalyzer Example: https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py Command Line Interface $> python -m jieba --helpJieba command line interface.positional arguments:filename input fileoptional arguments:-h, --help show this help message and exit-d [DELIM], --delimiter [DELIM]use DELIM instead of ' / ' for word delimiter; or aspace if it is used without DELIM-p [DELIM], --pos [DELIM]enable POS tagging; if DELIM is specified, use DELIMinstead of '_' for POS delimiter-D DICT, --dict DICT use DICT as dictionary-u USER_DICT, --user-dict USER_DICTuse USER_DICT together with the default dictionary orDICT (if specified)-a, --cut-all full pattern cutting (ignored with POS tagging)-n, --no-hmm don't use the Hidden Markov Model-q, --quiet don't print loading messages to stderr-V, --version show program's version number and exitIf no filename specified, use STDIN instead. Initialization By default, Jieba don’t build the prefix dictionary unless it’s necessary. This takes 1-3 seconds, after which it is not initialized again. If you want to initialize Jieba manually, you can call: import jiebajieba.initialize() (optional) You can also specify the dictionary (not supported before version 0.28) : jieba.set_dictionary('data/dict.txt.big') Using Other Dictionaries It is possible to use your own dictionary with Jieba, and there are also two dictionaries ready for download: A smaller dictionary for a smaller memory footprint: https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small There is also a bigger dictionary that has better support for traditional Chinese (繁體): https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big By default, an in-between dictionary is used, called dict.txt and included in the distribution. In either case, download the file you want, and then call jieba.set_dictionary('data/dict.txt.big') or just replace the existing dict.txt. Segmentation speed 1.5 MB / Second in Full Mode 400 KB / Second in Default Mode Test Env: Intel® Core™ i7-2600 CPU @ 3.4GHz；《围城》.txt 本篇文章为转载内容。原文链接：https://blog.csdn.net/yegeli/article/details/107246661。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...nd( 无需物流发货处理 )接口，淘宝r2接口，淘宝oAu2.0接口，淘宝订单物流接口,接口可以用于店铺订单同步，ERP系统，订单推送，店铺上传商品等业务，希望能够帮助到有需要的朋友，代码对接如下: 1.公共参数 名称 类型 必须 描述 key String 是 调用key（必须以GET方式拼接在URL中，点击获取测试key和secret） secret String 是 调用密钥 api_name String 是 API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等] cache String 否 [yes,no]默认yes，将调用缓存的数据，速度比较快 result_type String 否 [json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读 lang String 否 [cn,en,ru]翻译语言，默认cn简体中文 version String 否 API版本 2.请求参数 请求参数：api= 参数说明：其它参数:参考淘宝开放平台接口文档，与淘宝的参数一致 https://open.taobao.com/api.htm?docId=140&docType=2 名称 类型 必须 描述 api String 淘宝开放平台的接口名（如：taobao.picture.upload( 上传单张图片 )） session String 授权换取的session_id [其他参数] String 其它参数:参考淘宝开放平台接口文档，与淘宝的参数一致 https://open.taobao.com/api.htm?docId=140&docType=2 3. 请求示例（CURL、PHP 、PHPsdk 、Java 、C 、Python...) coding:utf-8"""Compatible for python2.x and python3.xrequirement: pip install requests"""from __future__ import print_functionimport requests 请求示例 url 默认请求参数已经做URL编码url = "https://vx19970108018/taobao/custom/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&method="headers = {"Accept-Encoding": "gzip","Connection": "close"}if __name__ == "__main__":r = requests.get(url, headers=headers)json_obj = r.json()print(json_obj) 4.响应示例 {"logistics_dummy_send_response":{"shipping":{"is_success":true} }} 本篇文章为转载内容。原文链接：https://blog.csdn.net/tbprice/article/details/125553595。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...t install python-pyaudio python3-pyaudio sox sudo pip3 install pyaudio 4、录制音频 rec test.wav 这里会报错，can’t open input ‘default’: 5、需要安装以下包，用以麦克风的配置 sudo apt-get install alsa-utils pulseaudio 6、再次测试 rec test.wav 7、使用ctrl + c停止录音，aplay test.wav播放。 8、下载snowboy，编译出适合自己系统的_snowboydetect.so 在这个链接下载：https://github.com/kitt-ai/snowboy 使用命令：git clone https://github.com/Kitt-AI/snowboy.git下载 安装以下工具，用以编译 sudo apt-get install swig （3.0.10或者更高的版本）sudo apt-get install libatlas-base-dev 进入snowboy目录，执行以下命令，进行编译 cd /snowboy/swig/Python3make 得到了编译好的文件_snowboydetect.so 新建自己文件夹，将snowboy/example/Python3下的文件全复制到自己文件夹下，并将上一步编译后得到的_snowboydetect.so放到自己的文件夹中。 9、生成自己的唤醒词 训练模型：参考https://github.com/Kitt-AI/snowboy/ 10、将自己的模型.pmdl放到自己创建的文件夹snowboy里。 11、使用以下代码运行 注意：需要将官方案例中的 snowboydecoder.py 文件修改一下，把from . import snowboydetect 改为 import snowboydetect然后再运行。并将编译后的swig/Python3目录下的snowboydetect.py复制到自己的目录中。 python3 demo.py .pmdl 听到叮的一声，代表成功了。 完整参考文档：http://docs.kitt.ai/snowboy/downloads 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_43556844/article/details/113617602。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...URI设置全攻略 在数据分析和可视化领域，Apache Superset无疑是一款备受推崇的开源工具。它不仅能让你随心所欲地选择各种图表样式，还超级灵活地接纳各种数据源接入方式，更酷的是，用户可以大展身手，自由定制数据连接配置。就像在玩乐高积木一样，你可以自定义SQLAlchemy URI设置，想怎么拼就怎么拼！本文将带您深入探索这一功能，通过实例详解如何在Superset中自定义SQLAlchemy URI，以满足您特定的数据源连接需求。 1. SQLAlchemy与URI简介 首先，我们来快速了解一下SQLAlchemy以及其URI（Uniform Resource Identifier）的概念。SQLAlchemy，这可是Python世界里鼎鼎大名的关系型数据库操作工具，大家都抢着用。而URI呢，你可以理解为一个超级实用的“地址条”，它用一种统一格式的字符串，帮我们精准定位并解锁访问数据库资源的各种路径和方式，是不是很给力？在Superset中，我们通过配置SQLAlchemy URI来建立与各种数据库（如MySQL、PostgreSQL、Oracle等）的连接。 例如，一个基本的PostgreSQL的SQLAlchemy URI可能看起来像这样： python postgresql://username:password@host:port/database 这里的各个部分分别代表数据库用户名、密码、主机地址、端口号和数据库名。 2. Superset中的SQLAlchemy URI设置 在Superset中，我们可以在“Sources” -> “Databases”页面添加或编辑数据源时，自定义SQLAlchemy URI。下面让我们一步步揭开这个过程： 2.1 添加新的数据库连接 (1) 登录到您的Superset后台管理界面，点击左侧菜单栏的"Sources"，然后选择"Databases"。 (2) 点击右上角的"+"按钮，开始创建一个新的数据库连接。 (3) 在弹出的表单中，选择适合您的数据库引擎类型，如"PostgreSQL"，并在"Database Connection URL"字段中填写您的自定义SQLAlchemy URI。 2.2 示例代码 假设我们要连接到一台本地运行的PostgreSQL数据库，用户名为superset_user，密码为secure_password，端口为5432，数据库名为superset_db，则对应的SQLAlchemy URI如下： python postgresql://superset_user:secure_password@localhost:5432/superset_db 填入上述信息后，点击"Save"保存设置，Superset便会使用该URI与指定的数据库建立连接。 2.3 进阶应用 对于一些需要额外参数的数据库（比如SSL加密连接、指定编码格式等），可以在URI中进一步扩展： python postgresql://superset_user:secure_password@localhost:5432/superset_db?sslmode=require&charset=utf8 这里，sslmode=require指定了启用SSL加密连接，charset=utf8则设置了字符集。 3. 思考与探讨 在实际应用场景中，灵活运用SQLAlchemy URI的自定义能力，可以极大地增强Superset的数据源兼容性与安全性。甭管是云端飘着的RDS服务，还是公司里头自个儿搭建的各种数据库系统，只要你摸准了那个URI构造的门道，咱们就能轻轻松松把它们拽进Superset这个大舞台，然后麻溜儿地对数据进行深度分析，再活灵活现地展示出来，那感觉倍儿爽！ 在面对复杂的数据库连接问题时，别忘了查阅SQLAlchemy官方文档以获取更多关于URI配置的细节和选项，同时结合Superset的强大功能，定能让您的数据驱动决策之路更加顺畅！ 总的来说，掌握并熟练运用自定义SQLAlchemy URI的技巧，就像是赋予了Superset一把打开任意数据宝库的钥匙，无论数据藏于何处，都能随心所欲地进行探索挖掘。这就是Superset的魅力所在，也是我们在数据科学道路上不断求索的动力源泉！

...e Kafka实时流数据集成：探索与实践 1. 引言 在大数据时代，实时数据分析已经成为企业决策的重要支撑。Superset，这款由Airbnb大神们慷慨开源的数据可视化和BI工具，可厉害了！它凭借无比强大的数据挖掘探索力，以及那让人拍案叫绝的灵活仪表板定制功能，早就赢得了大家伙儿的一致喜爱和热捧啊！而Apache Kafka作为高吞吐量、分布式的消息系统，被广泛应用于实时流数据处理场景中。将这两者有机结合，无疑能够为企业的实时业务分析带来巨大价值。本文将以“Superset与Apache Kafka实时流数据集成”为主题，通过实例代码深入探讨这一技术实践过程。 2. Superset简介与优势 Superset是一款强大且易于使用的开源数据可视化平台，它允许用户通过拖拽的方式创建丰富的图表和仪表板，并能直接查询多种数据库进行数据分析。其灵活性和易用性使得非技术人员也能轻松实现复杂的数据可视化需求。 3. Apache Kafka及其在实时流数据中的角色 Apache Kafka作为一个分布式的流处理平台，擅长于高效地发布和订阅大量实时消息流。它的最大亮点就是，能够在多个生产者和消费者之间稳稳当当地传输海量数据，尤其适合用来搭建那些实时更新、数据流动如飞的应用程序和数据传输管道，就像是个超级快递员，在各个角色间高效地传递信息。 4. Superset与Kafka集成 技术实现路径 (1) 数据摄取： 首先，我们需要配置Superset连接到Kafka数据源。这通常需要咱们用类似“kafka-python”这样的工具箱，从Kafka的主题里边捞出数据来，然后把这些数据塞到Superset能支持的数据仓库里，比如PostgreSQL或者MySQL这些数据库。例如： python from kafka import KafkaConsumer import psycopg2 创建Kafka消费者 consumer = KafkaConsumer('your-topic', bootstrap_servers=['localhost:9092']) 连接数据库 conn = psycopg2.connect(database="your_db", user="your_user", password="your_password", host="localhost") cur = conn.cursor() for message in consumer: 解析并处理Kafka消息 data = process_message(message.value) 将数据写入数据库 cur.execute("INSERT INTO your_table VALUES (%s)", (data,)) conn.commit() (2) Superset数据源配置： 在成功将Kafka数据导入到数据库后，需要在Superset中添加对应的数据库连接。打开Superset的管理面板，就像装修房子一样，咱们得设定一个新的SQLAlchemy链接地址，让它指向你的数据库。想象一下，这就是给Superset指路，让它能够顺利找到并探索你刚刚灌入的那些Kafka数据宝藏。 (3) 创建可视化图表： 最后，你可以在Superset中创建新的 charts 或仪表板，利用SQL Lab查询刚刚配置好的数据库，从而实现对Kafka实时流数据的可视化展现。 5. 实践思考与探讨 将Superset与Apache Kafka集成的过程并非一蹴而就，而是需要根据具体业务场景灵活设计数据流转和处理流程。咱们不光得琢磨怎么把Kafka那家伙产生的实时数据，嗖嗖地塞进关系型数据库里头，同时还得留意，在不破坏数据“新鲜度”的大前提下，确保这些数据的完整性和一致性，可马虎不得啊！另外，在使用Superset的时候，咱们可得好好利用它那牛哄哄的数据透视和过滤功能，这样一来，甭管业务分析需求怎么变，都能妥妥地满足它们。 总结来说，Superset与Apache Kafka的结合，如同给实时数据流插上了一双翅膀，让数据的价值得以迅速转化为洞见，驱动企业快速决策。在这个过程中，我们将不断探索和优化，以期在实践中发掘更多可能。

...ka的集成。这可是大数据领域里一个超级实用且热门的话题。不管你是刚入门的小白还是有经验的大神，学会了Spark和Kafka的结合使用，在处理实时数据流时肯定会觉得轻松很多，简直像开了外挂一样！ 1.1 为什么选择Spark与Kafka？ 想象一下，你正在处理海量的数据流，而且这些数据是不断更新的，怎么办？这时候，Spark与Kafka的组合就派上用场了。Spark这家伙处理海量数据那是真快，而Kafka就像是个传送带，能把这些数据飞快地倒腾来倒腾去。两者结合，简直是天作之合！ 1.2 本文结构 接下来，我会从基础概念讲起，然后一步步带你了解如何将Spark与Kafka集成起来。最后，我们还会一起动手实践几个具体的例子。别担心，我不会只是给你一堆枯燥的文字，而是会尽量用口语化的方式讲解，并穿插一些我个人的理解和思考过程。让我们开始吧！ 2. 基础概念 2.1 Spark简介 Spark，全名Apache Spark，是一款开源的大数据处理框架。它的亮点在于能飞快地处理数据，还能在内存里直接运算，让处理大数据变得超级顺畅，简直爽翻天！Spark提供了多种API，包括Java、Scala、Python等，非常灵活易用。 2.2 Kafka简介 Kafka，全名Apache Kafka，是一个分布式的消息系统，主要用来处理实时数据流。这个东西特别能扛，能存好多数据，还不容易丢，用来搭建实时的数据流和应用再合适不过了。 2.3 Spark与Kafka集成的优势 - 实时处理：Spark可以实时处理Kafka中的数据。 - 灵活性：Spark支持多种编程语言，Kafka则提供丰富的API接口，两者结合让开发更加灵活。 - 高吞吐量：Spark的并行处理能力和Kafka的高吞吐量相结合，能够高效处理大规模数据流。 3. 实战准备 在开始之前，你需要先准备好环境。确保你的机器上已经安装了Java、Scala以及Spark。说到Kafka，你可以直接下载安装包，或者用Docker容器搞一个本地环境，超级方便！我推荐你用Docker，因为它真的超简单方便，还能随手搞出好几个实例来测试，特别实用。 bash 安装Docker sudo apt-get update sudo apt-get install docker.io 拉取Kafka镜像 docker pull wurstmeister/kafka 启动Kafka容器 docker run -d --name kafka -p 9092:9092 -e KAFKA_ADVERTISED_HOST_NAME=localhost wurstmeister/kafka 4. 集成实战 4.1 创建Kafka主题 首先，我们需要创建一个Kafka主题，以便后续的数据流能够被正确地发送和接收。 bash 进入容器 docker exec -it kafka /bin/bash 创建主题 kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 4.2 发送数据到Kafka 接下来，我们可以编写一个简单的脚本来向Kafka的主题中发送一些数据。这里我们使用Python的kafka-python库来实现。 python from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers='localhost:9092') for _ in range(10): message = "Hello, Kafka!".encode('utf-8') producer.send('test-topic', value=message) print("Message sent:", message.decode('utf-8')) producer.flush() producer.close() 4.3 使用Spark读取Kafka数据 现在，我们来编写一个Spark程序，用于读取刚才发送到Kafka中的数据。这里我们使用Spark的Structured Streaming API。 scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.appName("SparkKafkaIntegration").getOrCreate() val df = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", "localhost:9092") .option("subscribe", "test-topic") .load() val query = df.selectExpr("CAST(value AS STRING)") .writeStream .outputMode("append") .format("console") .start() query.awaitTermination() 这段代码会启动一个Spark应用程序，从Kafka的主题中读取数据，并将其打印到控制台。 4.4 实时处理 接下来，我们可以在Spark中对数据进行实时处理。例如，我们可以统计每秒钟接收到的消息数量。 scala import org.apache.spark.sql.functions._ val countDF = df.selectExpr("CAST(value AS STRING)") .withWatermark("timestamp", "1 minute") .groupBy( window($"timestamp", "1 minute"), $"value" ).count() val query = countDF.writeStream .outputMode("complete") .format("console") .start() query.awaitTermination() 这段代码会在每分钟的时间窗口内统计消息的数量，并将其输出到控制台。 5. 总结与反思 通过这次实战，我们成功地将Spark与Kafka进行了集成，并实现了数据的实时处理。虽然过程中遇到了一些挑战，但最终还是顺利完成了任务。这个经历让我明白，书本上的知识和实际动手做真是两码事。不一次次去试，根本没法真正搞懂怎么用这门技术。希望这次分享对你有所帮助，也期待你在实践中也能有所收获！ 如果你有任何问题或想法，欢迎随时交流讨论。

在深入探讨Python win32gui模块实现对“文件另存为”弹出框的自动化操作后，我们可以进一步探索这一技术在实际应用场景中的广泛潜力。近期，随着RPA（Robotic Process Automation）技术的发展与普及，越来越多的企业开始利用类似的技术优化办公流程，实现日常任务的自动化处理。例如，在大量数据导入导出、系统间信息同步等场景中，精确控制Windows对话框以自动完成文件保存动作，能够显著提升工作效率并减少人为错误。 事实上，Python的win32库不仅仅局限于简单的窗口句柄查找和消息模拟发送，还可以用于更复杂的桌面应用程序自动化，如自动化测试、GUI应用脚本编写等。同时，对于无障碍技术领域而言，通过精准控制各类对话框组件，可以辅助残障人士进行计算机操作，为其提供便利。 另外，值得注意的是，尽管win32gui提供了强大的本地化操作能力，但在跨平台兼容性和未来发展趋势上，开发者也应关注像PyAutoGUI、Selenium等更为现代化且支持多平台的自动化工具包。这些工具不仅同样支持窗口控件的定位与交互，还能够无缝对接Web应用和移动应用的自动化测试与操作。 综上所述，对win32gui模块的深入理解和熟练运用，既有助于我们解决实际工作中的自动化需求，也能启发我们思考如何在更广阔的自动化技术领域拓展应用。同时，结合最新的自动化工具和技术动态，我们将更好地应对日益复杂的应用场景挑战，不断推动软件自动化技术的进步与发展。

...m install python-networking-odl.noarch -y https://docs.openstack.org/networking-odl/latest/install/installation.htmlnetworking-odl-configuration systemctl restart neutron-server /etc/neutron/plugins/ml2 测试端口可连接性 curl -u admin:admin http://10.13.80.34:8181/controller/nb/v2/neutron/networks odl配置文件修改 etc/custom.properties ovsdb.l3.fwd.enabled=yes ovsdb.l3gateway.mac=0a:00:27:00:00:0d telnet 10.13.80.34 8181 netstat -nlp | grep 8181 telnet 127.0.0.1 8181 telnet 10.13.80.34 8181 systemctl status firewall iptables iptables -nvL iptables -F 清空iptables openstack server create --flavor tiny --image cirros --nic net-id=24449ee2-b84e-493f-8d76-139ac3e4f3cd --key-name mykey provider-instance nova service-list nova show ae5e26d1-c84d-40fa-bb27-f0b46d6a7061 查看虚机详情 ovs-vsctl set Open_vSwitch 89444614-3bf8-4d7a-b3a0-df5d20b48b7a other_config={'local_ip'='192.168.56.102'} ovs-vsctl set Open_vSwitch b084eccf-b92e-470c-8dff-8549e92c2104 other_config={'local_ip'='192.168.56.122'} ovs-vsctl list interface eth0 ovs-appctl fdb/show br-int [root@rcontroller01 ~] openstack security group rule list 2e19a748-9086-49f8-9498-01abc1a964fe 一个神奇的命令 +--------------------------------------+-------------+-----------+------------+--------------------------------------+ | ID | IP Protocol | IP Range | Port Range | Remote Security Group | +--------------------------------------+-------------+-----------+------------+--------------------------------------+ | 0184e6b3-4f7f-4fd5-8125-b80682e7ee48 | None | None | | 2e19a748-9086-49f8-9498-01abc1a964fe | | 1e0bfedc-8f25-408a-9328-708113bbbc52 | icmp | 0.0.0.0/0 | | None | | 39116d39-454b-4d82-867e-bbfd3ea63182 | None | None | | None | | 4032366f-3ac9-4862-85a7-c7411a8b7678 | None | None | | 2e19a748-9086-49f8-9498-01abc1a964fe | | dc7bc251-f0d0-456a-9102-c5b66646aa84 | tcp | 0.0.0.0/0 | 22:22 | None | | ddacf7ea-57ea-4c8a-8b68-093766284595 | None | None | | None | +--------------------------------------+-------------+-----------+------------+--------------------------------------+ dpif/dump-flows dp 想控制端打印dp中流表的所有条目。 这个命令主要来与debugOpen Vswitch.它所打印的流表不是openFlow的流条目。 它打印的是由dp模块维护的简单的流。 如果你想查看OpenFlow条目，请使用ovs-ofctl dump-flows。dpif/del-fow dp 删除指定dp上所有流表。同上所述，这些不是OpenFlow流表。 ovs-appctl dpif/dump-flows br-int 创建网络 openstack network create --share --external --provider-physical-network provider --provider-network-type flat provider $ openstack subnet create --network provider \ --allocation-pool start=192.168.56.100,end=192.168.56.200 \ --dns-nameserver 8.8.8.8 --gateway 192.168.56.1 \ --subnet-range 192.168.56.0/24 provider openstack network create selfservice $ openstack subnet create --network selfservice \ --dns-nameserver 8.8.8.8 --gateway 192.168.1.1 \ --subnet-range 192.168.1.0/24 selfservice openstack router create router openstack router add subnet router selfservice openstack router set router --external-gateway provider openstack port list --router router +--------------------------------------+------+-------------------+-------------------------------------------------------------------------------+--------+ | ID | Name | MAC Address | Fixed IP Addresses | Status | +--------------------------------------+------+-------------------+-------------------------------------------------------------------------------+--------+ | bff6605d-824c-41f9-b744-21d128fc86e1 | | fa:16:3e:2f:34:9b | ip_address='172.16.1.1', subnet_id='3482f524-8bff-4871-80d4-5774c2730728' | ACTIVE | | d6fe98db-ae01-42b0-a860-37b1661f5950 | | fa:16:3e:e8:c1:41 | ip_address='203.0.113.102', subnet_id='5cc70da8-4ee7-4565-be53-b9c011fca011' | ACTIVE | +--------------------------------------+------+-------------------+-------------------------------------------------------------------------------+--------+ $ ping -c 4 203.0.113.102 创建虚机 openstack keypair list $ ssh-keygen -q -N "" $ openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey openstack flavor list openstack image list openstack network list openstack server create --flavor tiny --image cirros --nic net-id=27616098-0374-4ab4-95a8-b5bf4839dcf8 --key-name mykey provider-instance 网络配置 python /usr/lib/python2.7/site-packages/networking_odl/cmd/set_ovs_hostconfigs.py --ovs_hostconfigs='{ "ODL L2": { "allowed_network_types": [ "flat", "vlan", "vxlan" ], "bridge_mappings": { "provider": "br-int" }, "supported_vnic_types": [ { "vnic_type": "normal", "vif_type": "ovs", "vif_details": {} } ] }, "ODL L3": {} }' ovs-vsctl list open . [‎2019/‎1/‎16 19:09] 高正伟: ovs-vsctl set Open_vSwitch . other_config:local_ip=hostip ovs-vsctl set Open_vSwitch . other_config:local_ip=192.168.56.122 ovs-vsctl set Open_vSwitch . other_config:remote_ip=192.168.56.122 ovs-vsctl remove interface tunca7b782f232 options remote_ip ovs-vsctl set Open_vSwitch . other_config:provider_mappings=provider:br-ex ovs-vsctl set Open_vSwitch . external_ids:provider_mappings="{\"provider\": \"br-ex\"}" 清空 ovs-vsctl clear Open_vSwitch . external_ids ovs-vsctl set-manager tcp:10.13.80.34:6640 ovs-vsctl set-controller br-ex tcp:10.13.80.34:6640 ovs-vsctl del-controller br-ex sudo neutron-odl-ovs-hostconfig ovs-vsctl show ovs-vsctl add-port <bridge name> <port name> ovs-vsctl add-port br-ex enp0s10 ovs-vsctl del-port br-ex phy-br-ex ovs-vsctl del-port br-ex tun2ad7e9e91e4 重启odl后 systemctl restart openvswitch.service systemctl restart neutron-server.service systemctl stop neutron-server.service 创建虚机 openstack network create --share --external --provider-physical-network provider --provider-network-type flat provider openstack subnet create --network provider --allocation-pool start=192.168.56.2,end=192.168.56.100 --dns-nameserver 8.8.8.8 --gateway 192.168.56.1 --subnet-range 192.168.56.0/24 provider nova boot --image cirros --flavor tiny --nic net-id= --availability-zone nova:rcontroller01 vm-01 openstack server create --flavor tiny --image cirros --nic net-id= --key-name mykey test nova boot --image cirros --flavor tiny --nic net-id=0fe983c2-8178-403b-a00e-e8561580b210 --availability-zone nova:rcontroller01 vm-01 虚机可以学习到mac但是ping不通 抓包，先在虚机网卡上抓包， 然后在br-int上抓包 发现虚拟网卡上是发送了icmp请求报文的，但是br-int上没有 查看报文情况 [root@rcontroller01 ~] ovs-appctl dpif/dump-flows br-int recirc_id(0),tunnel(tun_id=0x0,src=192.168.56.102,dst=192.168.56.122,flags(-df-csum+key)),in_port(4),eth(),eth_type(0x0800),ipv4(proto=17,frag=no),udp(dst=3784), packets:266436, bytes:17584776, used:0.591s, actions:userspace(pid=4294962063,slow_path(bfd)) recirc_id(0xa0),in_port(5),ct_state(+new-est-rel-inv+trk),ct_mark(0/0x1),eth(),eth_type(0x0800),ipv4(frag=no), packets:148165, bytes:14520170, used:0.566s, actions:drop recirc_id(0),in_port(3),eth(),eth_type(0x0806), packets:1, bytes:60, used:5.228s, actions:drop recirc_id(0),tunnel(tun_id=0xb,src=192.168.56.102,dst=192.168.56.122,flags(-df-csum+key)),in_port(4),eth(dst=fa:16:3e:ab:ba:7e),eth_type(0x0806), packets:0, bytes:0, used:never, actions:5 recirc_id(0),in_port(5),eth(src=fa:16:3e:ab:ba:7e),eth_type(0x0800),ipv4(src=192.168.0.16,proto=1,frag=no), packets:148165, bytes:14520170, used:0.566s, actions:ct(zone=5004),recirc(0xa0) recirc_id(0),in_port(3),eth(),eth_type(0x0800),ipv4(frag=no), packets:886646, bytes:316947183, used:0.210s, flags:SFPR., actions:drop recirc_id(0),in_port(5),eth(src=fa:16:3e:ab:ba:7e,dst=fa:16:3e:7d:95:75),eth_type(0x0806),arp(sip=192.168.0.16,tip=192.168.0.5,op=1/0xff,sha=fa:16:3e:ab:ba:7e), packets:0, bytes:0, used:never, actions:userspace(pid=4294961925,controller(reason=4,dont_send=0,continuation=0,recirc_id=4618,rule_cookie=0x822002d,controller_id=0,max_len=65535)),set(tunnel(tun_id=0xb,src=192.168.56.122,dst=192.168.56.102,ttl=64,tp_dst=4789,flags(df|key))),4 安全组设置 openstack security group rule create --proto tcp 2e19a748-9086-49f8-9498-01abc1a964fe openstack security group rule create --proto tcp 6095293d-c2cd-433d-8a8f-e77ecb03609e openstack security group rule create --proto udp 2e19a748-9086-49f8-9498-01abc1a964fe openstack security group rule create --proto udp 6095293d-c2cd-433d-8a8f-e77ecb03609e ovs-vsctl add-port br-ex "ex-patch-int" ovs-vsctl set interface "ex-patch-int" type=patch ovs-vsctl set interface "ex-patch-int" options:peer=int-patch-ex ovs-vsctl add-port br-int "int-patch-ex" ovs-vsctl set interface "int-patch-ex" type=patch ovs-vsctl set interface "int-patch-ex" options:peer=ex-patch-int ovs-vsctl del-port br-ex "ex-patch-int" ovs-vsctl del-port br-int "int-patch-ex" ovs-vsctl del-port br-ex enp0s9 ovs-vsctl add-port br-int enp0s9 ovs-appctl ofproto/trace 重要命令 sudo ovs-ofctl -O OpenFlow13 show br-int sudo ovs-appctl ofproto/trace br-int "in_port=5,ip,nw_src=192.168.0.16,nw_dst=192.168.0.5" ovs-appctl dpctl/dump-conntrack 11.查看接口id等 ovs-appctl dpif/show 12.查看接口统计 ovs-ofctl dump-ports br-int 查看接口 sudo ovs-ofctl show br-int -O OpenFlow13 ovs常用命令 控制管理类 1.查看网桥和端口 ovs-vsctl show 1 2.创建一个网桥 ovs-vsctl add-br br0 ovs-vsctl set bridge br0 datapath_type=netdev 1 2 3.添加/删除一个端口 for system interfaces ovs-vsctl add-port br0 eth1 ovs-vsctl del-port br0 eth1 for DPDK ovs-vsctl add-port br0 dpdk1 -- set interface dpdk1 type=dpdk options:dpdk-devargs=0000:01:00.0 for DPDK bonds ovs-vsctl add-bond br0 dpdkbond0 dpdk1 dpdk2 \ -- set interface dpdk1 type=dpdk options:dpdk-devargs=0000:01:00.0 \ -- set interface dpdk2 type=dpdk options:dpdk-devargs=0000:02:00.0 1 2 3 4 5 6 7 8 9 4.设置/清除网桥的openflow协议版本 ovs-vsctl set bridge br0 protocols=OpenFlow13 ovs-vsctl clear bridge br0 protocols 1 2 5.查看某网桥当前流表 ovs-ofctl dump-flows br0 ovs-ofctl -O OpenFlow13 dump-flows br0 ovs-appctl bridge/dump-flows br0 1 2 3 6.设置/删除控制器 ovs-vsctl set-controller br0 tcp:1.2.3.4:6633 ovs-vsctl del-controller br0 1 2 7.查看控制器列表 ovs-vsctl list controller 1 8.设置/删除被动连接控制器 ovs-vsctl set-manager tcp:1.2.3.4:6640 ovs-vsctl get-manager ovs-vsctl del-manager 1 2 3 9.设置/移除可选选项 ovs-vsctl set Interface eth0 options:link_speed=1G ovs-vsctl remove Interface eth0 options link_speed 1 2 10.设置fail模式，支持standalone或者secure standalone(default)：清除所有控制器下发的流表，ovs自己接管 secure：按照原来流表继续转发 ovs-vsctl del-fail-mode br0 ovs-vsctl set-fail-mode br0 secure ovs-vsctl get-fail-mode br0 1 2 3 11.查看接口id等 ovs-appctl dpif/show 1 12.查看接口统计 ovs-ofctl dump-ports br0 1 流表类 流表操作 1.添加普通流表 ovs-ofctl add-flow br0 in_port=1,actions=output:2 1 2.删除所有流表 ovs-ofctl del-flows br0 1 3.按匹配项来删除流表 ovs-ofctl del-flows br0 "in_port=1" 1 匹配项 1.匹配vlan tag，范围为0-4095 ovs-ofctl add-flow br0 priority=401,in_port=1,dl_vlan=777,actions=output:2 1 2.匹配vlan pcp，范围为0-7 ovs-ofctl add-flow br0 priority=401,in_port=1,dl_vlan_pcp=7,actions=output:2 1 3.匹配源/目的MAC ovs-ofctl add-flow br0 in_port=1,dl_src=00:00:00:00:00:01/00:00:00:00:00:01,actions=output:2 ovs-ofctl add-flow br0 in_port=1,dl_dst=00:00:00:00:00:01/00:00:00:00:00:01,actions=output:2 1 2 4.匹配以太网类型，范围为0-65535 ovs-ofctl add-flow br0 in_port=1,dl_type=0x0806,actions=output:2 1 5.匹配源/目的IP 条件：指定dl_type=0x0800，或者ip/tcp ovs-ofctl add-flow br0 ip,in_port=1,nw_src=10.10.0.0/16,actions=output:2 ovs-ofctl add-flow br0 ip,in_port=1,nw_dst=10.20.0.0/16,actions=output:2 1 2 6.匹配协议号，范围为0-255 条件：指定dl_type=0x0800或者ip ICMP ovs-ofctl add-flow br0 ip,in_port=1,nw_proto=1,actions=output:2 7.匹配IP ToS/DSCP，tos范围为0-255，DSCP范围为0-63 条件：指定dl_type=0x0800/0x86dd，并且ToS低2位会被忽略(DSCP值为ToS的高6位，并且低2位为预留位) ovs-ofctl add-flow br0 ip,in_port=1,nw_tos=68,actions=output:2 ovs-ofctl add-flow br0 ip,in_port=1,ip_dscp=62,actions=output:2 8.匹配IP ecn位，范围为0-3 条件：指定dl_type=0x0800/0x86dd ovs-ofctl add-flow br0 ip,in_port=1,ip_ecn=2,actions=output:2 9.匹配IP TTL，范围为0-255 ovs-ofctl add-flow br0 ip,in_port=1,nw_ttl=128,actions=output:2 10.匹配tcp/udp，源/目的端口，范围为0-65535 匹配源tcp端口179 ovs-ofctl add-flow br0 tcp,tcp_src=179/0xfff0,actions=output:2 匹配目的tcp端口179 ovs-ofctl add-flow br0 tcp,tcp_dst=179/0xfff0,actions=output:2 匹配源udp端口1234 ovs-ofctl add-flow br0 udp,udp_src=1234/0xfff0,actions=output:2 匹配目的udp端口1234 ovs-ofctl add-flow br0 udp,udp_dst=1234/0xfff0,actions=output:2 11.匹配tcp flags tcp flags=fin，syn，rst，psh，ack，urg，ece，cwr，ns ovs-ofctl add-flow br0 tcp,tcp_flags=ack,actions=output:2 12.匹配icmp code，范围为0-255 条件：指定icmp ovs-ofctl add-flow br0 icmp,icmp_code=2,actions=output:2 13.匹配vlan TCI TCI低12位为vlan id，高3位为priority，例如tci=0xf123则vlan_id为0x123和vlan_pcp=7 ovs-ofctl add-flow br0 in_port=1,vlan_tci=0xf123,actions=output:2 14.匹配mpls label 条件：指定dl_type=0x8847/0x8848 ovs-ofctl add-flow br0 mpls,in_port=1,mpls_label=7,actions=output:2 15.匹配mpls tc，范围为0-7 条件：指定dl_type=0x8847/0x8848 ovs-ofctl add-flow br0 mpls,in_port=1,mpls_tc=7,actions=output:2 1 16.匹配tunnel id，源/目的IP 匹配tunnel id ovs-ofctl add-flow br0 in_port=1,tun_id=0x7/0xf,actions=output:2 匹配tunnel源IP ovs-ofctl add-flow br0 in_port=1,tun_src=192.168.1.0/255.255.255.0,actions=output:2 匹配tunnel目的IP ovs-ofctl add-flow br0 in_port=1,tun_dst=192.168.1.0/255.255.255.0,actions=output:2 一些匹配项的速记符 速记符 匹配项 ip dl_type=0x800 ipv6 dl_type=0x86dd icmp dl_type=0x0800,nw_proto=1 icmp6 dl_type=0x86dd,nw_proto=58 tcp dl_type=0x0800,nw_proto=6 tcp6 dl_type=0x86dd,nw_proto=6 udp dl_type=0x0800,nw_proto=17 udp6 dl_type=0x86dd,nw_proto=17 sctp dl_type=0x0800,nw_proto=132 sctp6 dl_type=0x86dd,nw_proto=132 arp dl_type=0x0806 rarp dl_type=0x8035 mpls dl_type=0x8847 mplsm dl_type=0x8848 指令动作 1.动作为出接口 从指定接口转发出去 ovs-ofctl add-flow br0 in_port=1,actions=output:2 1 2.动作为指定group group id为已创建的group table ovs-ofctl add-flow br0 in_port=1,actions=group:666 1 3.动作为normal 转为L2/L3处理流程 ovs-ofctl add-flow br0 in_port=1,actions=normal 1 4.动作为flood 从所有物理接口转发出去，除了入接口和已关闭flooding的接口 ovs-ofctl add-flow br0 in_port=1,actions=flood 1 5.动作为all 从所有物理接口转发出去，除了入接口 ovs-ofctl add-flow br0 in_port=1,actions=all 1 6.动作为local 一般是转发给本地网桥 ovs-ofctl add-flow br0 in_port=1,actions=local 1 7.动作为in_port 从入接口转发回去 ovs-ofctl add-flow br0 in_port=1,actions=in_port 1 8.动作为controller 以packet-in消息上送给控制器 ovs-ofctl add-flow br0 in_port=1,actions=controller 1 9.动作为drop 丢弃数据包操作 ovs-ofctl add-flow br0 in_port=1,actions=drop 1 10.动作为mod_vlan_vid 修改报文的vlan id，该选项会使vlan_pcp置为0 ovs-ofctl add-flow br0 in_port=1,actions=mod_vlan_vid:8,output:2 1 11.动作为mod_vlan_pcp 修改报文的vlan优先级，该选项会使vlan_id置为0 ovs-ofctl add-flow br0 in_port=1,actions=mod_vlan_pcp:7,output:2 1 12.动作为strip_vlan 剥掉报文内外层vlan tag ovs-ofctl add-flow br0 in_port=1,actions=strip_vlan,output:2 1 13.动作为push_vlan 在报文外层压入一层vlan tag，需要使用openflow1.1以上版本兼容 ovs-ofctl add-flow -O OpenFlow13 br0 in_port=1,actions=push_vlan:0x8100,set_field:4097-\>vlan_vid,output:2 1 ps: set field值为4096+vlan_id，并且vlan优先级为0，即4096-8191，对应的vlan_id为0-4095 14.动作为push_mpls 修改报文的ethertype，并且压入一个MPLS LSE ovs-ofctl add-flow br0 in_port=1,actions=push_mpls:0x8847,set_field:10-\>mpls_label,output:2 1 15.动作为pop_mpls 剥掉最外层mpls标签，并且修改ethertype为非mpls类型 ovs-ofctl add-flow br0 mpls,in_port=1,mpls_label=20,actions=pop_mpls:0x0800,output:2 1 16.动作为修改源/目的MAC，修改源/目的IP 修改源MAC ovs-ofctl add-flow br0 in_port=1,actions=mod_dl_src:00:00:00:00:00:01,output:2 修改目的MAC ovs-ofctl add-flow br0 in_port=1,actions=mod_dl_dst:00:00:00:00:00:01,output:2 修改源IP ovs-ofctl add-flow br0 in_port=1,actions=mod_nw_src:192.168.1.1,output:2 修改目的IP ovs-ofctl add-flow br0 in_port=1,actions=mod_nw_dst:192.168.1.1,output:2 17.动作为修改TCP/UDP/SCTP源目的端口 修改TCP源端口 ovs-ofctl add-flow br0 tcp,in_port=1,actions=mod_tp_src:67,output:2 修改TCP目的端口 ovs-ofctl add-flow br0 tcp,in_port=1,actions=mod_tp_dst:68,output:2 修改UDP源端口 ovs-ofctl add-flow br0 udp,in_port=1,actions=mod_tp_src:67,output:2 修改UDP目的端口 ovs-ofctl add-flow br0 udp,in_port=1,actions=mod_tp_dst:68,output:2 18.动作为mod_nw_tos 条件：指定dl_type=0x0800 修改ToS字段的高6位，范围为0-255，值必须为4的倍数，并且不会去修改ToS低2位ecn值 ovs-ofctl add-flow br0 ip,in_port=1,actions=mod_nw_tos:68,output:2 1 19.动作为mod_nw_ecn 条件：指定dl_type=0x0800，需要使用openflow1.1以上版本兼容 修改ToS字段的低2位，范围为0-3，并且不会去修改ToS高6位的DSCP值 ovs-ofctl add-flow br0 ip,in_port=1,actions=mod_nw_ecn:2,output:2 1 20.动作为mod_nw_ttl 修改IP报文ttl值，需要使用openflow1.1以上版本兼容 ovs-ofctl add-flow -O OpenFlow13 br0 in_port=1,actions=mod_nw_ttl:6,output:2 1 21.动作为dec_ttl 对IP报文进行ttl自减操作 ovs-ofctl add-flow br0 in_port=1,actions=dec_ttl,output:2 1 22.动作为set_mpls_label 对报文最外层mpls标签进行修改，范围为20bit值 ovs-ofctl add-flow br0 in_port=1,actions=set_mpls_label:666,output:2 1 23.动作为set_mpls_tc 对报文最外层mpls tc进行修改，范围为0-7 ovs-ofctl add-flow br0 in_port=1,actions=set_mpls_tc:7,output:2 1 24.动作为set_mpls_ttl 对报文最外层mpls ttl进行修改，范围为0-255 ovs-ofctl add-flow br0 in_port=1,actions=set_mpls_ttl:255,output:2 1 25.动作为dec_mpls_ttl 对报文最外层mpls ttl进行自减操作 ovs-ofctl add-flow br0 in_port=1,actions=dec_mpls_ttl,output:2 1 26.动作为move NXM字段 使用move参数对NXM字段进行操作 将报文源MAC复制到目的MAC字段，并且将源MAC改为00:00:00:00:00:01 ovs-ofctl add-flow br0 in_port=1,actions=move:NXM_OF_ETH_SRC[]-\>NXM_OF_ETH_DST[],mod_dl_src:00:00:00:00:00:01,output:2 1 2 ps: 常用NXM字段参照表 NXM字段 报文字段 NXM_OF_ETH_SRC 源MAC NXM_OF_ETH_DST 目的MAC NXM_OF_ETH_TYPE 以太网类型 NXM_OF_VLAN_TCI vid NXM_OF_IP_PROTO IP协议号 NXM_OF_IP_TOS IP ToS值 NXM_NX_IP_ECN IP ToS ECN NXM_OF_IP_SRC 源IP NXM_OF_IP_DST 目的IP NXM_OF_TCP_SRC TCP源端口 NXM_OF_TCP_DST TCP目的端口 NXM_OF_UDP_SRC UDP源端口 NXM_OF_UDP_DST UDP目的端口 NXM_OF_SCTP_SRC SCTP源端口 NXM_OF_SCTP_DST SCTP目的端口 27.动作为load NXM字段 使用load参数对NXM字段进行赋值操作 push mpls label，并且把10(0xa)赋值给mpls label ovs-ofctl add-flow br0 in_port=1,actions=push_mpls:0x8847,load:0xa-\>OXM_OF_MPLS_LABEL[],output:2 对目的MAC进行赋值 ovs-ofctl add-flow br0 in_port=1,actions=load:0x001122334455-\>OXM_OF_ETH_DST[],output:2 1 2 3 4 28.动作为pop_vlan 弹出报文最外层vlan tag ovs-ofctl add-flow br0 in_port=1,dl_type=0x8100,dl_vlan=777,actions=pop_vlan,output:2 1 meter表 常用操作 由于meter表是openflow1.3版本以后才支持，所以所有命令需要指定OpenFlow1.3版本以上 ps: 在openvswitch-v2.8之前的版本中，还不支持meter 在v2.8版本之后已经实现，要正常使用的话，需要注意的是datapath类型要指定为netdev，band type暂时只支持drop，还不支持DSCP REMARK 1.查看当前设备对meter的支持 ovs-ofctl -O OpenFlow13 meter-features br0 2.查看meter表 ovs-ofctl -O OpenFlow13 dump-meters br0 3.查看meter统计 ovs-ofctl -O OpenFlow13 meter-stats br0 4.创建meter表 限速类型以kbps(kilobits per second)计算，超过20kb/s则丢弃 ovs-ofctl -O OpenFlow13 add-meter br0 meter=1,kbps,band=type=drop,rate=20 同上，增加burst size参数 ovs-ofctl -O OpenFlow13 add-meter br0 meter=2,kbps,band=type=drop,rate=20,burst_size=256 同上，增加stats参数,对meter进行计数统计 ovs-ofctl -O OpenFlow13 add-meter br0 meter=3,kbps,stats,band=type=drop,rate=20,burst_size=256 限速类型以pktps(packets per second)计算，超过1000pkt/s则丢弃 ovs-ofctl -O OpenFlow13 add-meter br0 meter=4,pktps,band=type=drop,rate=1000 5.删除meter表 删除全部meter表 ovs-ofctl -O OpenFlow13 del-meters br0 删除meter id=1 ovs-ofctl -O OpenFlow13 del-meter br0 meter=1 6.创建流表 ovs-ofctl -O OpenFlow13 add-flow br0 in_port=1,actions=meter:1,output:2 group表 由于group表是openflow1.1版本以后才支持，所以所有命令需要指定OpenFlow1.1版本以上 常用操作 group table支持4种类型 all：所有buckets都执行一遍 select： 每次选择其中一个bucket执行，常用于负载均衡应用 ff(FAST FAILOVER)：快速故障修复，用于检测解决接口等故障 indirect：间接执行，类似于一个函数方法，被另一个group来调用 1.查看当前设备对group的支持 ovs-ofctl -O OpenFlow13 dump-group-features br0 2.查看group表 ovs-ofctl -O OpenFlow13 dump-groups br0 3.创建group表 类型为all ovs-ofctl -O OpenFlow13 add-group br0 group_id=1,type=all,bucket=output:1,bucket=output:2,bucket=output:3 类型为select ovs-ofctl -O OpenFlow13 add-group br0 group_id=2,type=select,bucket=output:1,bucket=output:2,bucket=output:3 类型为select，指定hash方法(5元组，OpenFlow1.5+) ovs-ofctl -O OpenFlow15 add-group br0 group_id=3,type=select,selection_method=hash,fields=ip_src,bucket=output:2,bucket=output:3 4.删除group表 ovs-ofctl -O OpenFlow13 del-groups br0 group_id=2 5.创建流表 ovs-ofctl -O OpenFlow13 add-flow br0 in_port=1,actions=group:2 goto table配置 数据流先从table0开始匹配，如actions有goto_table，再进行后续table的匹配，实现多级流水线，如需使用goto table，则创建流表时，指定table id，范围为0-255，不指定则默认为table0 1.在table0中添加一条流表条目 ovs-ofctl add-flow br0 table=0,in_port=1,actions=goto_table=1 2.在table1中添加一条流表条目 ovs-ofctl add-flow br0 table=1,ip,nw_dst=10.10.0.0/16,actions=output:2 tunnel配置 如需配置tunnel，必需确保当前系统对各tunnel的remote ip网络可达 gre 1.创建一个gre接口，并且指定端口id=1001 ovs-vsctl add-port br0 gre1 -- set Interface gre1 type=gre options:remote_ip=1.1.1.1 ofport_request=1001 2.可选选项 将tos或者ttl在隧道上继承，并将tunnel id设置成123 ovs-vsctl set Interface gre1 options:tos=inherit options:ttl=inherit options:key=123 3.创建关于gre流表 封装gre转发 ovs-ofctl add-flow br0 ip,in_port=1,nw_dst=10.10.0.0/16,actions=output:1001 解封gre转发 ovs-ofctl add-flow br0 in_port=1001,actions=output:1 vxlan 1.创建一个vxlan接口，并且指定端口id=2001 ovs-vsctl add-port br0 vxlan1 -- set Interface vxlan1 type=vxlan options:remote_ip=1.1.1.1 ofport_request=2001 2.可选选项 将tos或者ttl在隧道上继承，将vni设置成123，UDP目的端为设置成8472(默认为4789) ovs-vsctl set Interface vxlan1 options:tos=inherit options:ttl=inherit options:key=123 options:dst_port=8472 3.创建关于vxlan流表 封装vxlan转发 ovs-ofctl add-flow br0 ip,in_port=1,nw_dst=10.10.0.0/16,actions=output:2001 解封vxlan转发 ovs-ofctl add-flow br0 in_port=2001,actions=output:1 sflow配置 1.对网桥br0进行sflow监控 agent: 与collector通信所在的网口名，通常为管理口 target: collector监听的IP地址和端口，端口默认为6343 header: sFlow在采样时截取报文头的长度 polling: 采样时间间隔，单位为秒 ovs-vsctl -- --id=@sflow create sflow agent=eth0 target=\"10.0.0.1:6343\" header=128 sampling=64 polling=10 -- set bridge br0 sflow=@sflow 2.查看创建的sflow ovs-vsctl list sflow 3.删除对应的网桥sflow配置，参数为sFlow UUID ovs-vsctl remove bridge br0 sflow 7b9b962e-fe09-407c-b224-5d37d9c1f2b3 4.删除网桥下所有sflow配置 ovs-vsctl -- clear bridge br0 sflow 1 QoS配置 ingress policing 1.配置ingress policing，对接口eth0入流限速10Mbps ovs-vsctl set interface eth0 ingress_policing_rate=10000 ovs-vsctl set interface eth0 ingress_policing_burst=8000 2.清除相应接口的ingress policer配置 ovs-vsctl set interface eth0 ingress_policing_rate=0 ovs-vsctl set interface eth0 ingress_policing_burst=0 3.查看接口ingress policer配置 ovs-vsctl list interface eth0 4.查看网桥支持的Qos类型 ovs-appctl qos/show-types br0 端口镜像配置 1.配置eth0收到/发送的数据包镜像到eth1 ovs-vsctl -- set bridge br0 mirrors=@m \ -- --id=@eth0 get port eth0 \ -- --id=@eth1 get port eth1 \ -- --id=@m create mirror name=mymirror select-dst-port=@eth0 select-src-port=@eth0 output-port=@eth1 2.删除端口镜像配置 ovs-vsctl -- --id=@m get mirror mymirror -- remove bridge br0 mirrors @m 3.清除网桥下所有端口镜像配置 ovs-vsctl clear bridge br0 mirrors 4.查看端口镜像配置 ovs-vsctl get bridge br0 mirrors Open vSwitch中有多个命令，分别有不同的作用，大致如下： ovs-vsctl用于控制ovs db ovs-ofctl用于管理OpenFlow switch 的 flow ovs-dpctl用于管理ovs的datapath ovs-appctl用于查询和管理ovs daemon 转载于:https://www.cnblogs.com/liuhongru/p/10336849.html 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_30876945/article/details/99916308。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

在深入探讨Python模拟签收工单应用的同时，我们还可以进一步关注到编程语言在现代物流与供应链管理中的实际运用和最新动态。近日，菜鸟网络就宣布其智慧供应链系统升级，采用AI算法和大数据技术优化订单处理流程，其中便涉及了Python等编程语言的大量使用，用于自动化生成、追踪及更新物流订单状态，显著提升了签收环节的工作效率与准确性。 此外，Python在工业4.0时代背景下，对于实现智能制造中复杂业务逻辑的模拟与优化也起到了关键作用。例如，京东物流利用Python进行智能仓库管理系统开发，通过实时模拟各种工单处理情景，有效预防并解决了可能存在的签收瓶颈问题。 对于开发者而言，学习Python模拟签收工单的实际案例只是掌握该语言强大功能的第一步。更深层次的应用还包括对接企业ERP系统、构建基于规则引擎的智能决策系统以及利用机器学习预测签收时效等前沿技术。例如，《Python在供应链管理系统的实践与应用》一书中，作者详细解读了如何借助Python对各类业务场景进行建模，并应用于实际的工单签收流程模拟与优化。 综上所述，在物流与供应链行业持续智能化的趋势下，Python等编程语言已成为提升签收流程效率、确保数据准确无误的重要工具，值得广大开发者和行业从业者深入研究与实践。

在进一步了解Python中列表的属性计算之后，我们还可以探索更多高级且实用的列表操作技巧。例如，Python 3.8引入了一种新的表达式结构——" walrus operator "（:=），它使得在单行代码中计算列表长度、查找元素索引以及执行条件判断更为简洁高效。此外，对于大数据处理或科学计算场景，NumPy库提供的ndarray对象在性能上远超Python原生列表，可以实现快速的矩阵运算和统计分析。 近期，一篇发布于“Real Python”网站的文章深入探讨了如何利用列表推导式(List Comprehensions)和生成器表达式(Generator Expressions)对列表进行复杂操作，如过滤、映射和压缩数据，从而提升代码可读性和运行效率。文章还介绍了functools模块中的reduce函数，用于对列表元素执行累积操作，如求乘积、求序列中最长连续子序列等。 另外，在实际编程实践中，掌握列表的排序、切片、连接、复制等基本操作同样至关重要。例如，使用sorted()函数或列表的sort()方法对列表进行排序；利用切片技术实现列表的部分提取或替换；通过extend()和+运算符完成列表合并等。这些操作不仅能丰富你对Python列表的理解，更能在日常开发任务中助你事半功倍。 总的来说，深入学习和熟练运用Python列表的各种特性与功能，不仅有助于数据分析和处理，更能提升代码编写质量，使程序更加简洁、高效。同时，关注Python社区的最新动态和最佳实践，将能持续拓展你的编程技能边界，紧跟时代发展步伐。

...ON作为一种轻量级的数据交换格式，其重要性不言而喻。随着前后端分离架构的普及和API经济的发展，JSON不仅在PHP中，更是在JavaScript、Python、Java等多种编程语言中被广泛应用。例如，在Node.js环境中，JSON与JavaScript无缝对接，极大地简化了数据处理流程。 近期，PHP社区发布了新版本PHP 8.1，对JSON支持进行了进一步优化，引入了新的函数json_serialize以增强序列化功能，并改进了json_decode错误处理机制，使开发者能够更准确地捕获并解决JSON解析问题。同时，PHP官方文档也提供了更多关于如何安全、高效地处理JSON数据的最佳实践指南。 此外，随着RESTful API设计规范的推广，JSON Schema作为一种用于描述JSON数据结构的标准格式，正在逐步成为主流。它允许开发者为JSON数据定义严格的模式约束，从而确保在数据传输过程中满足预设规则，减少因数据格式错误导致的问题。 因此，对于PHP开发者而言，除了掌握基础的JSON编码解码操作之外，了解并紧跟相关领域的最新动态和技术发展，如PHP 8.1对JSON处理的改进以及JSON Schema的应用，无疑将有助于提升开发效率和代码质量，更好地适应现代Web开发的需求。

Python是一种强劲的编程语言，具备各类处理资料的函数函数库和函数库。在python中，我们可以画出各类函数的图形，来更好地理解函数的特性和性质。 要画出函数的图形，我们需要调用Python中的Matplotlib函数库。Matplotlib是一个用于画出资料可视化工具的函数函数库，有许多画出函数图形的函数可以调用。 导入Matplotlib函数库 import matplotlib.pyplot as plt 定义函数 def f(x): return x2 在[-5,5]之间生成x坐标值 x = range(-5, 6) 画出函数图形 plt.plot(x, [f(i) for i in x]) 显示图形 plt.show() 在这段代码中，我们首先导入了Matplotlib函数库。接着，定义了一个函数，即$f(x)=x^2$。然后，在区间$[-5,5]$之间生成了x坐标值。最后，调用plot()函数画出函数的图形。 由于Matplotlib函数库十分强劲，因此我们可以根据需要来设置函数图形的各类属性，如线型、颜色、字体等，以此来更好地展现函数。 总之，调用Python画出函数图形可以帮助我们更好地理解函数的特性和性质，对于学习数学和计算机科学都十分有用。

...在的挑战。上文介绍了Python中通过imblearn库实现的欠采样和过采样方法以解决此问题。为进一步深入了解这一主题，以下提供一些相关的延伸阅读材料。 近期，《Journal of Machine Learning Research》发布了一篇关于“处理分类任务中样本不平衡问题的最新策略与实践”的深度研究文章（请查阅具体文献）。该文详细探讨了各种平衡技术的理论基础、实际应用及潜在影响，并对比了包括RandomUnderSampler和RandomOverSampler在内的多种方法在不同数据集上的表现效果。 同时，Kaggle社区最近举办了一场专门针对不均衡数据集的竞赛，参赛者们积极尝试并分享了多样化的样本平衡技巧，如SMOTE（合成少数类过采样技术）、ADASYN（自适应合成过采样）以及集成多种采样方法等，这些前沿实战经验对于理解和改进样本不平衡问题具有很高的参考价值。 另外，TechCrunch的一篇报道指出，在医疗影像识别和金融风控等领域，由于正负样本天然分布的极度不平衡，样本平衡处理技术成为提高模型准确率和减少误报的关键手段。报道引用了多个实例，展示了如何在实际场景中运用欠采样、过采样及其衍生技术有效提升模型性能。 综上所述，对样本不平衡问题的研究与实践始终与时俱进，不断有新的解决方案和技术涌现。深入研读相关学术论文、关注业界竞赛动态以及追踪行业报道，都能帮助我们更好地掌握和应对这一核心问题。

在理解了如何使用Python的json模块将JSON数据转换为字典和列表之后，进一步了解JSON在现代编程实践中的应用及其重要性是十分必要的。JSON因其简洁、易于阅读和编写的特点，已成为API接口、Web服务以及数据库传输等场景下首选的数据交换格式。 近期（时效性），GitHub于2022年推出了改进后的GraphQL API，它支持JSON格式的数据交互，允许开发者更高效地查询和获取所需数据，这无疑再次印证了JSON在数据交换领域的主导地位。同时，随着Python 3.9及更高版本对JSON模块功能的持续优化，如添加对datetime对象的原生支持，使得JSON与Python类型之间的转换更为便捷且兼容性更强。 此外，深入探究JSON安全方面的话题也具有现实意义。由于JSON常用于处理用户输入或从外部源获取的数据，因此确保其安全性至关重要。例如，防范JSON注入攻击需要对解析JSON时进行严格的输入验证和清理。而在Python中，合理使用json.loads()方法配合object_hook参数可以实现对潜在恶意内容的有效检测和拦截。 综上所述，掌握Python中JSON的处理不仅限于基础的编码解码操作，还应关注其在实际开发中的应用场景、最新技术动态以及相关的安全问题，以提升代码质量及应用程序的安全防护能力。