新用户注册入口 老用户登录入口

[转载]php中yield的用法

文章作者:转载 更新时间:2024-01-12 23:00:22 阅读数量:54
文章标签:PHP协程yield内存瓶颈大文件读取运行内存
本文摘要:PHP中通过生成器(yield关键字)有效解决了处理大文件时的内存瓶颈问题。当读取如Excel的大文件时,常规方法易导致内存溢出,出现“Fatal Error: Allowed memory size”错误。为缓解此状况,可调高`memory_limit`,但对极大文件并不适用。生成器则允许逐行读取文件内容,仅在需要时返回一行数据,从而避免一次性加载所有内容到内存中。通过使用yield实现的协程机制,能显著优化大文件导入导出操作,实现实时、低内存消耗的流式处理。
转载文章

本篇文章为转载内容。原文链接:https://blog.csdn.net/qq_22823581/article/details/91491082。

该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。

作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。

如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。

在这里插入图片描述

之前有听过php 中自身也有协程,查看找了下并学习。

demo已上传 我的github笔记

yield 解决的问题

解决运行内存的瓶颈,php程序中的变量存储在内存中,之前有遇到过读取Excel文件时候,会出现内存不足,出现:

Fatal Error: Allowed memory size of xxxxxx bytes 

所以会设置php 最大运行内存的设置: ini_set('memory_limit', '200M')

但是当我们读取5g 这么大的文件的时候,我们运行内存可能就吃不消了,所以会选择yield

初识Yield

运行:

<?php
function createRange($number){$data = [];for($i=0;$i<$number;$i++){$data[] = time();}return $data;
}
$data =createRange(10);
foreach($data as $value){sleep(1);//这里停顿1秒,我们后续有用echo $value.PHP_EOL;
}

在这里插入图片描述

时间是一样的。如果采用yield:

<?phpfunction createRange($number){for($i=0;$i<$number;$i++){yield time();}
}
$data =createRange(10);
foreach($data as $value){sleep(1);//这里停顿1秒,我们后续有用echo $value.PHP_EOL;
}

在这里插入图片描述
时间则间隔一秒钟,所以通过yield 的例子知道,不是像第一个例子中把for 循环的内容储存在内存中,而是一个一个消耗。

读取文件的例子

创建一个txt 文件写入:

第1行
第2行
第3行
第4行
第5行
第6行
第7行
第8行
<?php
function readTxt()
{# code...$handle = fopen("./test.txt", 'rb');while (feof($handle)===false) {# code...yield fgets($handle);}fclose($handle);
}foreach (readTxt() as $key => $value) {# code...sleep(1);echo $value;
}

用php 读取文件,则是一行一行的读取
在这里插入图片描述
到这边,大概知道了yield 的作用了,之后咱再深入

参考文章

大文件导入导出优化

本篇文章为转载内容。原文链接:https://blog.csdn.net/qq_22823581/article/details/91491082。

该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。

作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。

如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。

相关阅读
文章标题:[转载][洛谷P1082]同余方程

更新时间:2023-02-18
[转载][洛谷P1082]同余方程
文章标题:[转载]webpack优化之HappyPack实战

更新时间:2023-08-07
[转载]webpack优化之HappyPack实战
文章标题:[转载]oracle 同时更新多表,在Oracle数据库中同时更新两张表的简单方法

更新时间:2023-09-10
[转载]oracle 同时更新多表,在Oracle数据库中同时更新两张表的简单方法
文章标题:[转载][Unity] 包括场景互动与射击要素的俯视角闯关游戏Demo

更新时间:2024-03-11
[转载][Unity] 包括场景互动与射击要素的俯视角闯关游戏Demo
文章标题:[转载]程序员也分三六九等?等级差异,一个看不起一个!

更新时间:2024-05-10
[转载]程序员也分三六九等?等级差异,一个看不起一个!
文章标题:[转载]海贼王 动漫 全集目录 分章节 精彩打斗剧集

更新时间:2024-01-12
[转载]海贼王 动漫 全集目录 分章节 精彩打斗剧集
名词解释
作为当前文章的名词解释,仅对当前文章有效。
协程(Coroutine)在编程中,协程是一种特殊的程序组件,允许在执行过程中暂停和恢复其状态,从而实现并发或异步编程模型。在PHP中,通过`yield`关键字支持的生成器功能可以实现协程机制。当处理大文件时,协程能避免一次性加载所有数据到内存,而是按需逐行读取并返回给调用者,有效解决了内存瓶颈问题。
生成器(Generator)在PHP中,生成器是一种特殊类型的函数,它能够暂停执行并保留内部状态,以便在下一次迭代时从同一位置继续执行。使用`yield`关键字定义的生成器在遍历过程中不会一次性生成所有结果,而是在每次迭代时产生一个值,这样就能实现在处理大数据集(如大文件)时节省内存,因为不需要将整个数据集载入内存。
Fatal Error在PHP编程环境中,Fatal Error是错误级别最高的错误类型,表示运行时发生了无法恢复的严重错误,导致脚本终止执行。例如,在文章中提到的“Allowed memory size of xxxxxx bytes”就是一种常见的Fatal Error,由于程序尝试使用的内存量超过了PHP配置中的memory_limit限制,因此抛出此错误。通过引入生成器等技术,可以减少此类错误的发生,确保程序在处理大文件时更为稳定、高效。
延伸阅读
作为当前文章的延伸阅读,仅对当前文章有效。
在深入探讨PHP中生成器(yield)解决大文件读取内存瓶颈问题后,我们可以进一步关注近年来PHP社区在性能优化和协程技术方面的最新进展。例如,PHP 8.1版本引入了对async/await语法的支持,这一特性使得异步编程更为简洁易懂,同时也为处理大文件、网络I/O等场景提供了更高效的解决方案。
在实际应用中,如Facebook的HHVM项目以及Swoole扩展都已将协程技术应用于PHP环境,通过充分利用CPU资源和减少内存开销,显著提升了系统处理高并发请求及大文件的能力。近期一篇名为《PHP 8.1新特性解析:探索async/await带来的性能提升》的技术文章,深度剖析了新特性的原理及其在大文件流式处理中的实践效果。
此外,针对大数据量导入导出场景,有开发者结合生成器与批处理策略,设计出了一种动态加载数据并行处理的方法,相关研究成果已在《使用PHP生成器实现高效大文件并行读写方案》一文中进行了详细介绍。这些实例不仅证实了生成器在解决内存限制问题上的有效性,也展示了PHP生态与时俱进的一面,不断提供更优的工具和方法来应对日益增长的数据处理需求。
同时,随着云原生和微服务架构的发展,如何在分布式环境下利用PHP进行高性能的大文件读取和处理也成为新的研究热点。一些开源框架和库,如Laravel队列结合RabbitMQ或Redis等中间件,可以实现大文件的分片读取与分布式处理,有效避免单点内存溢出的问题,从而更好地满足现代应用程序对于海量数据高效流转的需求。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
unzip archive.zip - 解压ZIP格式的压缩文件。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
js实用表单模糊搜索和自动提示插件 10-05 简单的jQuery响应式手风琴特效 01-27 发布站点前如何为站点质量做进一步优化,几个不能不知道的小工具 01-26 HessianRPC中IllegalArgumentException异常解析:方法签名与参数类型匹配在分布式系统中的实践误区与解决方案 01-16 AI助手的工作原理与限制:无法按特定要求撰写的原因及信息处理分析 12-27 Gallerybox-全屏响应式jQuery图片画廊插件 12-17 关于金融理财公司网站模板下载 11-01 SparkContext停止与未初始化错误排查:从初始化到集群通信与生命周期管理实践 09-22 jQuery和CSS3超酷3D拉窗帘式滚动导航特效 09-02 本次刷新还10个文章未展示,点击 更多查看。
简约蓝色农村电线线路安装网站模板 08-01 Tomcat性能瓶颈问题识别与解决:利用VisualVM和JProfiler分析工具进行代码优化与系统参数调整 07-31 图文经典商务外贸求职招聘企业网站模板 07-14 SeaTunnel中创建与应用自定义Transform插件:实现数据转换与业务逻辑处理,配置文件参数设置及插件打包发布 07-07 响应式精密光学仪器设备类企业前端CMS模板下载 06-12 vue口诀 04-23 宽屏蓝色海洋主题设计网站模板 04-21 美食自媒体博客类网页模板源码 04-14 公式计算 html 代码 04-01 [转载]C/C++劫持技术(函数劫持、dll注入、动态库注入、HOOK) 01-23 jQuery高仿真移动手机滑动侧边栏布局插件 01-21
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"