...体流封装成ICE候选信息，并发送给服务器或者其他浏览器。 3. 信令交换通过WebSocket等网络传输机制，浏览器之间进行信令交换，协商并创建出一个可用于数据传输的安全连接。四、如何利用WebRTC实现点对点通信下面，我们通过一个简单的例子来说明如何利用WebRTC实现点对点通信。首先，在HTML文件中添加以下代码： html 然后，在JavaScript文件中添加以下代码： javascript // 获取本地视频 const localStream = await navigator.mediaDevices.getUserMedia({ audio: true, video: true }); // 创建RTC对讲机 const pc = new RTCPeerConnection(); // 添加媒体流 pc.addTransceiver('audio'); pc.addTransceiver('video'); // 获取远程视频容器 const remoteVideo = document.getElementById('remoteVideo'); // 将本地视频流添加到远程视频容器 pc.getSenders().forEach((sender) => { sender.track.id = 'localVideo'; remoteVideo.srcObject = sender.track; }); // 接收媒体流 pc.ontrack = (event) => { event.streams.forEach((stream) => { stream.getTracks().forEach((track) => { track.id = 'remoteVideo'; const videoElement = document.createElement('video'); videoElement.srcObject = track; document.body.appendChild(videoElement); }); }); }; // 连接到其他客户端 function connect(otherUserURL) { // 创建新的RTCPeerConnection对象 const otherPC = new RTCPeerConnection(); // 设置回调函数，处理ICE候选信息和数据通道 otherPC.onicecandidate = (event) => { if (!event.candidate) return; pc.addIceCandidate(event.candidate); }; otherPC.ondatachannel = (event) => { event.channel.binaryType = 'arraybuffer'; channel.send('hello'); }; // 发送offer const offerOptions = { offerToReceiveAudio: true, offerToReceiveVideo: true }; pc.createOffer(offerOptions).then((offer) => { offer.sdp = SDPUtils.replaceBUNDLE_ID(offer.sdp, otherUserURL); offer.sdp = SDPUtils.replaceICE_UFRAG_AND_FINGERPRINT(offer.sdp, otherUserURL); offer.sdp = SDPUtils.replaceICEServers(offer.sdp, iceServers); return otherPC.setRemoteDescription(new RTCSessionDescription(offer)); }).then(() => { return otherPC.createAnswer(); }).then((answer) => { answer.sdp = SDPUtils.replaceBUNDLE_ID(answer.sdp, otherUserURL); answer.sdp = SDPUtils.replaceICE_UFRAG_AND_FINGERPRINT(answer.sdp, otherUserURL); answer.sdp = SDPUtils.replaceICEServers(answer.sdp, iceServers); return pc.setRemoteDescription(new RTCSessionDescription(answer)); }).catch((err) => { console.error(err.stack || err); }); } 在这个例子中，我们首先通过getUserMedia API获取用户的实时音频和视频流，然后创建一个新的RTCPeerConnection对象，并将媒体流添加到这个对象中。接着，我们设置了回调函数，处理ICE候选信息和数据通道。当你收到ICE候选信息的时候，我们就把它塞到本地的那个RTCPeerConnection对象里头；而一旦收到数据通道的消息，我们就会把它的binaryType调成'arraybuffer'模式，然后就可以在通道里畅所欲言，发送各种消息啦。最后，我们调用connect函数，与其他客户端建立连接。在connect函数里头，我们捣鼓出了一个崭新的RTCPeerConnection对象，就像组装一台小机器一样。然后呢，我们还给这个小家伙绑定了几个“小帮手”——回调函数，用来专门处理ICE候选信息和数据通道这些重要的任务，让它们能够实时报告状况，确保连接过程顺畅无阻。然后呢，我们给对方发个offer，就像递出一份邀请函那样。等对方接收到后，他们会回传一个answer，这就好比他们给出了接受邀请的答复。我们就把这个answer，当作是我们本地RTCPeerConnection对象的远程“地图”，这样一来，连接就算顺利完成啦！五、结论 WebRTC技术为我们提供了一种方便、快捷、安全的点对点通信方式，大大提高了应用的交互性和实时性。当然啦，这只是个入门级的小例子，实际上的运用场景可能会复杂不少。不过别担心，只要咱们把WebRTC的核心原理和使用技巧都整明白了，就能根据自身需求灵活施展拳脚，开发出更多既有趣又有用的应用程序，保证让你玩得飞起！未来，随着5G、物联网等技术的发展，WebRTC将会发挥更大的作用，成为更多应用场景的首选方案。让我们一起期待这个充满可能的新时代吧！

2023-12-18 14:38:05

315

昨夜星辰昨夜风_t

转载文章

[转载]jstree插件对树操作增删改查的使用

...表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 1、插件说明 jstree官方地址：https://www.jstree.com bootstrap官方地址：https://v3.bootcss.com font-awesome官方地址：http://www.fontawesome.com.cn/faicons/ github项目地址：https://github.com/chengchuanqiang/jstreeDemo 2、jstreedemo主要文件 2.1、html页面代码 <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>jstree demo</title><link rel="stylesheet" href="jstree/dist/themes/default/style.min.css" /><link rel="stylesheet" type="text/css" href="bootstrap-3.3.7-dist/css/bootstrap.min.css" /> <link rel="stylesheet" type="text/css" href="font-awesome-4.7.0/css/font-awesome.min.css" /> </head><body><div class="container"> <div class="row" style="height: 100px;"></div><div class="row"><div > <button class="btn btn-info" onclick="node_create()"> 新增 </button><button class="btn btn-info" onclick="node_rename()"> 编辑</button><button class="btn btn-info" onclick="node_delete()"> 删除</button></div></div><div class="row" style="height: 5px;"></div><div class="row"> <div class="col-md-3">  <div class="input-group row"> <span class="input-group-addon" id="basic-addon1"><i class="glyphicon glyphicon-screenshot"></i></span> <input type="text" class="form-control" placeholder="请输入功能名称..." id="search_ay" aria-describedby="basic-addon1"> </div>  <div id="jstree_demo_div" class="row"> </div> </div> <div lass="col-md-9"> <button class="btn btn-tab" var='json/data.json'>data.json</button>  <button class="btn btn-tab" var='json/data2.json'>data2.json</button>  <button class="btn refresh "><i class="glyphicon glyphicon-refresh"></i></button>  </div> </div> </div> <script src="jquery/jquery.min.js"></script><script src="jstree/dist/jstree.min.js"></script><script src="jstreeDemo.js?20180125"></script></body></html> 2.2、jstreeDemo.js代码 function jstree_fun(url){var $tree = $("jstree_demo_div").jstree({"core":{//'multiple': false, // 是否可以选择多个节点//"check_callback": true, // 允许拖动菜单唯一右键菜单"check_callback" : true,//设置为true,当用户修改数时,允许所有的交互和更好的控制(例如增删改)"themes" : { "stripes" : true },//主题配置对象,表示树背景是否有条带"data" : {//'url' : url,//'data' : function(node){//return { 'id' : node.id };//}"url" : url,"dataType" : "json"},"check_callback" : function(operation, node, node_parent, node_position, more){if(operation === "move_node"){var node = this.get_node(node_parent);if(node.id === ""){alert("根结点不可以删除");return false;}if(node.state.disabled){alert("禁用的不可以删除");return false;} }else if(operation === "delete_node"){var node = this.get_node(node_parent);if(node.id === ""){alert("根结点不可以删除");return false;} }return true;} },"plugins": [ //插件 "search", //允许插件搜索 // "sort", //排序插件 "state", //状态插件 "types", //类型插件 "unique", //唯一插件 "wholerow", //整行插件"contextmenu"],types:{ "default": { //设置默认的icon 图 "icon": "glyphicon glyphicon-folder-close", } } });$tree.on("open_node.jstree", function(e,data){ //监听打开事件var currentNode = data.node; data.instance.set_icon(currentNode, "glyphicon glyphicon-folder-open"); });$tree.on("close_node.jstree", function(e,data){ //监听关闭事件 var currentNode = data.node; data.instance.set_icon(currentNode, "glyphicon glyphicon-folder-close"); });$tree.on("activate_node.jstree", function(e, data){var currentNode = data.node; //获取当前节点的json .node //alert(currentNode.a_attr.id) //alert(currentNode.a_attr.href) //获取超链接的 .a_attr.href "链接" .a_attr.id ID //alert(currentNode.li_attr.href) //获取属性的 .li_attr.href "链接" .li_attr.id ID });// 创建$tree.on("create_node.jstree", function(e, data){alert("创建node节点");});// 修改$tree.on("rename_node.jstree", function(e, data){alert("修改node节点");});// 删除$tree.on("delete_node.jstree", function(e, data){alert("删除node节点");});// 查询节点名称var to = false;$("search_ay").keyup(function(){if(to){clearTimeout(to);}to = setTimeout(function(){$tree.jstree(true).search($('search_ay').val()); //开启插件查询后使用这个方法可模糊查询节点 },250);});$('.btn-tab').click(function(){ //选项事件 //alert($(this).attr("var")) $tree.jstree(true).destroy(); //可做联级 $tree = jstree_fun($(this).attr("var"));//可做联级 //alert($(this).attr("var")) }); $('.refresh').click(function(){ //刷新事件 $tree.jstree(true).refresh () }); return $tree; }function node_create(){var ref = $("jstree_demo_div").jstree(true);var sel = ref.get_selected();if(!sel.length){alert("请先选择一个节点");return;}sel = sel[0];sel = ref.create_node(sel);if(sel){ref.edit(sel); } }function node_rename(){var ref = $("jstree_demo_div").jstree(true);var sel = ref.get_selected();if(!sel.length){alert("请先选择一个节点");return;}sel = sel[0];ref.edit(sel);}function node_delete(){var ref = $("jstree_demo_div").jstree(true);var sel = ref.get_selected();if(!sel.length){alert("请先选择一个节点");return;}sel = sel[0];if(ref.get_node(sel).parent==''){alert("根节点不允许删除");return;}ref.delete_node(sel);}// 初始化操作function init(){var $tree = jstree_fun("json/data.json");}init(); 3、图片效果展示本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_27717967/article/details/79167605。该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

2023-09-08 13:23:58

转载

Redis

Redis setnx在Spring Boot 2+Docker线上环境中的竞态条件问题与针对多个Java进程的分布式锁解决方案

一、引言在分布式系统中，经常需要通过锁来协调多个进程之间的操作，以保证数据的一致性和正确性。Redis，这个强大的内存数据库小能手，在开发者圈子里可是备受宠爱。它有个绝招叫setnx命令，这已经变成了众多程序员老铁们在实现分布式锁时的常用“神器”之一了。然而，在我们用Spring Boot 2搭配Docker搭建的线上环境里，遇到了一个让人摸不着头脑的情况：当两个Java程序同时使出“setnx”命令抢夺Redis锁的时候，竟然会出现两个人都能抢到锁的怪事！这可真是让我们一众人大跌眼镜，直呼神奇。本文将尝试分析这一现象的原因，并给出解决方案。二、问题复现首先，我们需要准备两台Linux服务器作为开发环境，分别命名为A和B。然后，在服务器A上启动一个Spring Boot应用，并在其中加入如下代码： typescript @Autowired private StringRedisTemplate stringRedisTemplate; public void lock(String key) { String result = stringRedisTemplate.execute((ConnectionFactory connectionFactory, RedisCallback action) -> { Jedis jedis = new Jedis(connectionFactory.getConnection()); try { return jedis.setnx(key, "1"); } catch (Exception e) { log.error("lock failed", e); } finally { if (jedis != null) { jedis.close(); } } return null; }); if (result == null || !result.equals("1")) { throw new RuntimeException("Failed to acquire lock"); } } 接着，在服务器B上也启动同样的应用，并在其中执行上述lock方法。这时候我们注意到一个情况，这“lock”方法时灵时不灵的，有时候它会突然尥蹶子，抛出异常告诉我们锁没拿到；但有时候又乖巧得很，顺利就把锁给拿下了。这是怎么回事呢？三、问题分析经过一番研究，我们发现了问题所在。原来，当两个Java进程同时执行setnx命令时，Redis并没有按照我们的预期进行操作。咱们都知道，这个setnx命令啊，它就像个贴心的小管家。如果发现某个key还没在数据库里安家落户，嘿，它立马就动手，给创建一个新的键值对出来。这个键嘛，就是你传给它的第一个小宝贝；而这个值呢，就是紧跟在后面的那个小家伙。不过，要是这key已经存在了，那它可就不干活啦，悠哉悠哉地返回个0给你，表示这次没执行任何操作。不过在实际情况里头，如果两个进程同时发出了“setnx”命令，Redis可能不会马上做出判断，而是会选择先把这两个请求放在一起，排个队，等会儿再逐一处理。想象一下，如果有两个请求一起蹦跶过来，如果其中一个请求抢先被处理了，那么另一个请求很可能就被晾在一边，这样一来，就可能引发一些预料之外的问题啦。四、解决方案针对上述问题，我们可以采取以下几种解决方案： 1. 使用Redis Cluster Redis Cluster是一种专门用于处理高并发情况的分布式数据库，它可以通过将数据分散在多个节点上来提高读写效率，同时也能够避免单点故障。通过将Redis部署在Redis Cluster上，我们可以有效防止多线程竞争同一资源的情况发生。 2. 提升Java进程的优先级我们可以在Java进程中设置更高的优先级，以便让Java进程优先获得CPU资源。这样，即使有两个Java程序小哥同时按下“setnx”这个按钮，也可能会因为CPU这个大忙人只能服务一个请求，导致其中一个程序小哥暂时抢不到锁，只能干等着。 3. 使用Redis的其他命令除了setnx命令外，Redis还提供了其他的命令来实现分布式锁的功能，例如blpop、brpoplpush等。这些命令有个亮点，就是能把锁的状态存到Redis这个数据库里头，这样一来，就巧妙地化解了多个线程同时抢夺同一块资源的矛盾啦。五、总结总的来说，Redis的setnx命令是一个非常有用的工具，可以帮助我们解决分布式系统中的许多问题。不过呢，在实际使用的时候，咱们也得留心一些小细节，这样才能避免那些突如其来的状况，让一切顺顺利利的。比如在同时处理多个任务的情况下，我们得留意把控好向Redis发送请求的个数，别一股脑儿地把太多的请求挤到Redis那里去，让它应接不暇。另外，咱们也得学会对症下药，挑选适合的解决方案来解决具体的问题。比如，为了提升读写速度，我们可以考虑使个巧劲儿，用上Redis Cluster；再比如，为了避免多个线程争抢同一块资源引发的“战争”，我们可以派出其他命令来巧妙化解这类矛盾。最后，我们也应该不断地学习和探索，以便更好地利用Redis这个强大的工具。

2023-05-29 08:16:28

269

草原牧歌_t

转载文章

[转载]人人网发布啵啵: 带语音滤镜的语音社交产品

...表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 1月19日，人人网发布一款语音产品，名字与啪啪非常类似，叫啵啵，并号称是中国首款带语音滤镜的语音社交产品。目前其首页已经放出安卓版本，iOS版暂时还未上线。雷锋网进行了试用，跟大家介绍。从官方的介绍来看，啵啵这个应用主要有三个特色，最大的特点是声音滤镜。另外，还可以在应用内使用声音、图片和文字等元素进行信息表达。最后当然就是社交分享功能。打开应用，首先是类似Path或者啪啪那样一片红色的开始界面。界面中从下部飘起三个气泡，分别是人人登录、新浪微博登录以及直接进入使用。啵啵可以无需注册直接进入应用进行发布消息。进入主界面后，主界面以时间线的形式把用户所关注的人发的声音图片信息。每条信息中，表示声音的大图标覆盖在图片显眼位置，意味着啵啵想让用户知道声音才是这个应用的主要元素，图片是作为背景图的辅助元素出现的。另外，在背景图右边有表示喜欢和评论的按钮。主界面下方中心有十分突出显眼的声音按钮，点击后首先进入录音界面。录音完成后，应用立刻列出表示声音滤镜的各种可爱图标。选择了某种滤镜效果后，声音生成完毕。进入发布界面，此时可以选择是否添加图片。可选择把信息分享到人人网或者新浪微博。添加图片完成后，同时下方还可以添加文字描述，果然是声音、图片和文字三位一体全方位出击之应用。虽然这里主打声音，但声音、图片和文字分离的形式才更为符合人们对信息介质的认知习惯，小编一直认为啪啪中的所谓声音图片的概念只是一个伪概念。对于新用户来说，可以选择添加人人网好友或者新浪微博好友，当然，应用本身会推荐优质应用建议新用户进行关注。另外，用户的关注、喜欢等信息会出现在用户的消息中心中。这是一个同样基于信息分享的移动社交产品，其本质其实与Instagram等图片分享社区、啪啪等语音分享社区一样。啪啪本来是最先进行声音信息分享的社区，但啪啪把声音与图片混合在一起生硬造出了一个声音图片的概念，反而留下了主打声音信息分享的切入点，现在人人就抓住了这个切入点推出啵啵这个产品。事实上，从目前已经存在啵啵社区中的用户发的消息来看，其性质与啪啪并无很大区别。啵啵主打的声音滤镜功能，有一个非常非常严重的缺陷。图片分享社区的滤镜功能对图片的改造是美化，图片滤镜可以把一张普通的图片改的看上去非常的优美和文艺，因而大大增强了用户的分享欲望，让人人都有当一回摄影师的感觉。但声音滤镜做不到这样的效果，至少从啵啵中看来达不到美化的效果，目前从社区中声音信息可知，声音经过滤镜处理之后变得非常怪异。本身声音美的用户尤其女孩子必然受不了这样的声音变化，声音不好听的用户，经过处理后，结果是更加的不堪回首。所以，从实际情况来看，大多数人都会直接发布不加滤镜的原音。另外，应用中有个设置奇特的地方在于，如果发布信息时只发布声音不附加图片，这条信息的背景会有一大片的空白，效果比较差。别说应用制作者，用户们都会觉得很有违和感，因而绝大多数用户都会添加图片。这时候，啵啵变得非常类似啪啪，虽然本身，其与啪啪就相差不大。是的，这是啪啪披着声音滤镜的外衣，事实上笔者怀疑啪啪不做声音滤镜就是有声音滤镜反而丑化声音的考虑。据了解，这是本周重组后的人人公司新的无线事业部推出的两款移动应用之一。但如果说这就是一个上市大公司在移动端发力所能做到的全部，这无疑是稍让人失望的。而且，人人网能不能不要这么马虎对待自己的产品？所谓的@啵啵官博就只在1月18日发布了一条消息，之后这个微博账号再无动静。如果按照许朝军解释啪啪名字的来源：啪=口+拍，声音加图片。那啵啵又作何解？好吧，其实人人网解释是这样的：“语音产品，所以取拟声名字，明确定位”。参考：http://www.hooxiao.com/index.php?m=content&c=index&a=show&catid=19&id=14864（2013-01-21 10:04:03）本篇文章为转载内容。原文链接：https://blog.csdn.net/prairie79/article/details/8546911。该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

2023-08-17 12:49:28

487

转载

Java

用Java实现数字拆分：基于递归与试除法的素数组合代码实现

...ometry”的AI系统，它能够理解和解决复杂的几何证明问题。这项技术不仅展示了AI在数学领域的潜力，也引发了人们对AI如何改变传统学科的深刻思考。AlphaGeometry能够在几秒钟内完成一些需要人类数学家花费数年时间才能解决的问题，这无疑为科学研究开辟了新的道路。与此同时，在金融行业，区块链技术正逐渐成为主流。随着各国央行加速推进数字货币的研发，区块链作为其核心技术之一，正在重塑全球支付体系。例如，中国已经推出了数字人民币试点项目，并在多个城市进行了大规模测试。这种新型货币不仅提高了交易效率，还增强了金融系统的安全性。然而，随之而来的还有对隐私保护和监管合规的挑战，如何平衡创新与风险控制成为了亟待解决的问题。此外，气候变化依然是当今世界面临的最大挑战之一。联合国政府间气候变化专门委员会（IPCC）最新发布的报告显示，全球变暖的速度比预期更快，极端天气事件频发。面对这一严峻形势，各国纷纷采取行动。欧盟提出了雄心勃勃的绿色新政计划，旨在到2050年实现碳中和目标。美国则重新加入了《巴黎协定》，并承诺在未来十年内大幅削减温室气体排放。科学家们呼吁全球合作，共同应对气候危机，否则后果将不堪设想。这些热点话题不仅反映了科技进步带来的机遇，同时也揭示了人类社会必须面对的复杂问题。无论是数学、金融还是环境科学，每一个领域的进步都离不开跨学科的合作与创新思维。正如文章所提到的，学习编程就像掌握一门新语言，而掌握这些前沿知识则是适应未来社会的基础。让我们保持好奇心，不断探索未知的世界吧！

2025-03-17 15:54:40

林中小径

Kafka

Kafka副本同步与数据复制策略详解：领导者副本与追随者副本的拉取机制保障高可用性

...更是因为它直接关系到系统能不能稳稳当当跑得快。所以呢，我打算通过这篇文章跟大家分享一下我的心得和经验，希望能帮到大家，让大家更容易搞懂这部分内容。 1. 什么是副本同步？在深入讨论之前，我们先要明白副本同步是什么意思。简单说，副本同步就像是Kafka为了确保消息不会丢，像快递一样在集群里的各个节点间多送几份，这样即使一个地方出了问题，别的地方还能顶上。这样做可以确保即使某个节点发生故障，其他节点仍然可以提供服务。这是Kafka架构设计中非常重要的一部分。 1.1 副本的概念在Kafka中，一个主题（Topic）可以被划分为多个分区（Partition），而每个分区可以拥有多个副本。副本分为领导者副本（Leader Replica）和追随者副本（Follower Replica）。想象一下，领导者副本就像是个大忙人，既要处理所有的读写请求，还得不停地给其他小伙伴分配任务。而那些追随者副本呢，就像是一群勤勤恳恳的小弟，只能等着老大分活儿给他们，然后照着做，保持和老大的一致。 2. 数据复制策略接下来，让我们来看看Kafka是如何实现这些副本之间的数据同步的。Kafka的数据复制策略主要依赖于一种叫做“拉取”（Pull-based）的机制。这就意味着那些小弟们得主动去找老大，打听最新的消息。 2.1 拉取机制的优势采用拉取机制有几个好处： - 灵活性：追随者可以根据自身情况灵活调整同步频率。 - 容错性：如果追随者副本暂时不可用，不会影响到领导者副本和其他追随者副本的工作。 - 负载均衡：领导者副本不需要承担过多的压力，因为所有的读取操作都是由追随者完成的。 2.2 实现示例让我们来看一下如何在Kafka中配置和实现这种数据复制策略。首先，我们需要定义一个主题，并指定其副本的数量： python from kafka.admin import KafkaAdminClient, NewTopic admin_client = KafkaAdminClient(bootstrap_servers='localhost:9092') topic_list = [NewTopic(name="example_topic", num_partitions=3, replication_factor=3)] admin_client.create_topics(new_topics=topic_list) 这段代码创建了一个名为example_topic的主题，它有三个分区，并且每个分区都有三个副本。 3. 副本同步的实际应用现在我们已经了解了副本同步的基本原理，那么它在实际应用中是如何工作的呢？ 3.1 故障恢复当一个领导者副本出现故障时，Kafka会自动选举出一个新的领导者。这时候，新上任的大佬会继续搞定读写请求，而之前的小弟们就得重新变回小弟，开始跟新大佬取经，同步最新的消息。 3.2 负载均衡在集群中，不同的分区可能会有不同的领导者副本。这就相当于把消息的收发任务分给了不同的小伙伴，这样大家就不会挤在一个地方排队了，活儿就干得更顺溜了。 3.3 实际案例分析假设有一个电商网站使用Kafka来处理订单数据。要是其中一个分区的大佬挂了，系统就会自动转而听命于另一个健健康康的大佬。虽然在这个过程中可能会出现一会儿数据卡顿的情况，但总的来说，这并不会拖慢整个系统的进度。 4. 总结与展望通过上面的讨论，我们可以看到副本同步和数据复制策略对于提高Kafka系统的稳定性和可靠性有多么重要。当然，这只是Kafka众多功能中的一个小部分，但它确实是一个非常关键的部分。以后啊，随着技术不断进步，咱们可能会见到更多新颖的数据复制方法，这样就能让Kafka跑得更快更稳了。最后，我想说的是，学习技术就像是探险一样，充满了挑战但也同样充满乐趣。希望大家能够享受这个过程，不断探索和进步！ --- 以上就是我对Kafka副本同步数据复制策略的一些理解和分享。希望对你有所帮助！如果有任何问题或想法，欢迎随时交流讨论。

2024-10-19 16:26:57

诗和远方

转载文章

[转载]第八次网页前端培训笔记

...表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 B站视频网址：（本次仅涉及P40-P43和P60）【优极限】 HTML+CSS+JavaScript+jQuery前端必学教程，小白教学，前端基础全套完成版_哔哩哔哩_bilibili 菜鸟教程网址：HTML 教程 | 菜鸟教程 (runoob.com) 一、获取表单  <form id="myform1" name= "myform1" action=""></form><form id="myform2" name= "myform2" action=""></form><script type="text/javascript">// 1. document.getElementById("id属性值");console.log(document.getElementById("myform1"));// 2. document.表单的name属性值; console.log(document.myform2);console.log("----------------");//获取所有的表单对象console.log(document.forms); // 3. document.forms[下标];console.log(document.forms[0]);// 4. document.forms[表单的name属性值]; console.log(document.forms["myform2"]);</script> 运行效果截图：二、获取表单元素获取表单元素1.获取input元素1. document.getElementById("id属性值"): 通过元素的id属性值获取表单元素对象2.表单对象.表单元素的name属性值;通过表单对象中对应的元素的name属性值获取3. document.getELementsByName("name属性值");通过表单元素的name属性值获取4. document.getELementsByTagName("标签名/元素名");通过标签名获取表单元素对象2.获取单选按钮注:相同的一组单选按钮，需要设置相同的name属性值1. document.getElementByName("name属性值");通过name属性值获取2.判断单选按钮是否选中checked选中状态在JS代码中checked=true表示选中checked=false表示不选中在HTML标签中checked=checked或checked表示选中不设置checked属性表示不选中3.获取单选按钮的值元表.value;3.获取多选按钮与单选按钮相同4.获取下拉选项1.获取下拉框对象var对象 = document.getElementById("id属性值");2.获取下拉框的下拉选项列表var options = 下拉框对象.options;3.获取下拉框被选中项的索引var index = 下拉框对象.selectedIndex;4.获取下拉框被选中项的值var 值 = 下拉框对象.value;5.通过选中项的下标获取下拉框被选中项的值var 值 = 下拉框对象.options[index].value;6.获取下拉框被选中项的文本var文本值一下拉框对象.options[index].text;注:1.获取下拉框选中项的值时: (value)如果option标签设置了value属性值，则获取value属性对应的值;如果option标签未设置value属性值，则获取的是option双标签中的文本值2.下拉框的选中状态:选中状态: selected = selected、 selected、 selected = true未选中状态:不设置selected属性、 selected=false; <form id='myform' name="myform" action="" method="get">姓名:<input type="text" id="uname" name="uname" value="zs"/><br />密码:<input type= "password" id="upwd" name="upwd" value= "1234"/><br /><input type="hidden" id= "uno" name="uno" value="隐藏域"/>个人说明:<textarea name="intro" ></textarea><br><button type="button" onclick="getTxt();" >获取元素内容</button><hr><br><input type="text" name="inputName" class="test" value="aaa" /><input type="radio" name="rad" class="test" value="1" /> 男<input type="radio" name="rad" class="test" value="2" /> 女<button type="button" onclick="getRadio()">获取单选按钮</button><br><hr><br>全选/全不选: <input type="checkbox" id="control" onclick="checkAllOrNot()" /><button type="button" onclick= "checkFan()">反选</button><br><input type="checkbox" name= "hobby" value="sing" />唱歌<input type="checkbox" name= "hobby" value="dance" />跳舞<input type="checkbox" name= "hobby" value="rap" />说唱<button type="button" onclick="getCheckBox()">获取多选按钮</button><br><hr><br>来自:<select id="ufrom" name= "ufrom" ><option value = "" >请选择</option><option value = "Beijing" selected="selected" >北京</option><option value = "Shanghai">上海</option><option value = "Hangzhou">杭州</option></select><button type="button" onclick= "getSelect()" >获取下拉选项</button></form><script type=" text/javascript">function getTxt() {// 1. document.getElementById("id属性值");var uname = document.getElementById("uname").value;console.log(uname);// 2.表单对象.表单元表的name属性值;var pwd = document.getElementById("myform").upwd.value;console.log(pwd);// 3. document.getELementsByName("name属性值");var uno = document.getElementsByName("uno")[0].value;console.log(uno);// 4. document.getELementsByTagName("标签名/元素名");var intro = document.getElementsByTagName("textarea")[0].value;console.log(intro);}function getSelect() {//获取下拉框对象var ufrom = document.getElementById("ufrom");console.log(ufrom);//获取下拉框的下拉选项列表var opts = ufrom.options;console.log(opts);//获取下拉框被选中项的索引var index = ufrom.selectedIndex;console.log("选中项的下标:" + index);//获取下拉框被选中项的值var val = ufrom.value;console.log("被选中项的值：" + val);//通过选中项的下标获取下拉框被选中项的值var val2 = ufrom.options[index].value;console.log("被选中项的值:"+ val2);//获取下拉框被选中项的文本var txt=ufrom.options[index].text; console.log("被选中项的文本:"+ txt);}</script> 运行效果截图：三、提交表单提交表单一、使用普通按钮type="button"1.给按钮绑定click点击事件，绑定函数2.在函数中，进行表单校验(非空校验、合法性校验等)3.如果校验通过，则手动提交表单表单对象.submit();二、使用提交按钮type="submit"1.给按钮绑定click点击事件，绑定函数2.函数需要有返回值，返回true或false (如果return false, 则表单不会提交:如果return true，则提交表单）onclick="return 函数名()"3.在函数中，进行表单校验(非空校验、合法性校验等)4.如果校验通过，返回true;如果校验不通过，则返回false, 则表单不会提交:如果return true，则提交表单）三、使用提交按钮type="submit"1.给表单form元素绑定submit提交事件，绑定函数2.函数需要有返回值，返回true或false (如果return false, 则表单不会提交;如果return trueonsubmit="return函数名()" 3.在函数中，进行表单校验(非空校验、合法性校验等)4.如果校验通过，返回true;如果校验不通过，则返回false <form id= 'myform' name= "myform" action="http://www.baidu.com" method="get" >姓名: <input name= "uname" id="uname"/> <span id = "msg" style="font-s1ze: 12px; color: red;"></span><br /><button type="button" onclick="submitForm1()">提交</button></form><form id= 'myform2' name= "myform2" action="http://www.baidu.com" method="get" >姓名: <input name= "uname2" id="uname2"/> <span id = "msg2" style="font-s1ze: 12px; color: red;"></span><br /><button type="submit" onclick="return submitForm2()">提交</button></form><form id= 'myform3' name= "myform3" action="http://www.baidu.com" method="get" onsubmit="return submitForm3()">姓名: <input name= "uname3" id="uname3"/> <span id = "msg3" style="font-s1ze: 12px; color: red;"></span><br /><button type="submit">提交</button></form><script type="text/javascript">// 表单校验// 提交表单function submitForm1() {//得到文本框的值var uname = document.getElementById("uname").value;//判断是否为空if (isEmpty(uname)) { //为空//设置提示信息(设置span元素的值)document.getElementById("msg").innerHTML="性名不能为空!" ;//阻止表单提交return;}//手动提交表单document.getElementById("myform").submit(); }function submitForm2() {//得到文本框的值var uname2 = document.getElementById("uname2").value;//判断是否为空if (isEmpty(uname2)) { //为空//设置提示信息(设置span元素的值)document.getElementById("msg2").innerHTML="性名不能为空!" ;//阻止表单提交return false;}return true;}function submitForm3() {//得到文本框的值var uname3 = document.getElementById("uname3").value;//判断是否为空if (isEmpty(uname3)) { //为空//设置提示信息(设置span元素的值)document.getElementById("msg3").innerHTML="性名不能为空!" ;//阻止表单提交return false;}return true;}/ 判断字符串是否为空如果为空，返回true如果非空，返回falsetrim() :字符串方法，去除字符串前后空格@param {Object} str/function isEmpty(str) {//判断是否为空if (str == null || str.trim() == "") {return true;}return false;}</script> 运行效果截图：四、原生Ajax实现流程  <script type="text/javascript">// 同步请求function text01() {// 1.得到XMLHttpRequest对象var xhr = new XMLHttpRequest();// 2.打开请求xhr.open("get", "js/date.json", false);// 3.发送请求xhr.send(null);// 4.判断响应状态if (xhr.status == 200) {console.log("响应成功");} else {console.log("状态码：" + xhr.status + "，原因：" + xhr.responseText)}console.log("同步请求...");}text01();// 异步请求function text02() {// 1.得到XMLHttpRequest对象var xhr = new XMLHttpRequest();// 2.打开请求xhr.open("get", "js/date.json", true);// 3.发送请求xhr.send(null);// 由于是异步请求，所以需要知道后台已经将请求处理完毕，才能获取响应结果// 遇过监听readyState的变化来得知后面的处理状态 4=完全处理xhr.onreadystatechange = function(){if(xhr.readyState == 4){// 4.判断响应状态if (xhr.status == 200) {// 得到响应结果 console.log(xhr.responseText);} else {console.log("状态码：" + xhr.status + "，原因：" + xhr.responseText)} }}console.log("异步请求...");}text02();</script> 运行效果截图：本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_61507413/article/details/122895643。该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

2023-10-22 17:32:41

521

转载

MySQL

使用Apache Sqoop从HDFS向MySQL数据导出：配置、映射器与分区键实践

...情况：得把数据从一个系统里乾坤大挪移到另一个系统里头去。在这个环节，咱们要一起学习一个实用技巧，就是如何运用Apache Sqoop这个工具，把存放在HDFS里的数据“搬”到MySQL数据库里去。为什么要将HDFS数据导出到MySQL？ Hadoop Distributed File System (HDFS) 是一种分布式文件系统，可以存储大量数据并提供高可用性和容错性。不过呢，HDFS这家伙可不懂SQL查询这门子事儿，所以啊，如果我们想对数据进行更深度的分析和复杂的查询操作，就得先把数据从HDFS里导出来，然后存到像是MySQL这样的SQL数据库中才行。步骤一：设置环境首先，我们需要确保已经安装了所有必要的工具和软件。以下是您可能需要的一些组件： - Apache Sqoop：这是一个用于在Hadoop和关系型数据库之间进行数据迁移的工具。 - MySQL：这是一个流行的开源关系型数据库管理系统。 - Java Development Kit (JDK)：这是开发Java应用程序所必需的一组工具。在Windows上，你可以在这里找到Java JDK的下载链接：https://www.oracle.com/java/technologies/javase-downloads.html 。在MacOS上，你可以在这里找到Java JDK的下载链接：https://jdk.java.net/15/ 步骤二：配置Hadoop和MySQL 在开始之前，请确保您的Hadoop和MySQL已经正确配置并运行。对于Hadoop，您可以查看以下教程：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html 对于MySQL，您可以参考官方文档：https://dev.mysql.com/doc/refman/8.0/en/installing-binary-packages.html 步骤三：创建MySQL表在开始导出数据之前，我们需要在MySQL中创建一个表来存储数据。以下是一个简单的例子： CREATE TABLE students ( id int(11) NOT NULL AUTO_INCREMENT, name varchar(45) DEFAULT NULL, age int(11) DEFAULT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 这个表将包含学生的ID、姓名和年龄字段。步骤四：编写Sqoop脚本现在我们可以使用Sqoop将HDFS中的数据导入到MySQL表中。以下是一个基本的Sqoop脚本示例： bash -sqoop --connect jdbc:mysql://localhost:3306/test \ -m 1 \ --num-mappers 1 \ --target-dir /user/hadoop/students \ --delete-target-dir \ --split-by id \ --as-textfile \ --fields-terminated-by '|' \ --null-string 'NULL' \ --null-non-string '\\N' \ --check-column id \ --check-nulls \ --query "SELECT id, name, age FROM students WHERE age > 18" 这个脚本做了以下几件事： - 使用--connect选项连接到MySQL服务器和测试数据库。 - 使用-m和--num-mappers选项设置映射器的数量。在这个例子中，我们只有一个映射器。 - 使用--target-dir选项指定输出目录。在这个例子中，我们将数据导出到/user/hadoop/students目录下。 - 使用--delete-target-dir选项删除目标目录中的所有内容，以防数据冲突。 - 使用--split-by选项指定根据哪个字段进行拆分。在这个例子中，我们将数据按学生ID进行拆分。 - 使用--as-textfile选项指定数据格式为文本文件。 - 使用--fields-terminated-by选项指定字段分隔符。在这个例子中，我们将字段分隔符设置为竖线（|）。 - 使用--null-string和--null-non-string选项指定空值的表示方式。在这个例子中，我们将NULL字符串设置为空格，将非字符串空值设置为\\N。 - 使用--check-column和--check-nulls选项指定检查哪个字段和是否有空值。在这个例子中，我们将检查学生ID是否为空，并且如果有，将记录为NULL。 - 使用--query选项指定要从中读取数据的SQL查询语句。在这个例子中，我们只选择年龄大于18的学生。请注意，这只是一个基本的示例。实际的脚本可能会有所不同，具体取决于您的数据和需求。步骤五：运行Sqoop脚本最后，我们可以使用以下命令运行Sqoop脚本： bash -sqoop \ -Dmapreduce.job.user.classpath.first=true \ --libjars $SQOOP_HOME/lib/mysql-connector-java-8.0.24.jar \ --connect jdbc:mysql://localhost:3306/test \ -m 1 \ --num-mappers 1 \ --target-dir /user/hadoop/students \ --delete-target-dir \ --split-by id \ --as-textfile \ --fields-terminated-by '|' \ --null-string 'NULL' \ --null-non-string '\\N' \ --check-column id \ --check-nulls \ --query "SELECT id, name, age FROM students WHERE age > 18" 注意，我们添加了一个-Dmapreduce.job.user.classpath.first=true参数，这样就可以保证我们的自定义JAR包在任务的classpath列表中处于最前面的位置。如果一切正常，我们应该可以看到一条成功的消息，并且可以在MySQL中看到导出的数据。总结本文介绍了如何使用Apache Sqoop将HDFS中的数据导出到MySQL数据库。咱们先给环境捯饬得妥妥当当，然后捣鼓出一个MySQL表，再接再厉，编了个Sqoop脚本。最后，咱就让这个脚本大展身手，把数据导出溜溜的。希望这篇文章能帮助你解决这个问题！

2023-04-12 16:50:07

247

素颜如水_t

Material UI

详解Material UI中Props传播问题与解决：从默认值冲突到属性覆盖，通过对象解构与函数组件的运用

... UI作为流行的设计系统，持续吸引着广大开发者关注。然而，随着框架和库的更新迭代，开发者们面临的问题也在不断演变。本文旨在为读者提供一些针对当前趋势的“延伸阅读”，帮助他们更好地适应并应对新的挑战。首先，随着Web组件化（Web Components）和浏览器原生API的兴起，开发者们开始探索如何在保持Material UI美观性的同时，充分利用现代浏览器的功能。例如，使用Shadow DOM或Custom Elements构建自定义组件，不仅可以实现更细粒度的样式控制，还能增强组件的可复用性和可维护性。这要求开发者深入了解DOM结构和事件处理机制，以确保组件在不同环境下的兼容性和性能。其次，性能优化成为前端开发的重中之重。针对大型应用或高流量网站，如何在不牺牲用户体验的前提下，提高页面加载速度和响应时间，成为亟待解决的问题。Material UI提供了多种优化选项，如懒加载、按需导入组件、减少HTTP请求等。此外，使用Web Performance API进行性能监控，分析瓶颈所在，采取相应措施，也是提升应用性能的有效手段。再次，响应式设计和适配多设备需求是现代前端开发的重要考量。Material UI提供了丰富的响应式组件，支持自适应布局和动态样式调整。然而，面对复杂多变的屏幕尺寸和分辨率，如何在保持设计一致性的同时，确保每个用户都能获得最佳体验，是值得深入研究的课题。这涉及到对不同设备特性的深入理解，以及灵活运用CSS Flexbox、Grid等布局工具。最后，安全性不容忽视。随着数据泄露事件频发，前端应用的安全防护变得尤为重要。Material UI虽然提供了安全的组件库，但开发者仍需了解跨站脚本攻击（XSS）、同源策略（CSP）等常见安全威胁，并采取相应措施。加强输入验证、合理使用CDN服务、定期更新依赖库版本，都是提高应用安全性的有效策略。综上所述，随着技术的不断进步，Material UI的使用不再是简单的组件拼接，而是需要开发者具备更全面的知识和技能，包括组件化、性能优化、响应式设计以及安全防护等方面。通过不断学习和实践，开发者可以更好地应对挑战，构建出既美观又高效、安全的前端应用。

2024-09-28 15:51:28

101

岁月静好

Impala

大数据量下Impala性能瓶颈：内存资源限制、分区策略与并发查询管理的影响及对策

...ime等），以平衡系统资源分配。 - 数据预处理与缓存：对于经常访问的热数据，可以考虑进行适当的预处理和缓存，减轻Impala的在线处理压力。综上所述，虽然Impala在处理大数据量时存在一定的局限性，但通过深入了解其内在工作机制，结合实际业务需求进行有针对性的优化，我们完全可以将其打造成高效的数据查询利器。在这个过程中，我们实实在在地感受到了人类智慧在挑战技术极限时的那股冲劲儿，同时，也亲眼目睹了科技与挑战之间一场永不停歇、像打乒乓球一样的精彩博弈。结语技术的发展总是在不断解决问题的过程中前行，Impala在大数据处理领域的挑战同样推动着我们在实践中去挖掘其潜力，寻求更优解。今后，随着软硬件技术的不断升级和突破，我们完全可以满怀信心地期待，Impala会在处理大数据这个大难题上更上一层楼，为大家带来更加惊艳、无可挑剔的服务体验。

2023-11-16 09:10:53

783

雪落无痕

转载文章

[转载]babel-预设和插件

...表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。一、配置文件几乎所有的前端工程师都知道可以用babel将es6+的语法转换为es5，转换工具要么使用babel-cli，要么使用webpack的babel-loader，不管使用哪种转换工具，通常都需要一个配置文件来建立转换规则（也可以在webpack的babel-loader的配置项，原理都一样）。 babel执行时默认从当前目录查找配置文件，支持的配置文件格式有：.babelrc，.babelrc.js，babel.config.js和package.json。它们的配置项都是相同，作用也是一样的，只需要选择其中一种，推荐使用.js结尾的文件，这样可以在配置文件中进行编程控制,如下： module.exports = function (api) {api.cache(true);const presets = [ ... ];const plugins = [ ... ];return {presets,plugins};} 也可以直接使用module.exports = {}，没有必要一定是一个function。在编写配置文件中，最主要的就是设置plugins(插件)和presets(预设)，每个插件或预设都是一个npm包，插件和预设会在编译过程中把我们的ES6+代码转换成ES5。二、插件和预设的关系 babel中的插件太多，以es2015为例： @babel/plugin-transform-arrow-functions @babel/plugin-transform-block-scoped-functions @babel/plugin-transform-block-scoping .... 如果只采用插件的话，我们需要配置非常多的插件数组，如果项目使用了es2016又得增加一堆，而且我们压根也记不住哪个es版本里该使用哪些插件。 preset就是解决这个问题的，它是一系列插件的集合，以@babel/preset-env为例，假设项目中安装的npm包版本是2020年1月发布的，那么这个预设里包含了2020年1月以前所有进入到stage4阶段的语法转换插件。可能有小伙伴会问，假如我设置了一个语法插件，指定某个预设里又包含了插件，此时会发生什么？这就涉及到插件和预设的执行顺序了，具体的规则如下：插件比预设先执行插件执行顺序是插件数组从前向后执行预设执行顺序是预设数组从后向前执行三、插件和预设的参数不配置参数的情况下，每个插件或预设都是数组中的一个字符串成员，例：preset:["@babel/preset-env","@babel/preset-react"]，如果某个插件或预设需要配置参数，成员项就需要由字符串换成一个数组，数组的第一项是插件或预设的名称字符串，第二项为对象，该对象用来设置插件或预设的参数，格式如下： {"presets": [["@babel/preset-env",{"useBuiltIns": "entry"}]]} 四、插件和预设的简写插件或可以在配置文件里用简写名称，如果插件的npm包名称的前缀为 babel-plugin-，可以省略前缀。例如"plugins": ["babel-plugin-transform-decorators-legacy"]可以简写为"plugins": ["transform-decorators-legacy"]。如果npm包名称的前缀带有作用域@，例如@scope/babel-plugin-xxx,短名称可以写成@scope/xxx。到babel7版本时，官方的插件大多采用@babel/plugin-xxx格式的，没有明确说明是否可以省略@babel/plugin-，遇到这中npm包时，最好还是采用全称写法比较稳妥。预设的短名称规则跟插件差不多，前缀为babel-preset-或带有作用域的包@scope/babel-preset-xxx的可以省略掉babel-preset-。 babel7里@babel/preset-前缀开头的包，例如@babel/preset-env的短名称是@babel/env，官方并没有给出明确说明以@babel/preset-xxx卡头的包是否都可以采用简写，因此最好还是采用全称。五、混乱的babel6预设如果直接接触babel7的前端同事都知道es预设直接用@babel/preset-env就行了，但是如果要维护和迭代基于babel6的项目呢？各个项目中使用的可能都不一样，babel-preset-es20xx、babel-preset-stage-x、babel-preset-latest这些预设是啥意思？ babel-preset-es20xx: TC39每年发布的、进入标准的ES语法转换器预设，最后一个预设是babel-preset-es2017，不再更新。 babel-preset-stage-x： TC39每年草案阶段的ES语法转换器预设。x的值是0到3，babel7时已废弃，不再更新。 babel-preset-latest： TC39每年发布的、进入标准的ES语法转换器预设。在babel6时等于babel-preset-es2015、babel-preset-es2016、babel-preset-es2017。该包从 v2 开始，需要@babel/core@^7.0.0，也就是需要babel7才能使用，既然要升级到babel7，不如使用更加强大的@babel/preset-env。本篇文章为转载内容。原文链接：https://blog.csdn.net/douyinbuwen/article/details/123729828。该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

2024-01-16 22:15:54

121

转载

MemCache

Memcached进程CPU占用过高问题排查：配置不当、客户端交互影响及解决方案，运用top命令与配置文件优化策略

...是一种分布式键值存储系统，它被广泛应用于Web应用程序中的缓存处理，以提高网站性能。然而，在实际应用过程中，我们可能会遇到Memcached进程占用CPU过高的问题。这不仅会影响系统的运行效率，还可能引发一系列问题。这篇文章会手把手教你一步步弄明白，为啥Memcached这个小家伙有时候会使劲霸占CPU资源，然后咱再一起商量商量怎么把它给“治”好，让它恢复正常运作。二、Memcached进程占用CPU高的原因分析 1. Memcached配置不当当Memcached配置不当时，会导致其频繁进行数据操作，从而增加CPU负担。比如说，要是你给数据设置的过期时间太长了，让Memcached这个家伙没法及时把没用的数据清理掉，那可能会造成CPU这老兄压力山大，消耗过多的资源。示例代码如下： python import memcache mc = memcache.Client(['localhost:11211']) mc.set('key', 'value', 120) 上述代码中，设置的数据过期时间为120秒，即两分钟。这就意味着，即使数据已经没啥用了，Memcached这家伙还是会死拽着这些数据不放，在接下来的两分钟里持续占据着CPU资源不肯放手。 2. Memcached与大量客户端交互当Memcached与大量客户端频繁交互时，会加重其CPU负担。这是因为每次交互都需要进行复杂的计算和数据处理操作。比如，想象一下你运营的Web应用火爆到不行，用户请求多得不得了，每个请求都得去Memcached那儿抓取数据。这时候，Memcached这个家伙可就压力山大了，CPU资源被消耗得嗷嗷叫啊！示例代码如下： python import requests for i in range(1000): response = requests.get('http://localhost/memcached/data') print(response.text) 上述代码中，循环执行了1000次HTTP GET请求，每次请求都会从Memcached获取数据。这会导致Memcached的CPU资源消耗过大。三、排查Memcached进程占用CPU高的方法 1. 使用top命令查看CPU使用情况在排查Memcached进程占用CPU过高的问题时，我们可以首先使用top命令查看系统中哪些进程正在占用大量的CPU资源。例如，以下输出表示PID为31063的Memcached进程正在占用大量的CPU资源： javascript top - 13:34:47 up 1 day, 6:13, 2 users, load average: 0.24, 0.36, 0.41 Tasks: 174 total, 1 running, 173 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.2 us, 0.3 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem : 16378080 total, 16163528 free, 182704 used, 122848 buff/cache KiB Swap: 0 total, 0 free, 0 used. 2120360 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3106 root 20 0 1058688 135484 4664 S 45.9 8.3 1:23.79 python memcached_client.py 我们可以看到，PID为31063的Python程序正在占用大量的CPU资源。接着，我们可以使用ps命令进一步了解这个进程的情况： bash ps -p 3106 2. 查看Memcached配置文件在确认Memcached进程是否异常后，我们需要查看其配置文件，以确定是否存在配置错误导致的高CPU资源消耗。例如，以下是一个默认的Memcached配置文件（/etc/memcached.conf）的一部分： php-template Default MaxItems per key (65536). default_maxbytes 67108864 四、解决Memcached进程占用CPU高的方案 1. 调整Memcached配置根据Memcached配置不当的原因，我们可以调整相关参数来降低CPU资源消耗。例如，可以减少过期时间、增大最大数据大小等。以下是修改过的配置文件的一部分： php-template Default MaxItems per key (131072). default_maxbytes 134217728 Increase expiration time to reduce CPU usage. default_time_to_live 14400 2. 控制与Memcached的交互频率对于因大量客户端交互导致的高CPU资源消耗问题，我们可以采取一些措施来限制与Memcached的交互频率。例如，可以在服务器端添加限流机制，防止短时间内产生大量请求。或者，优化客户端代码，减少不必要的网络通信。 3. 提升硬件设备性能最后，如果其他措施都无法解决问题，我们也可以考虑提升硬件设备性能，如增加CPU核心数量、扩大内存容量等。但这通常不是最佳解决方案，因为这可能会带来更高的成本。五、结论总的来说，Memcached进程占用CPU过高是一个常见的问题，其产生的原因是多种多样的。要真正把这个问题给揪出来，咱们得把系统工具和实际操作的经验都使上劲儿，得像钻井工人一样深入挖掘Memcached这家伙的工作内幕和使用门道。只有这样，才能真正找到问题的关键所在，并提出有效的解决方案。感谢阅读这篇文章，希望对你有所帮助！

2024-01-19 18:02:16

醉卧沙场-t

Apache Lucene

Lucene实战：精确到模糊——编辑距离驱动的全文搜索优化与查询性能提升

一、引言在这个信息爆炸的时代，搜索引擎的性能和灵活性成为了用户体验的关键因素之一。Apache Lucene，作为一款强大的全文搜索库，为我们提供了丰富的查询选项，其中之一就是FuzzyQuery，它允许我们在搜索时处理模糊匹配，即使用户输入的关键词可能不完全精确。今天，我们将深入剖析如何在实际项目中利用FuzzyQuery，让搜索体验更加人性化。二、什么是FuzzyQuery 1. 概念解析 FuzzyQuery是Lucene中用于执行模糊搜索的核心工具，它通过计算查询词与索引中的单词之间的Levenshtein距离（也称编辑距离），找到那些相似度超过预设阈值的文档。你知道吗，编辑距离这玩意儿就像个搞笑的测谎游戏，它比量两个词串之间的亲密度，简单说就是，你要么得添字、减字或者动动手脚换个别字，最少几次才能让这两个词串变成亲兄弟一样挨着。三、FuzzyQuery的使用示例 2. 编码实现以下是一个简单的Java代码片段，展示了如何使用FuzzyQuery进行模糊搜索： java import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.TextField; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.; import org.apache.lucene.store.Directory; import org.apache.lucene.store.RAMDirectory; public class FuzzySearchExample { public static void main(String[] args) throws Exception { Directory indexDir = new RAMDirectory(); // 创建内存索引 Analyzer analyzer = new StandardAnalyzer(); // 使用标准分析器 // 假设我们有一个文档集合，这里只创建一个简单的文档 Document doc = new Document(); doc.add(new TextField("content", "Lucene is awesome", Field.Store.YES)); IndexWriterConfig config = new IndexWriterConfig(analyzer); IndexWriter writer = new IndexWriter(indexDir, config); writer.addDocument(doc); writer.close(); String queryTerm = "Lucenes"; // 用户输入的模糊查询词 float fuzziness = 1f; // 设置模糊度，例如1代表允许一个字符的差异 QueryParser parser = new QueryParser("content", analyzer); FuzzyQuery fuzzyQuery = new FuzzyQuery(parser.parse(queryTerm), fuzziness); IndexReader reader = DirectoryReader.open(indexDir); TopDocs topDocs = searcher.search(fuzzyQuery, 10); // 返回最多10个匹配结果 for (ScoreDoc scoreDoc : topDocs.scoreDocs) { Document hitDoc = searcher.doc(scoreDoc.doc); System.out.println("Score: " + scoreDoc.score + ", Hit: " + hitDoc.get("content")); } reader.close(); } } 这段代码首先创建了一个简单的索引，然后构造了一个FuzzyQuery实例，指定要搜索的关键词和允许的最大编辑距离。搜索时，我们能看到即使用户输入的不是完全匹配的"Lucene"，而是"Lucenes"，FuzzyQuery也能返回相关的结果。四、FuzzyQuery优化策略 3. 性能与优化当处理大量数据时，FuzzyQuery可能会变得较慢，因为它的计算复杂度与搜索词的长度和索引的大小有关。为了提高效率，可以考虑以下策略： - 前缀匹配：使用PrefixQuery结合FuzzyQuery，仅搜索具有相同前缀的文档，这可以减少搜索范围。 - 阈值调整：根据应用需求调整模糊度阈值，更严格的阈值可以提高精确度，但搜索速度会下降。 - 分批处理：如果搜索结果过多，可以分批处理，先缩小范围，再逐步细化。五、结论 4. 未来展望与总结 FuzzyQuery在提高搜索灵活性的同时，也对性能提出了挑战。要想在项目里游刃有余，得深入理解那些神奇的机制和巧妙的策略，这样才能精准又高效，就像个武林高手一样，既能一击即中，又能快如闪电。Lucene那强大的模糊搜索绝不仅仅是纠错能手，它还能在你打字时瞬间给出超贴心的拼写建议，让找东西变得超级简单，简直提升了搜寻乐趣好几倍！随着科技日新月异，Lucene这家伙也越变越聪明，咱们可真盼着瞧见那些超酷的新搜索招数，让找东西这事变得更聪明又快捷，就像点穴一样精准！在构建现代应用程序时，了解并善用这些高级查询工具，无疑会让我们的搜索引擎更具竞争力。希望这个简单示例能帮助你开始在项目中运用FuzzyQuery，提升搜索的精准度和易用性。

2024-06-11 10:54:39

497

时光倒流

转载文章

[转载]java爬虫爬取京东_java爬虫练习|爬取京东上的手机商品数据

...表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。最近在学习java的爬虫技术，学的是黑马的视频资源，由于是几年前的视频啦，京东页面有些许变化,在此记录我遇到的问题，使用的爬虫技术是httpClient和jsoup，项目搭建使用的springboot+ jpa。首先给出主页的代码： @Componentpublic classItemTask { @AutowiredprivateHttpUtils httpUtils; @AutowiredprivateItemService itemService;public static final ObjectMapper MAPPER = newObjectMapper();//设置定时任务执行完成后，再间隔100秒执行一次 @Scheduled(fixedDelay = 1000 100)public void process() throwsException {//分析页面发现访问的地址,页码page从1开始，下一页page加2 String url = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&suggest=1.his.0.0&wq=%E6%89%8B%E6%9C%BA&s=121&click=0&page=";//遍历执行，获取所有的数据 for (int i = 1; i < 10; i = i + 2) {//发起请求进行访问，获取页面数据,先访问第一页 String html = this.httpUtils.getHtml(url +i);//解析页面数据，保存数据到数据库中 this.parseHtml(html); } System.out.println("执行完成"); }//解析页面，并把数据保存到数据库中 private void parseHtml(String html) throwsException {//使用jsoup解析页面 Document document =Jsoup.parse(html);//获取商品数据 Elements spus = document.select("divJ_goodsList > ul > li");//遍历商品spu数据 for(Element spuEle : spus) {//获取商品spu String attr = spuEle.attr("data-spu");long spu = Long.parseLong(attr.equals("")?"0":attr);//Long spu = Long.parseLong(spuEle.attr("data-spu"));//获取商品sku数据 Elements skus = spuEle.select("li.ps-item img");for(Element skuEle : skus) {//获取商品sku Long sku = Long.parseLong(skuEle.attr("data-sku"));//判断商品是否被抓取过，可以根据sku判断 Item param = newItem(); param.setSku(sku); List list = this.itemService.findAll(param);//判断是否查询到结果 if (list.size() > 0) {//如果有结果，表示商品已下载，进行下一次遍历 continue; }//保存商品数据，声明商品对象 Item item = newItem();//商品spu item.setSpu(spu);//商品sku item.setSku(sku);//商品url地址 item.setUrl("https://item.jd.com/" + sku + ".html");//创建时间 item.setCreated(newDate());//修改时间 item.setUpdated(item.getCreated());//获取商品标题 String itemHtml = this.httpUtils.getHtml(item.getUrl()); String title= Jsoup.parse(itemHtml).select("div.sku-name").text(); item.setTitle(title);//获取商品价格 String priceUrl = "https://p.3.cn/prices/mgets?skuIds=J_"+sku; String priceJson= this.httpUtils.getHtml(priceUrl);//解析json数据获取商品价格 double price = MAPPER.readTree(priceJson).get(0).get("p").asDouble(); item.setPrice(price);//获取图片地址 String pic = "https:" + skuEle.attr("data-lazy-img").replace("/n9/","/n1/"); System.out.println(pic);//下载图片 String picName = this.httpUtils.getImage(pic); item.setPic(picName);//保存商品数据 this.itemService.save(item); } } } } 分享一下我学习中遇到的问题： 1.爬取数据为null,需要登录京东看到这段代码应该就明白了吧，就是京东发现并非人为操作，需要登陆账号了。解决办法也很简单，只需要自己模拟浏览器登陆即可在HttpUttils加上这段，两个方法中的HTTPGet对象都需要设置一下。 //设置请求头模拟浏览器 httpGet.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0"); 2.java.lang.NumberFormatException: For input string: ""，获取的spu为空串，加上一个前置空串判断即可解决如下： //获取商品spu String attr = spuEle.attr("data-spu");//判断是否为空串 long spu = Long.parseLong(attr.equals("")?"0":attr); 以上两个bug是我学习遇到的，现已解决，爬取数据如下：本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_32161697/article/details/114506244。该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

2023-03-13 10:48:12

104

转载

Lua

Lua模块导入与使用详解：从内置到第三方库与自定义模块

...常任务，还是开发复杂系统，Lua 都能以其简洁而强大的特性，成为你编程旅程中不可或缺的一部分。

2024-08-12 16:24:19

167

夜色朦胧

JQuery

jQuery数组循环赋值详解：each方法与for循环对比及链式调用应用

...及大量历史遗留代码的系统而言，逐步迁移至React或Vue的成本极高，而jQuery则提供了一种低成本、高效率的解决方案。通过合理规划，他们成功地将jQuery与Vue结合使用，既保留了原有系统的稳定性，又实现了新功能的快速迭代。此外，有专家提醒，尽管jQuery在某些领域仍有价值，但开发者不应忽视其潜在的安全隐患。近年来，多起因jQuery版本过旧而导致的安全漏洞事件敲响了警钟。因此，定期更新jQuery版本、及时修补已知漏洞至关重要。同时，随着WebAssembly技术的兴起，未来可能会出现更多超越传统JavaScript框架的新工具，这或许会对jQuery的地位构成挑战。综上所述，虽然jQuery正处于转型期，但它依然是前端开发领域的一块基石。无论是继续深耕还是寻找替代方案，都需要开发者根据具体业务需求做出理性判断。在这个快速变化的时代，保持开放的心态和持续学习的态度才是应对技术变革的最佳策略。

2025-05-08 16:16:22

蝶舞花间

转载文章

[转载]Unity 协程探究

...表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。一、官方手册中的描述 1、Manual/Coroutines 函数在调用时, “从调用到返回” 都发生在一帧之内，想要处理 “随时间推移进行的事务”，相比Update，使用协程来执行此类任务会更方便。协程在创建时，通常是一个 “返回值类型为 IEnumerator”、“函数体中包含 yield return 语句 ” 的函数。 yiled return 可以暂停协程的执行，并在恰当时候恢复。具体在何时恢复，由 yield 的返回值决定。启动协程，必须使用 MonoBehaviour 的 StartCoroutine 方法。停止协程，可以使用 MonoBehaviour 的 StopCoroutine 方法或 StopAllCoroutine 方法。注意：以下情况也可能使协程停止： 1)、销毁启动协程的组件（GameObject.Destory(component);） ==> 协程停止 2)、禁用启动协程的组件（component.enabled = false;）==> 协程不停止 3)、销毁启动协程的组件所在的物体（GameObject.Destory(gameobject);） ==> 协程停止 4)、隐藏启动协程的组件所在的物体（gameobject.SetActive(false);） ==> 协程停止 2、MonoBehaviour.StartCoroutine StartCoroutine 方法总是立刻返回一个 Coroutine 对象（同步返回）。无法保证协同程序按其启动顺序结束，即使他们在同一帧中完成也是如此（异步无序完成）。可以在一个协程中启动另一个协程（支持协程嵌套）。二、Unity中的 yield 语句类型 1、yield break; //打断协程运行 2、yield return null; //挂起协程，并从下一帧继续 3、yield return + “任意数字”; //挂起协程，并从下一帧继续 4、yield return + “bool值”; //挂起协程，并从下一帧继续 5、yield return + “任意字符串”; //挂起协程，并从下一帧继续 6、yield return + “普通Object”; //挂起协程，并从下一帧继续 7、yield return + “任意实现了 IEnumerator 接口的对象”。重要！（可嵌套） Unity 中，常见的、直接或间接实现了 IEnumerator 接口的类有： ------------------------------------------------------------------------------------------------ CustomYieldInstruction (abstarct) ——|> IEnumerator (interface) ------------------------------------------------------------------------------------------------ WaitUnitil (sealed) ——|> CustomYieldInstruction WaitWhile (sealed) ——|> CustomYieldInstruction WaitForSecondsRealtime (非sealed，但未发现子类) ——|> CustomYieldInstruction WWW (非sealed，但未发现子类) ——|> CustomYieldInstruction ------------------------------------------------------------------------------------------------ 随着Unity更新或在一些可选的Package中，可能有更多。。。 ------------------------------------------------------------------------------------------------ 8、yield return + “任意继承了 YieldInstruction 类 ([UsedByNativeCode]，源码C层中无具体实现) 的对象”。重要！（可嵌套） Unity 中，常见的、直接或间接继承了 YieldInstruction 类的类有： ------------------------------------------------------------------------------------------------ WaitForSeconds (sealed) ——|> YieldInstruction Coroutine (sealed) ——|> YieldInstruction (Coroutine 是 StartCoroutine方法的返回值，意味着协程中可嵌套协程) WaitForEndOfFrame (sealed) ——|> YieldInstruction WaitForFixedUpdate (sealed) ——|> YieldInstruction AsyncOperation ——|> YieldInstruction ------------------------------------------------------------------------------------------------ AssetBundleCreateRequest (非sealed，但未发现子类) ——|> AsyncOperation AssetBundleRecompressOperation (非sealed，但未发现子类) ——|> AsyncOperation AssetBundleRequest (非sealed，但未发现子类) ——|> AsyncOperation ResourceRequest (非sealed，但未发现子类) ——|> AsyncOperation UnityEngine.Networking.UnityWebRequestAsyncOperation (非sealed，但未发现子类) ——|> AsyncOperation UnityEngine.iOS.OnDemandResourcesRequest (sealed) ——|> AsyncOperation ------------------------------------------------------------------------------------------------ 随着Unity更新或在一些可选的Package中，可能有更多。。。 ------------------------------------------------------------------------------------------------ 测试验证第2、3、4、5、6条如下： using System.Collections;using UnityEngine;public class Test : MonoBehaviour{void Start(){StartCoroutine(Func1());}IEnumerator Func1(){Debug.Log("Time.frameCount: " + Time.frameCount);yield return null;Debug.Log("Time.frameCount: " + Time.frameCount);yield return 0;Debug.Log("Time.frameCount: " + Time.frameCount);yield return 1;Debug.Log("Time.frameCount: " + Time.frameCount);yield return 99; //其他整数Debug.Log("Time.frameCount: " + Time.frameCount);yield return 0.5f; //浮点数值Debug.Log("Time.frameCount: " + Time.frameCount);yield return false; //bool值Debug.Log("Time.frameCount: " + Time.frameCount);yield return "Hi NRatel!"; //字符串Debug.Log("Time.frameCount: " + Time.frameCount);yield return new Object(); //任意对象Debug.Log("Time.frameCount: " + Time.frameCount);} } 测试验证第7条如下： using System.Collections;using UnityEngine;public class Test : MonoBehaviour{void Start(){StartCoroutine(Func1());}IEnumerator Func1(){Debug.Log("Func1");yield return Func2();}IEnumerator Func2(){Debug.Log("Func2");yield return Func3();}IEnumerator Func3(){Debug.Log("Func3");yield return null;} } 三、Unity协程实现原理 1、C 的迭代器。现在已经知道：协程肯定与IEnumerator有关，因为启动协程时需要一个 IEnumerator 对象。而 IEnumerator 是C实现的迭代器模式中的枚举器（用于迭代的游标）。迭代器相关接口定义如下： namespace System.Collections{//可枚举（可迭代）对象接口public interface IEnumerable{IEnumerator GetEnumerator();}//迭代游标接口public interface IEnumerator{object Current { get; }bool MoveNext();void Reset();} } 参考 MSDN C文档中对于 IEnumerator、IEnumerable、迭代器的描述。利用 IEnumerator 对象，可以对与之关联的 IEnumerable 集合进行迭代： 1)、通过 IEnumerator 的 Current 方法，可以获取集合中位于枚举数当前位置的元素。 2)、通过 IEnumerator 的 MoveNext 方法，可以将枚举数推进到集合的下一个元素。如果 MoveNext 越过集合的末尾, 则枚举器将定位在集合中最后一个元素之后, 同时 MoveNext 返回 false。当枚举器位于此位置时, 对 MoveNext 的后续调用也将返回 false 。如果最后一次调用 MoveNext 时返回 false，则 Current 未定义（结果为null）。 3)、通过 IEnumerator 的 Reset 方法，可以将“迭代游标” 设置为其初始位置，该位置位于集合中第一个元素之前。 2、C 的 yield 关键字。 C编译器在生成IL代码时，会将一个返回值类型为 IEnumerator 的方法（其中包含一系列的 yield return 语句），构建为一个实现了 IEnumerator 接口的对象。注意，yield 是C的关键字，而非Unity定义！IEnumerator 对象也可以直接用于迭代，并非只能被Unity的 StartCoroutine 使用！ using System.Collections;using UnityEngine;public class Test : MonoBehaviour{void Start(){IEnumerator e = Func();while (e.MoveNext()){Debug.Log(e.Current);} }IEnumerator Func(){yield return 1;yield return "Hi NRatel!";yield return 3;} } 对上边C代码生成的Dll进行反编译，查看IL代码： 3、Unity 的协程。 Unity 协程是在逐帧迭代的，这点可以从 Unity 脚本生命周期中看出。可以大胆猜测一下，实现出自己的协程（功能相似，能够说明逐帧迭代的原理，不是Unity源码）： using System;using System.Collections;using System.Collections.Generic;using UnityEngine;public class Test : MonoBehaviour{private Dictionary<IEnumerator, IEnumerator> recoverDict; //key:当前迭代器 value:子迭代器完成后需要恢复的父迭代器private IEnumerator enumerator;private void Start(){//Unity自身的协程//StartCoroutine(Func1());//自己实现的协程StarMyCoroutine(Func1());}private void StarMyCoroutine(IEnumerator e){recoverDict = new Dictionary<IEnumerator, IEnumerator>();enumerator = e;recoverDict.Add(enumerator, null); //完成后不需要恢复任何迭代器}private void LateUpdate(){if (enumerator != null){DoEnumerate(enumerator);} }private void DoEnumerate(IEnumerator e){object current;if (e.MoveNext()){current = e.Current;}else{//迭代结束IEnumerator recoverE = recoverDict[e];if (recoverE != null){recoverDict.Remove(e);}//恢复至父迭代器, 若没有则会至为nullenumerator = recoverE;return;}//null，什么也不做，下一帧继续if (current == null) { return; }Type type = current.GetType();//基础类型，什么也不做，下一帧继续if (current is System.Int32) { return; }if (current is System.Boolean) { return; }if (current is System.String) { return; }//IEnumerator 类型, 等待内部嵌套的IEnumerator迭代完成再继续if (current is IEnumerator){//切换至子迭代器enumerator = current as IEnumerator;recoverDict.Add(enumerator, e);return;}//YieldInstruction 类型, 猜测也是类似IEnumerator的实现if (current is YieldInstruction){//省略实现return;} }IEnumerator Func1(){Debug.Log("Time.frameCount: " + Time.frameCount);yield return null;Debug.Log("Time.frameCount: " + Time.frameCount);yield return "Hi NRatel!";Debug.Log("Time.frameCount: " + Time.frameCount);yield return 3;Debug.Log("Time.frameCount: " + Time.frameCount);yield return new WaitUntil(() =>{return Time.frameCount == 20;});Debug.Log("Time.frameCount: " + Time.frameCount);yield return Func2();Debug.Log("Time.frameCount: " + Time.frameCount);}IEnumerator Func2(){Debug.Log("XXXXXXXXX");yield return null;Debug.Log("YYYYYYYYY");yield return Func3(); //嵌套 IEnumerator}IEnumerator Func3(){Debug.Log("AAAAAAAA");yield return null;Debug.Log("BBBBBBBB");yield return null;} } 对比结果，基本可以达成协程作用，包括 IEnumerator 嵌套。但是 Time.frameCount 的结果不同，想来实现细节必然是有差别的。四、部分Unity源码分析 1、CustomYieldInstruction 类可以继承该类，并实现自己的、需要异步等待的类。原理：当协程中 yield return “一个CustomYieldInstruction的子类”; 其实就相当于在原来的迭代器A 中，插入了一个新的迭代器B。当迭代程序进入 B ，如果 keepWaiting 为 true，MoveNext() 就总是返回 true。上面已经说过，迭代器在迭代时，MoveNext() 返回false 才标志着迭代完成！那么，B 就总是完不成，直到 keepWaiting 变为 false。这样 A 运行至 B处就处于了等待B完成的状态，相当于A挂起了。猜测 YieldInstruction 也是类似的实现。 // Unity C reference source// Copyright (c) Unity Technologies. For terms of use, see// https://unity3d.com/legal/licenses/Unity_Reference_Only_Licenseusing System.Collections;namespace UnityEngine{public abstract class CustomYieldInstruction : IEnumerator{public abstract bool keepWaiting{get;}public object Current{get{return null;} }public bool MoveNext() { return keepWaiting; } public void Reset() {} }} 2、WaitUntil 类语义为 “等待...直到满足...” 继承自 CustomYieldInstruction，需要等待时让 m_Predicate 返回 false (keepWating为true)。 // Unity C reference source// Copyright (c) Unity Technologies. For terms of use, see// https://unity3d.com/legal/licenses/Unity_Reference_Only_Licenseusing System;namespace UnityEngine{public sealed class WaitUntil : CustomYieldInstruction{Func<bool> m_Predicate;public override bool keepWaiting { get { return !m_Predicate(); } }public WaitUntil(Func<bool> predicate) { m_Predicate = predicate; } }} 3、WaitWhile 类语义为 “等待...如果满足...” 继承自 CustomYieldInstruction，需要等待时让 m_Predicate 返回 true (keepWating为true)。与 WaitUntil 的实现恰好相反。 // Unity C reference source// Copyright (c) Unity Technologies. For terms of use, see// https://unity3d.com/legal/licenses/Unity_Reference_Only_Licenseusing System;namespace UnityEngine{public sealed class WaitWhile : CustomYieldInstruction{Func<bool> m_Predicate;public override bool keepWaiting { get { return m_Predicate(); } }public WaitWhile(Func<bool> predicate) { m_Predicate = predicate; } }} 本篇文章为转载内容。原文链接：https://blog.csdn.net/NRatel/article/details/102870744。该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

2023-11-24 16:50:42

389

转载

Kotlin

Kotlin：重塑编程体验 —— 简洁性、安全性与面向对象+功能性编程的融合

... Kotlin与生态系统融合 Kotlin不仅自身强大，而且与Java虚拟机(JVM)兼容，这意味着它能无缝集成到现有的Java项目中。此外，Kotlin还能直接编译为JavaScript，使得跨平台开发变得简单。这事儿对那些手握现代Kotlin大棒，却又不打算彻底扔掉旧武器的程序员们来说，简直就是个天大的利好！他们既能享受到新工具带来的便利，又能稳稳守住自己的老阵地，这不是两全其美嘛！结语通过上述例子，我们可以看到Kotlin是如何在代码的简洁性、安全性以及与现有技术生态系统的融合上提供了一种更加高效、可靠和愉悦的编程体验。从“Expected';butfound''的挣扎中解脱出来，Kotlin让我们专注于创造，而不是被繁琐的细节所困扰。哎呀，你猜怎么着？Kotlin 这个编程小能手，在 Android 开发圈可是越来越火了，还慢慢往外扩散，走进了更多程序员的日常工作中。这货简直就是个万能钥匙，不仅能帮咱们打造超赞的手机应用，还能在其他领域大展身手，简直就是编程界的超级英雄嘛！用 Kotlin 编写的代码，不仅质量高，还能让工作变得更高效，开发者们可喜欢它了！

2024-07-25 00:16:35

266

风轻云淡

转载文章

[转载]每个字符旋转随机角度的图象验证码 V2.0

...表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。根据jeff377 的话，竹子将这验证码改进了一下，请大家讨论看看。 -------jeff377-------------------------------------------- 我研究所的论文就是在做类神经网络处理文字辨识，以你的例子而言，旋转随意角度对辨识来说并不会有太大影响，只要抓字的重心，360度旋转抓取特微值，还是可以辨识的出来。通常文字辨识的有一个重要的动作，就是要把个别文字分割，你只要把文字弄的难分割就有不错的安全性。 --------------------------------------------------- 代码比较粗糙，而且比较菜，其中遇到一个问题，未对 Graphics 填充底色，那么文字的 ClearType 效果没有了，文字毛边比较明显，不知道为什么，谁能告诉竹子？代码相对粗糙，没有考虑更多的情况，在测试过程中，以20px 字体呈现，效果感觉还不错，只是 ClearType 效果没有了。帖几张看看 ------------ ------------ ------------ ------------ 有一些随机的不好，象下面这张相关链接: 查看 V1.0 .NET 2.0 代码如下： using System; using System.Drawing; using System.Web; namespace Oran.Image { /// <summary> /// 旋转的可视验证码图象 /// </summary> public class RotatedVlidationCode { public enum RandomStringMode { /// <summary> /// 小写字母 /// </summary> LowerLetter, /// <summary> /// 大写字母 /// </summary> UpperLetter, /// <summary> /// 混合大小写字母 /// </summary> Letter, /// <summary> /// 数字 /// </summary> Digital, /// <summary> /// 混合数字与大小字母 /// </summary> Mix } public static string GenerateRandomString(int length, RandomStringMode mode) { string rndStr = string.Empty; if (length == 0) return rndStr; //以数组方式候选字符，可以更方便的剔除不要的字符，如数字 0 与字母 o char[] digitals = new char[10] { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9' }; char[] lowerLetters = new char[26] { 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z' }; char[] upperLetters = new char[26] { 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z' }; char[] letters = new char[52]{ 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z' }; char[] mix = new char[62]{ '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z' }; int[] range = new int[2] { 0, 0 }; Random random = new Random(); switch (mode) { case RandomStringMode.Digital: for (int i = 0; i < length; ++i) rndStr += digitals[random.Next(0, digitals.Length)]; break; case RandomStringMode.LowerLetter: for (int i = 0; i < length; ++i) rndStr += lowerLetters[random.Next(0, lowerLetters.Length)]; break; case RandomStringMode.UpperLetter: for (int i = 0; i < length; ++i) rndStr += upperLetters[random.Next(0, upperLetters.Length)]; break; case RandomStringMode.Letter: for (int i = 0; i < length; ++i) rndStr += letters[random.Next(0, letters.Length)]; break; default: for (int i = 0; i < length; ++i) rndStr += mix[random.Next(0, mix.Length)]; break; } return rndStr; } /// <summary> /// 显示验证码 /// </summary> /// <param name="seed">随机数辅助种子</param> /// <param name="strLen">验证码字符长度</param> /// <param name="fontSize">字体大小</param> /// <param name="mode">随机字符模式</param> /// <param name="clrFont">字体颜色</param> /// <param name="clrBg">背景颜色</param> public static void ShowValidationCode(ref int seed, int strLen, int fontSize, RandomStringMode mode, Color clrFont, Color clrBg) { int tmpSeed; unchecked { tmpSeed = (int)(seed DateTime.Now.Ticks); ++seed; } Random rnd = new Random(tmpSeed); string text = GenerateRandomString(strLen, mode); int height = fontSize 2; // 因为字体旋转后每个字体所占宽度会所有加大，所以要加一点补偿宽度 int width = fontSize text.Length + fontSize / (text.Length - 2); Bitmap bmp = new Bitmap(width, height); Graphics graphics = Graphics.FromImage(bmp); Font font = new Font("Courier New", fontSize, FontStyle.Bold); Brush brush = new SolidBrush(clrFont); Brush brushBg = new SolidBrush(clrBg); graphics.FillRectangle(brushBg, 0, 0, width, height); Bitmap tmpBmp = new Bitmap(height, height); Graphics tmpGph = null; int degree = 40; Point tmpPoint = new Point(); for (int i = 0; i < text.Length; i++) { tmpBmp = new Bitmap(height, height); tmpGph = Graphics.FromImage(tmpBmp); // tmpGph.TextRenderingHint = System.Drawing.Text.TextRenderingHint.SingleBitPerPixelGridFit; // 不填充底色，文字 ClearType 效果不见了，why?! // tmpGph.FillRectangle(brushBg, 0, 0, tmpBmp.Width, tmpBmp.Height); degree = rnd.Next(20, 51); // [20, 50]随机角度 if (rnd.Next(0, 2) == 0) { tmpPoint.X = 12; // 调整文本坐标以适应旋转后的图象 tmpPoint.Y = -6; } else { degree = ~degree + 1; // 逆时针旋转 tmpPoint.X = -10; tmpPoint.Y = 6; } tmpGph.RotateTransform(degree); tmpGph.DrawString(text[i].ToString(), font, brush, tmpPoint); graphics.DrawImage(tmpBmp, i fontSize, 0); // 拼接图象 } //输出图象 System.IO.MemoryStream memoryStream = new System.IO.MemoryStream(); bmp.Save(memoryStream, System.Drawing.Imaging.ImageFormat.Gif); HttpContext.Current.Response.Cache.SetCacheability(HttpCacheability.NoCache); HttpContext.Current.Response.ClearContent(); HttpContext.Current.Response.ContentType = "image/gif"; HttpContext.Current.Response.BinaryWrite(memoryStream.ToArray()); HttpContext.Current.Response.End(); //释放资源 font.Dispose(); brush.Dispose(); brushBg.Dispose(); tmpGph.Dispose(); tmpBmp.Dispose(); graphics.Dispose(); bmp.Dispose(); memoryStream.Dispose(); } } } 转载于:https://www.cnblogs.com/iRed/archive/2008/06/22/1227687.html 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_30600197/article/details/96672619。该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

2023-05-27 09:38:56

249

转载

Spark

Spark框架下优化大量小文件读取性能：运用Dataframe API、Spark SQL与Partitioner策略

...还可能会影响到整体的系统性能。三、优化小文件处理的方法针对上述问题，我们可以采用以下几种方法来优化Spark在读取大量小文件时的性能。 1. 使用Dataframe API Dataframe API是Spark 2.x版本新增的一个重要特性，它可以让我们更方便地处理结构化数据。相比于RDD，Dataframe API可真是个贴心小能手，它提供的接口不仅瞅着更直观，操作起来更是高效溜溜的。这样一来，咱们就能把那些不必要的中间转换和操作通通“踢飞”，让数据处理变得轻松又愉快！另外，Dataframe API还超级给力地支持一些更高级的操作，比如聚合、分组什么的，这对于处理那些小文件可真是帮了大忙了！下面是一个简单的例子，展示如何使用Dataframe API来读取小文件： java val df = spark.read.format("csv") .option("header", "true") .option("inferSchema", "true") .load("/path/to/files/") 在这个例子中，我们使用read函数从指定目录下读取CSV文件，并将其转化为DataFrame。然后，我们可以通过各种函数对DataFrame进行操作，如show、filter、groupBy等。 2. 使用Spark SQL Spark SQL是一种高级抽象，用于查询关系表。就像Dataframe API那样，Spark SQL也给我们带来了一种超级实用又高效的处理小文件的方法，一点儿也不复杂，特别接地气儿。Spark SQL还自带了一堆超级实用的内置函数，比如COUNT、SUM、AVG这些小帮手，用它们来处理小文件，那速度可真是嗖嗖的，轻松又高效。下面是一个简单的例子，展示如何使用Spark SQL来读取小文件： scss val df = spark.sql("SELECT FROM /path/to/files/") 在这个例子中，我们使用sql函数来执行SQL语句，从而从指定目录下读取CSV文件并转化为DataFrame。 3. 使用Partitioner Partitioner是Spark的一种内置机制，用于将数据分割成多个块。当我们处理大量小文件时，可以使用Partitioner来提高处理效率。其实呢，我们可以这样来操作：比如说，按照文件的名字呀，或者文件里边的内容这些规则，把那些小文件分门别类地整理一下。就像是给不同的玩具放在不同的抽屉里一样，每个类别都单独放到一个文件夹里面去存储，这样一来就清清楚楚、井井有条啦！这样一来，每次我们要读取文件的时候，就只需要瞄一眼一个文件夹里的内容，压根不需要把整个目录下的所有文件都翻个底朝天。下面是一个简单的例子，展示如何使用Partitioner来处理小文件： python val partitioner = new HashPartitioner(5) val rdd = sc.textFile("/path/to/files/") .map(line => (line.split(",").head, line)) .partitionBy(partitioner) val output = rdd.saveAsTextFile("/path/to/output/") 在这个例子中，我们首先使用textFile函数从指定目录下读取文本文件，并将其转化为RDD。接着，我们运用一个叫做map的神奇小工具，就像魔法师挥动魔杖那样，把每一行文本巧妙地一分为二，一部分是文件名，另一部分则是内容。然后，我们采用了一个叫做partitionBy的神奇函数，就像把RDD里的数据放进不同的小篮子里那样，按照文件名给它们分门别类。这样一来，每个“篮子”里都恰好装了5个小文件，整整齐齐，清清楚楚。最后，我们使用saveAsTextFile函数将RDD保存为文本文件。因为我们已经按照文件名把文件分门别类地放进不同的“小桶”里了，所以现在每次找文件读取的时候，就不用像无头苍蝇一样满目录地乱窜，只需要轻轻松松打开一个文件夹，就能找到我们需要的文件啦！四、结论通过以上三种方法，我们可以有效地优化Spark在读取大量小文件时的性能。Dataframe API和Spark SQL提供了简单且高效的API，可以快速处理结构化数据。Partitioner这个小家伙，就像个超级有条理的文件整理员，它能够按照特定的规则，麻利地把那些小文件分门别类放好。这样一来，当你需要读取文件的时候，就仿佛拥有了超能力一般，嗖嗖地提升读取速度，让效率飞起来！当然啦，这只是入门级别的小窍门，真正要让方案火力全开，还得瞅准实际情况灵活变通，不断打磨和优化才行。

2023-09-19 23:31:34

清风徐来-t

Beego

Beego项目实战：单元测试与集成测试在Go语言Web框架中的实现与应用，结合Ginkgo提升代码质量

...能在实际运行中对整个系统做全面健康检查啦！创建一个controller_test.go文件并添加如下内容： go package controllers import ( "net/http" "testing" "github.com/astaxie/beego" "github.com/stretchr/testify/assert" ) type MockUserService struct{} func (m MockUserService) GetUser(id int64) (User, error) { return &User{ID: id, Name: fmt.Sprintf("User %d", id)}, nil } func TestUserController_GetByID(t testing.T) { userService := &MockUserService{} ctrl := NewUserController(userService) beego.SetController(&ctrl) request, _ := http.NewRequest("GET", "/users/1", nil) response := new(http.Response) defer response.Body.Close() _ctrl := beego.NewControllerWithRequest(request) _ctrl.ServeHTTP(response, nil) if response.StatusCode != http.StatusOK { t.Fatalf("Expected status code 200 but got %d", response.StatusCode) } userData, err := getUserFromResponse(response) assert.NoError(t, err) assert.NotNil(t, userData) assert.Equal(t, "User 1", userData.Name) } func getUserFromResponse(r http.Response) (User, error) { var user User err := json.Unmarshal(r.Body, &user) return &user, err } 五、结论通过以上讲解，相信你已经掌握了如何在Beego项目中编写单元测试和集成测试，它们各自对代码质量保障和功能协作的有效性不容忽视。在实际做项目的时候，咱们得瞅准不同的应用场景，灵活选用最对口的测试方案。并且，持续打磨、改进测试覆盖面，这样一来，你的代码质量就能妥妥地更上一个台阶，杠杠的！祝你在Beego开发之旅中，既能写出高质量的代码，又能保证万无一失的功能交付！

2024-02-09 10:43:01

459

落叶归根-t

Dubbo

Dubbo异步调用：分布式系统中的性能优化实践

... 引言在构建分布式系统时，选择合适的远程过程调用（RPC）框架至关重要。嘿，你知道Dubbo吗？这家伙在编程圈里可是相当火的，尤其是一群爱搞大项目的大佬们。它就像个武林高手，用的招式既简单又狠，而且特别能应对那些复杂的分布式场景，简直就是程序员们的得力助手。它的API设计得简洁明了，用起来就像喝下午茶一样轻松，但威力却一点不减，性能杠杠的。所以，如果你是个喜欢挑战复杂系统的开发者，Dubbo绝对是你不可错过的神器！本文将深入探讨Dubbo的异步调用模式，不仅解释其原理，还将通过代码示例展示如何在实际项目中应用这一特性。 1. Dubbo异步调用的原理在传统的RPC调用中，客户端向服务器发送请求后，必须等待服务器响应才能继续执行后续操作。哎呀，你知道的，在那些超级繁忙的大系统里，咱们用的那种等待着一个任务完成后才开始另一个任务的方式，很容易就成了系统的卡点，让整个系统跑不动或者跑得慢。就像是在一条繁忙的街道上，大家都在排队等着过马路，结果就堵得水泄不通了。Dubbo通过引入异步调用机制，极大地提升了系统的响应能力和吞吐量。 Dubbo的异步调用主要通过Future接口来实现。当客户端发起异步调用时，它会生成一个Future对象，并在服务器端返回结果后，通过这个对象获取结果。这种方式允许客户端在调用完成之前进行其他操作，从而充分利用了系统资源。 2. 实现异步调用的步骤假设我们有一个简单的服务接口 HelloService，其中包含一个异步调用的方法 sayHelloAsync。 java public interface HelloService { CompletableFuture sayHelloAsync(String name); } @Service @Reference(async = true) public class HelloServiceImpl implements HelloService { @Override public CompletableFuture sayHelloAsync(String name) { return CompletableFuture.supplyAsync(() -> "Hello, " + name); } } 在这段代码中，HelloService 接口定义了一个异步方法 sayHelloAsync，它返回一个 CompletableFuture 类型的结果。哎呀，兄弟！你瞧，咱们的HelloServiceImpl就像个小机灵鬼，它可聪明了，不仅实现了接口，还在sayHelloAsync方法里玩起了高科技，用CompletableFuture.supplyAsync这招儿，给咱们来了个异步大戏。这招儿一出，嘿，整个程序都活了起来，后台悄悄忙活，不耽误事儿，等干完活儿，那结果直接就送到咱们手里，方便极了！ 3. 客户端调用异步方法在客户端，我们可以通过调用 Future 对象的 thenAccept 方法来处理异步调用的结果，或者使用 whenComplete 方法来处理结果和异常。 java @Autowired private HelloService helloService; public void callHelloAsync() { CompletableFuture future = helloService.sayHelloAsync("World"); future.thenAccept(result -> { System.out.println("Received response: " + result); }); } 这里，我们首先通过注入 HelloService 实例来调用 sayHelloAsync 方法，然后使用 thenAccept 方法来处理异步调用的结果。这使得我们在调用方法时就可以进行其他操作，而无需等待结果返回。 4. 性能优化与实战经验在实际应用中，利用Dubbo的异步调用可以显著提升系统的性能。例如，在电商系统中，商品搜索、订单处理等高并发场景下，通过异步调用可以避免因阻塞等待导致的系统响应延迟，提高整体系统的响应速度和处理能力。同时，合理的异步调用策略也需要注意以下几点： - 错误处理：确保在处理异步调用时正确处理可能发生的异常，避免潜在的错误传播。 - 超时控制：为异步调用设置合理的超时时间，避免长时间等待单个请求影响整个系统的性能。 - 资源管理：合理管理线程池大小和任务队列长度，避免资源过度消耗或任务积压。结语通过本文的介绍，我们不仅了解了Dubbo异步调用的基本原理和实现方式，还通过具体的代码示例展示了如何在实际项目中应用这一特性。哎呀，你知道吗？当咱们玩儿的分布式系统越来越复杂，就像拼积木一样，一块儿比一块儿大，这时候就需要一个超级厉害的工具来帮我们搭房子了。这个工具就是Dubbo，它就像是个万能遥控器，能让我们在不同的小房间（服务）之间畅通无阻地交流，特别适合咱们现在搭建高楼大厦（分布式应用）的时候用。没有它，咱们可得费老鼻子劲儿了！兄弟，掌握Dubbo的异步调用这招，简直是让你的程序跑得飞快，就像坐上了火箭！而且，这招还能让咱们在设计程序时有更多的花样，就像是厨师有各种调料一样，能应付各种复杂的菜谱，无论是大鱼大肉还是小清新，都能轻松搞定。这样，你的系统就既能快又能灵活，简直就是程序员界的武林高手嘛！

2024-08-03 16:26:04

340

春暖花开

知识学习

实践的时候请根据实际情况谨慎操作。

随机学习一条linux命令：

curl -I http://example.com - 获取HTTP头部信息。