[配置中心实时更新配置信息 ]的搜索结果

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 改编自微信公众号：前端js动力节点。 webpack这个单词，我们可以拆开来读：web、pack。 pack是啥意思？打包，对吧？ 所以webpack的核心就是打包，将所有的资源全部打包压成一个个模块，就像酱紫滴： 我们这节课重点讲一下css的打包。 有同学就犯嘀咕了： 你说js打包我还能理解，而css打包是个什么卵？css还用打包？开什么国际玩笑？ 这种质疑不无道理。 因为从传统观点来看，css生下来就是个二等公民。js开始也是个二流货色，但经过这几年的努力，人家已经洗白白成了白富美；而css呢，好容易折腾到css3，虽然整了容，变的漂亮了些，但仍不登大雅之堂，不受人待见。 大家都是二等公民出身，为啥你js能起来，我就不行？css心中一万头草泥马奔过，难道这就是命运的安排？ 人贵在有自知之明。当人生遇到低谷，最重要的是反思自己，而不是跟个怨妇一样抱怨。 css为啥无法成为白富美？ 首先，可能是因其语法简单，没有什么挑战性；其次，大家也不怎么重视css的规范性。在传统模式下，css都是一股脑写在一个大文件里，然后加载到网页的，这样就直接导致了管理上的混乱： 在css增量开发时，要时刻注意命名空间问题；到了调试阶段，又不得不依赖谷歌控制台或firebug的元素定位，有时父类的某个属性影响了子类，导致修改子类样式无法达到预期。。。。 自从有了react和vue，css的灵魂得到了救赎。这两种框架均提出组件化编程的思想，也就是将html，css，js均凝聚成一个不可分割的小部件，留出对外通信的接口，然后灵活组合使用，譬如下图所示： 这样一来，css就有了打包的可能性。打包的好处是： css也有了模块化，可以不用再关心命名空间问题，只需专心将这个部件渲染好，出了问题也更容易定位追踪。 知其然知其所以然，我们搞懂了为啥css要打包的道理，下面就可以愉快而主动的学习了。 仔细权衡了一下，这里我并不打算引入react或vue讲解，因为这样会增加大家理解上的负担。学习新东西，最忌讳的就是学了这个又牵扯到那个，结果精力分散重点转移，到最后很可能一个都没搞懂，还增加了自己的挫败感。 为了简单起见，我们仍旧沿用前面那个案例做讲解，先把这个webpack玩转再说。 咱们看一下具体玩法。首先还是安装插件，这里我们需要两个工具： npm install style-loadernpm install css-loader 原料有了，我们做一下测试文件做测试。我们首先新建一个style.css文件，目录结构如下： style.css: .content {color: red;} 很简单，就是一个样式类。然后我们改一下helloworld.js文件。 helloworld.js: // 引入css模块var styles = require('../style.css');// 输出模块module.exports = () => {// 这里使用了箭头函数，还有let和const关键字哦～～let content = "Hello ";const NAME = "ES6";var div = document.createElement('div');div.setAttribute('class', styles.content); // 使用样式类div.innerHTML = content + NAME;return div;}; 注意，这里跟我们平时写的有点不一样。 我们在建一个dom节点时，指定了一个样式类。但是这个样式类，是以包的形式存在的，也就是一个模块。 综合起来看我们这个helloworld.js模块，是不是把html，css和js凝聚成了一个小整体了呢？ 我知道你已经迫不及待的想看结果了，好吧，咱们赶紧写一下配置文件跑起来吧~~ webpack.config.js: var path = require('path');module.exports = {entry: './src/index.js',output: {path: path.resolve(__dirname, 'dist'),filename: 'bundle.js'},module: {rules: [{test: /\.js$/,exclude: /node_modules/,loader: 'babel-loader',options: {presets: ['env']} }, {test: /\.css$/,loader: 'style-loader!css-loader?modules'}]} }; 说明： style-loader和css-loader是工具名称。 !感叹号是分割符，表示两个工具都参与处理。 ?问号，其实跟url的问号一样，就是后面要跟参数的意思。 而modules这个参数呢，就是将css打包成模块。跟js打包是一样的，你不必再担心不同模块具有相同类名时造成的问题了。 我们运行一下：（我这次特地没在局部安装webpack-cli，发现可以运行，因为我昨天在全局安装了webpack-cli，之所以要在全局安装而单独局部安装不行，可能跟package.json有关，因为这里都没有用到package.json）。 如果不报错，我们打开浏览器，看一下index.html： 我们看到，样式已然生效了，但是我们打开控制台，看到class的名称并非是我们写的样式类.content,而是生成了新名称，这就说明webpack的编译生效了。 我们打开bundle.js看一下，css其实已经被打包编译到了bundle.js文件里：（太长，截了一部分） 我们看到，css打包后，存在形态已经变成了js。这没有什么可奇怪的，只有这样才能使用包的形式做管理，css本身，是无法达到这样的目的的，所以，它还是二等公民。。。。 本篇文章为转载内容。原文链接：https://blog.csdn.net/DreamFJ/article/details/81700004。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...向索引中添加、删除或更新文档。通过 IndexWriter，开发者可以创建一个新的索引或将文档添加到现有的索引中。IndexWriter 类提供了丰富的配置选项，允许开发者指定索引的存储方式、分析器等参数。使用 IndexWriter 可以简化索引创建和管理的过程，使得开发者能够专注于搜索逻辑的设计与实现。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 近期pm提出需要统计首页商品的曝光亮，由于我们的首页是用的recylerview实现的，这里就来讲下如何使用监听recylerview的滚动事件来实现子view的曝光量统计，我们这里说的view都是列表中的子item条目（子view） 先来看下统计结果图 左边是我们的列表，右边是我们统计到每个条目的曝光量。下面就来讲讲具体实现步骤。 一，activity中使用recylerview并显示数据 这里我不再啰嗦，recylerview最基础的使用。 二，监听recylerview的滚动事件OnScrollListener onScrollStateChanged：监听滚动状态 onScrolled：监听滚动 我们接下来的统计工作，就是拿这两个方法做文章。 //检测recylerview的滚动事件recyclerView.addOnScrollListener(new RecyclerView.OnScrollListener() {@Overridepublic void onScrollStateChanged(RecyclerView recyclerView, int newState) {/我这里通过的是停止滚动后屏幕上可见view。如果滚动过程中的可见view也要统计，你可以根据newState去做区分SCROLL_STATE_IDLE:停止滚动SCROLL_STATE_DRAGGING: 用户慢慢拖动SCROLL_STATE_SETTLING：惯性滚动/if (newState == RecyclerView.SCROLL_STATE_IDLE) {.....} }@Overridepublic void onScrolled(RecyclerView recyclerView, int dx, int dy) {super.onScrolled(recyclerView, dx, dy);........} });复制代码 首先再次明确下，我们要统计的是用户停止滑动时，显示在屏幕的上控件。所以我们要监测到onScrollStateChanged 方法中 newState == RecyclerView.SCROLL_STATE_IDLE 时，也就是用户停止滚动。然后在这里做文章。 三，获取屏幕内可见条目的起始位置 这里的起始位置就是指我们屏幕当中最上面和最下面条目的位置。比如下图的0就是最上面的可见条目，3就是最下面的可见条目。我们次数的曝光view就是0，1，2，3 这个时候这四个条目显示在屏幕中。我们这时就要对这4个view的曝光量进行加1 那么接下来的重点就是要去获取屏幕内可见条目的起始位置。获取到起始位置后，当前屏幕里的可见条目就都能拿到了。 而recylerview的manager正好给我们提供的有对应的方法。 findFirstVisibleItemPosition()和findLastVisibleItemPosition() 看字面意思就能知道这时干嘛用的。 但是我们的manager不止LinearLayoutManager一种，所以我们要做下区分， //这里我们用一个数组来记录起始位置int[] range = new int[2];RecyclerView.LayoutManager manager = reView.getLayoutManager();if (manager instanceof LinearLayoutManager) {range = findRangeLinear((LinearLayoutManager) manager);} else if (manager instanceof GridLayoutManager) {range = findRangeGrid((GridLayoutManager) manager);} else if (manager instanceof StaggeredGridLayoutManager) {range = findRangeStaggeredGrid((StaggeredGridLayoutManager) manager);}复制代码 LinearLayoutManager和GridLayoutManager获取起始位置方法如下 private int[] findRangeLinear(LinearLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}private int[] findRangeGrid(GridLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}复制代码 StaggeredGridLayoutManager获取起始位置有点复杂，如下 private int[] findRangeStaggeredGrid(StaggeredGridLayoutManager manager) {int[] startPos = new int[manager.getSpanCount()];int[] endPos = new int[manager.getSpanCount()];manager.findFirstVisibleItemPositions(startPos);manager.findLastVisibleItemPositions(endPos);int[] range = findRange(startPos, endPos);return range;}private int[] findRange(int[] startPos, int[] endPos) {int start = startPos[0];int end = endPos[0];for (int i = 1; i < startPos.length; i++) {if (start > startPos[i]) {start = startPos[i];} }for (int i = 1; i < endPos.length; i++) {if (end < endPos[i]) {end = endPos[i];} }int[] res = new int[]{start, end};return res;}复制代码 四，获取到起始位置以后，我们就根据位置获取到view及view中的数据 上面第三步拿到屏幕内可见条目的起始位置以后，我们就用一个for循环，获取当前屏幕内可见的所有子view for (int i = range[0]; i <= range[1]; i++) {View view = manager.findViewByPosition(i);recordViewCount(view);}复制代码 recordViewCount是我自己写的用于获取子view内绑定数据的方法 //获取view绑定的数据private void recordViewCount(View view) {if (view == null || view.getVisibility() != View.VISIBLE ||!view.isShown() || !view.getGlobalVisibleRect(new Rect())) {return;}int top = view.getTop();int halfHeight = view.getHeight() / 2;int screenHeight = UiUtils.getScreenHeight((Activity) view.getContext());int statusBarHeight = UiUtils.getStatusBarHeight(view.getContext());if (top < 0 && Math.abs(top) > halfHeight) {return;}if (top > screenHeight - halfHeight - statusBarHeight) {return;}//这里获取的是我们view绑定的数据，相应的你要去在你的view里setTag，只有set了，才能getItemData tag = (ItemData) view.getTag();String key = tag.toString();if (TextUtils.isEmpty(key)) {return;}hashMap.put(key, !hashMap.containsKey(key) ? 1 : (hashMap.get(key) + 1));Log.i("qcl0402", key + "----出现次数：" + hashMap.get(key));}复制代码 这里有几点需要注意 1，这这里起始位置的view显示区域如果不超过50%，就不算这个view可见，进而也就不统计曝光。 2，我们通过view.getTag();获取view里的数据，必须在此之前setTag()数据，我这里setTag是在viewholder中把数据set进去的 到这里我们就实现了recylerview列表中view控件曝光量的统计了。下面贴出来完整的代码给大家 package com.example.qcl.demo.xuexi.baoguang;import android.app.Activity;import android.graphics.Rect;import android.support.v7.widget.GridLayoutManager;import android.support.v7.widget.LinearLayoutManager;import android.support.v7.widget.RecyclerView;import android.support.v7.widget.StaggeredGridLayoutManager;import android.text.TextUtils;import android.util.Log;import android.view.View;import com.example.qcl.demo.utils.UiUtils;import java.util.concurrent.ConcurrentHashMap;/ 2019/4/2 13:31 author: qcl desc: 安卓曝光量统计工具类 wechat:2501902696/public class ViewShowCountUtils {//刚进入列表时统计当前屏幕可见viewsprivate boolean isFirstVisible = true;//用于统计曝光量的mapprivate ConcurrentHashMap<String, Integer> hashMap = new ConcurrentHashMap<String, Integer>();/ 统计RecyclerView里当前屏幕可见子view的曝光量 /void recordViewShowCount(RecyclerView recyclerView) {hashMap.clear();if (recyclerView == null || recyclerView.getVisibility() != View.VISIBLE) {return;}//检测recylerview的滚动事件recyclerView.addOnScrollListener(new RecyclerView.OnScrollListener() {@Overridepublic void onScrollStateChanged(RecyclerView recyclerView, int newState) {/我这里通过的是停止滚动后屏幕上可见view。如果滚动过程中的可见view也要统计，你可以根据newState去做区分SCROLL_STATE_IDLE:停止滚动SCROLL_STATE_DRAGGING: 用户慢慢拖动SCROLL_STATE_SETTLING：惯性滚动/if (newState == RecyclerView.SCROLL_STATE_IDLE) {getVisibleViews(recyclerView);} }@Overridepublic void onScrolled(RecyclerView recyclerView, int dx, int dy) {super.onScrolled(recyclerView, dx, dy);//刚进入列表时统计当前屏幕可见viewsif (isFirstVisible) {getVisibleViews(recyclerView);isFirstVisible = false;} }});}/ 获取当前屏幕上可见的view /private void getVisibleViews(RecyclerView reView) {if (reView == null || reView.getVisibility() != View.VISIBLE ||!reView.isShown() || !reView.getGlobalVisibleRect(new Rect())) {return;}//保险起见，为了不让统计影响正常业务，这里做下try-catchtry {int[] range = new int[2];RecyclerView.LayoutManager manager = reView.getLayoutManager();if (manager instanceof LinearLayoutManager) {range = findRangeLinear((LinearLayoutManager) manager);} else if (manager instanceof GridLayoutManager) {range = findRangeGrid((GridLayoutManager) manager);} else if (manager instanceof StaggeredGridLayoutManager) {range = findRangeStaggeredGrid((StaggeredGridLayoutManager) manager);}if (range == null || range.length < 2) {return;}Log.i("qcl0402", "屏幕内可见条目的起始位置：" + range[0] + "---" + range[1]);for (int i = range[0]; i <= range[1]; i++) {View view = manager.findViewByPosition(i);recordViewCount(view);} } catch (Exception e) {e.printStackTrace();} }//获取view绑定的数据private void recordViewCount(View view) {if (view == null || view.getVisibility() != View.VISIBLE ||!view.isShown() || !view.getGlobalVisibleRect(new Rect())) {return;}int top = view.getTop();int halfHeight = view.getHeight() / 2;int screenHeight = UiUtils.getScreenHeight((Activity) view.getContext());int statusBarHeight = UiUtils.getStatusBarHeight(view.getContext());if (top < 0 && Math.abs(top) > halfHeight) {return;}if (top > screenHeight - halfHeight - statusBarHeight) {return;}//这里获取的是我们view绑定的数据，相应的你要去在你的view里setTag，只有set了，才能getItemData tag = (ItemData) view.getTag();String key = tag.toString();if (TextUtils.isEmpty(key)) {return;}hashMap.put(key, !hashMap.containsKey(key) ? 1 : (hashMap.get(key) + 1));Log.i("qcl0402", key + "----出现次数：" + hashMap.get(key));}private int[] findRangeLinear(LinearLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}private int[] findRangeGrid(GridLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}private int[] findRangeStaggeredGrid(StaggeredGridLayoutManager manager) {int[] startPos = new int[manager.getSpanCount()];int[] endPos = new int[manager.getSpanCount()];manager.findFirstVisibleItemPositions(startPos);manager.findLastVisibleItemPositions(endPos);int[] range = findRange(startPos, endPos);return range;}private int[] findRange(int[] startPos, int[] endPos) {int start = startPos[0];int end = endPos[0];for (int i = 1; i < startPos.length; i++) {if (start > startPos[i]) {start = startPos[i];} }for (int i = 1; i < endPos.length; i++) {if (end < endPos[i]) {end = endPos[i];} }int[] res = new int[]{start, end};return res;} }复制代码 使用就是在我们的recylerview设置完数据以后，把recylerview传递进去就可以了。如下图： 我们统计到曝光量，拿到曝光view绑定的数据，就可以结合后面的view点击，来看下那些商品view的曝光量高，那些商品的转化率高。当然，这都是运营小伙伴的事了，我们只需要负责把曝光量统计到即可。 如果你有任何编程方面的问题，可以加我微信交流 2501902696（备注编程） by:年糕妈妈qcl 转载于:https://juejin.im/post/5ca30ad1e51d4514c01634f1 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_34150503/article/details/91475198。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 联通智慧足迹技术 本项目由联通智慧足迹投递并参与“数据猿年度金猿策划活动——2021大数据产业创新技术突破榜单及奖项”评选。 数据智能产业创新服务媒体 ——聚焦数智 · 改变商业 中国联通智慧足迹开发的SSNG多源数据处理平台，是完全自研的新一代面向行为集成的位置数据处理系统。平台沉淀海量信令处理过程中的长期经验，着力解决影响数据输出质量的核心堵点，可兼容类似信令的多种LBS数据源接入并实现自动化、标准化输出数据结果。 技术说明 SSNG多源数据处理平台技术创新部分包括： 行为矩阵：将离散的驻留信息，转化为用户的时空矩阵，通过机器学习模式识别，提取出用户的LBS行为特征。 行为集成：将用户的行为矩阵，结合搜集沉淀的土地利用&地物POI数据，为用户的驻留、出行信息赋予具体的目的，便于后续的场景化分析。 人车匹配：结合车联网LBS数据，将轨迹重合度高的“人-车”用户对，通过轨迹伴随算法识别出来，可用于判断用户的车辆保有情况。 路径拟合：解决信令数据定位不连续和受限基站布设密度等问题，引入路网拓扑数据，将用户出行链还原至真实道路上，并确定流向及关键转折点，以便于判断出行方式。 出行洞察：利用信令数据、基站数据，匹配地铁网络、高铁网络，通过机器学习算法，判定用户出行时使用的出行方式。 基于SSNG多源数据处理平台，可实现的技术突破包括： 1）全国长时序人口流动监测技术 针对运营商信令数据以及spark分布式计算平台的特点，独创了处理运营商信令数据的双层计算框架，填补了分布式机器学习方法处理运营商信令数据的空白，实现了大规模高效治理运营商大数据的愿景；研发了人口流动与现代大数据技术相结合的宏观监测仿真模型。 基于以上技术构建了就业、交通、疫情、春运等一系列场景模型，并开发了响应决策平台，实现了对我国人口就业、流动及疫情影响的全域实时监测。 2）全国长时序人口流动预测技术 即人口流动的大尺度OD预测技术，研发了人口跨区域流动OD预测模型，解决了信令大数据在量化模拟大尺度人口流动中的技术难题，形成了对全国人口流动在日、周、月不同时间段和社区、乡镇、县市不同地理尺度进行预测的先进技术，实现了2020年新冠疫情后全国返城返岗和2021年全国春节期间人口流动的高精度预测。 3）实时人口监测 实时人口监测是通过对用户手机信令进行实时处理、计算和分析，得出指定区域的实时人口数量、特征和迁徙情况。包括区域人口密度、人口数量、人口结构、人口来源、人口画像、人口迁徙、职住分析、人口预测等信息。 4）超强数据处理及AI能力 引入Bitmap大数据处理算法及Pilosa数据库集群，采用实时流式计算，集成Kafka、redis、RabbitMQ等分布式大数据处理组件，搭建自有信令大数据处理平台，使用百亿计算go-kite架构，实现毫秒级响应，实时批量处理数据达500000条 /秒，每天可处理1000亿条数据。集成AI分析能力（A/B轨），有效避免了运营商数据采集及传输过程中的时延及中断情况，大幅提高数据结果的实时性。 已获专利情况： 专利名称 专利号 出行统计方法、装置、计算机设备和可读存储介质 ZL 2020 1 0908424.3 信令数据匹配方法、装置及电子设备 ZL 2019 1 1298869.8 轨道交通用户识别方法和装置 ZL 2019 1 0755903.3 公共聚集事件识别方法、装置、计算机设备及存储介质 ZL 2020 1 1191917.6 广域高铁基站识别方法、装置、服务器及存储介质 ZL 2020 1 1325543.2 相关荣誉： 2021地理信息科技进步奖一等奖、中国测绘学会科技进步奖特等奖、2021数博会领先科技成果奖、兼容系统创新应用大赛大数据专项赛优秀奖。 开发团队 ·带队负责人：陶周天 公司CTO，北京大学理学学士。长期任职于微软等世界500强企业，曾任上市公司优炫软件VP，具备丰富的IT架构、数据安全、数据分析建模、机器学习、项目管理经验。牵头组织突破多个技术难题（人地匹配、人车匹配、室内基站优化、行为集成AI等），研发一系列技术专利。 ·团队其他重要成员：刘祖军 高级算法工程师，美国爱荷华大学计算机科学本硕，曾任职于美国俄亥俄州立大学研究院。 ·隶属机构：智慧足迹 智慧足迹数据科技有限公司是中国联通控股，京东科技参股的专业大数据及智能科技公司。公司依托中国联通卓越的数据资源和5G能力，京东科技强大的人工智能、物联网等技术和“产业X科技”能力，聚焦“人口+”大数据，连接人-物-企，成为全域数据智能科技领先服务商。 公司以P·A·Dt为核心能力，面向数字政府、智慧城市、企业数字化转型广大市场主体，专注经济治理、社会治理和企业数字化服务，构建“人口+”七大多源数据主题库，提供“人口+” 就业、经济、消费、民生、城市、企业等大数据产品平台，服务支撑国家治理现代化和国家战略，推动经济社会发展。 目前，公司已服务国家二十多个部委及众多省市政府、300+城市规划、知名企业和高校等智库、国有及股份制银行等数百家头部客户，已建成全球最强大的手机信令处理平台，是中国就业、城规、统计等领域大数据领先服务商。 相关评价 新一代SSNG多源大数据处理平台，提升了手机信令数据在空间数据计算的精度，信令处理结果对室内场景更具敏锐性，在区域范围的职住人群空间分布更加接近实际情况。 ——某央企大数据部技术负责人 新一代SSNG多源大数据处理平台，可处理实时及历史信令数据，应对不同客户应用场景。并且根据长时间序列历史数据实现人口预测，为提高数据精度可对接室内基站数据，从而提供更加准确的人员定位。 ——某企业政府事业部总监 提示：了解更多相关内容，点击文末左下角“阅读原文”链接可直达该机构官网。 《2021企业数智化转型升级服务全景图/产业图谱1.0版》 《2021中国数据智能产业图谱3.0升级版》 《2021中国企业数智化转型升级发展研究报告》 《2021中国数据智能产业发展研究报告》 ❷ 创新服务企业榜 ❸ 创新服务产品榜 ❸ 最具投资价值榜 ❺ 创新技术突破榜 ☆条漫:《看过大佬们发的朋友圈之后，我相信：明天会更好！》 联系数据猿 北京区负责人:Summer 电话：18500447861(微信) 邮箱：summer@datayuan.cn 全国区负责人:Yaphet 电话：18600591561(微信) 邮箱：yaphet@datayuan.cn 本篇文章为转载内容。原文链接：https://blog.csdn.net/YMPzUELX3AIAp7Q/article/details/122314407。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...高效性。 名词 , 实时数据处理。 解释 , 实时数据处理是指在数据产生后立即进行处理的过程，以便快速获取最新信息或做出实时决策。在文章的上下文中，实时数据处理与HBase的集成被提到，说明了HBase如何与其他系统（如流处理系统）结合，以实现数据的即时分析和决策支持，体现了大数据技术在现代业务运营中的时效性需求。

...除那些不再需要的垃圾信息。这不仅能够节省宝贵的存储资源，还能提高系统的运行效率。所以，今天咱们就来深入探讨一下，如何在Kibana中搞定这个事儿！ --- 2. 数据保留策略是什么？为什么要用它？ 2.1 什么是数据保留策略？ 简单来说，数据保留策略就是定义数据的生命周期。比如说，“只留最近30天的记录”，或者是“超过一年的就自动清掉”。你可以根据业务需求灵活设置这些规则。 2.2 为什么我们需要它？ 想象一下，如果你是一家电商平台的数据分析师，每天都会生成大量的日志文件。这些日志里可能包含了用户的购买记录、浏览行为等重要信息。不过呢，日子一长啊，那些早期的日志就变得没啥分析的意义了，反而是白白占着磁盘空间，挺浪费的。这时候，数据保留策略就能帮你解决这个问题。 再比如，如果你是一家医院的IT管理员，医疗设备产生的监控数据可能每秒都在增加。要是不赶紧把那些旧数据清理掉，系统非但会变得越来越卡，还可能出大问题，甚至直接“翻车”！所以，合理规划数据的生命周期是非常必要的。 --- 3. 如何在Kibana中设置数据保留策略？ 接下来，咱们进入正题——具体操作步骤。相信我，这并不复杂，只要跟着我的节奏走，你一定能学会！ 3.1 第一步：创建索引模式 首先，我们需要确保你的数据已经被正确地存储到Elasticsearch中，并且可以通过Kibana访问。如果还没有创建索引模式，可以按照以下步骤操作： bash 登录Kibana界面 1. 点击左侧菜单栏中的“Management”。 2. 找到“Stack Management”部分，点击“Index Patterns”。 3. 点击“Create index pattern”按钮。 4. 输入你的索引名称（例如 "logstash-"），然后点击“Next step”。 5. 选择时间字段（通常是@timestamp），点击“Create index pattern”完成配置。 > 思考点：这里的关键在于选择合适的索引名称和时间字段。如果你的时间字段命名不规范，后续可能会导致数据无法正确筛选哦！ 3.2 第二步：设置索引生命周期策略 接下来，我们要为索引创建生命周期策略。这是Kibana中最核心的部分，直接决定了数据的保留方式。 示例代码： javascript PUT _ilm/policy/my_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "50gb", "max_age": "30d" } } }, "delete": { "min_age": "1y", "actions": { "delete": {} } } } } } 这段代码的意思是： - 热阶段（Hot Phase）：当索引大小达到50GB或者超过30天时，触发滚动操作。 - 删除阶段（Delete Phase）：超过1年后，自动删除该索引。 > 小贴士：这里的max_size和max_age可以根据你的实际需求调整。比如，如果你的服务器内存较小，可以将max_size调低一点。 3.3 第三步：将策略应用到索引 设置好生命周期策略后，我们需要将其绑定到具体的索引上。具体步骤如下： bash POST /my-index/_settings { "index.lifecycle.name": "my_policy", "index.lifecycle.rollover_alias": "my_index" } 这段代码的作用是将之前创建的my_policy策略应用到名为my-index的索引上。同时，通过rollover_alias指定滚动索引的别名。 --- 4. 实战案例 数据保留策略的实际效果 为了让大家更直观地理解数据保留策略的效果，我特意准备了一个小案例。假设你是一名电商公司的运维工程师，每天都会收到大量的订单日志，格式如下： json { "order_id": "123456789", "status": "success", "timestamp": "2023-09-01T10:00:00Z" } 现在，你想对这些日志进行生命周期管理，具体要求如下： - 最近3个月的数据需要保留。 - 超过3个月的数据自动归档到冷存储。 - 超过1年的数据完全删除。 实现方案： 1. 创建索引模式，命名为orders-。 2. 定义生命周期策略 javascript PUT _ilm/policy/orders_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "10gb", "max_age": "3m" } } }, "warm": { "actions": { "freeze": {} } }, "delete": { "min_age": "1y", "actions": { "delete": {} } } } } } 3. 将策略绑定到索引 bash POST /orders-/_settings { "index.lifecycle.name": "orders_policy", "index.lifecycle.rollover_alias": "orders" } 运行以上代码后，你会发现： - 每隔3个月，新的订单日志会被滚动到一个新的索引中。 - 超过3个月的旧数据会被冻结，存入冷存储。 - 超过1年的数据会被彻底删除，释放存储空间。 --- 5. 总结与展望 通过今天的分享，相信大家对如何在Kibana中设置数据保留策略有了更深的理解。虽然设置过程看似繁琐，但实际上只需要几步就能搞定。而且啊，要是咱们好好用数据保留这招，不仅能让系统跑得更快、更顺畅，还能帮咱们把那些藏在数据里的宝贝疙瘩给挖出来，多好呀！ 最后，我想说的是，技术学习是一个不断探索的过程。如果你在实践中遇到问题，不妨多查阅官方文档或者向社区求助。毕竟，我们每个人都是技术路上的探索者，一起努力才能走得更远！ 好了，今天的分享就到这里啦！如果你觉得这篇文章有用，记得点赞支持哦~咱们下次再见！

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 1.简要说一下CSS的元素分类 块级元素：div,p,h1,form,ul,li; 行内元素 : span,a,label,input,img,strong,em; <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><em>强调文本</em><br><strong>加粗文本</strong><br><dfn>定义项目</dfn><br><code>一段电脑代码</code><br><samp>计算机样本</samp><br><kbd>键盘输入</kbd><br><var>变量</var></body></html 2、HTML <audio> 标签 <audio> 标签是 HTML5 提供的用来播放音频文件的。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><audio controls><source src="/statics/demosource/horse.ogg" ><source src="/statics/demosource/horse.mp3" >您的浏览器不支持 audio 元素。</audio></body></html> 3、HTML <area> 标签 <area> 标签可以在图像上划分区域，这些区域是可以点击的，并且对应不同的操作。 <!DOCTYPE html><html><head><meta charset="utf-8"><title>W3Cschool(w3cschool.cn)</title></head><body><p>点击太阳或其他行星，注意变化：</p><img src="/statics/images/course/planets.gif" width="145" height="126" alt="Planets" usemap="planetmap"><map name="planetmap"><area shape="rect" coords="0,0,82,126" target="_blank" alt="Sun" href="/statics/images/course/sun.gif"><area shape="circle" coords="90,58,3" target="_blank" alt="Mercury" href="/statics/images/course/merglobe.gif"><area shape="circle" coords="124,58,8" target="_blank" alt="Venus" href="/statics/images/course/venglobe.gif"></map></body></html> 4、HTML <select> 标签定义及使用说明 <select> 元素用来创建下拉列表。 <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><select><option value="volvo" style="display:none">Volvo</option><option value="saab">Saab</option><option value="opel">Opel</option><option value="audi">Audi</option></select></body></html> 5、HTML <style> 标签 <style> 标签包含了 HTML 文档的样式详细，在默认情况下，在该元素内写入的样式指令将被认为是CSS。 <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title><style type="text/css">h1 {color:red;}p {color:blue;}</style></head><body><h1>这是一个标题</h1><p>这是一个段落。</p></body></html> 7、HTML <sub> 标签 包含在 _{标签和其结束标签} 中的内容会以正常内容的一半的高度显示在下方，而且通常较小，请参见下述例子： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool教程(w3cschool.cn)</title> </head><body><p>这个文本包含 _下标文本。</p><p>这个文本包含 ^上标 文本。</p></body></html> 8、HTML <summary> 标签 <summary> 标签元素作为一个<datails>元素的标题，该标题可以包含详细的信息，但是默认情况下不显示，需要单击才能显示详细信息，请参考下述示 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><details><summary>Copyright 1999-2011.</summary><p> - by Refsnes Data. All Rights Reserved.</p><p>All content and graphics on this web site are the property of the company Refsnes Data.</p></details><p><b>注意：</b>目前只有 Chrome 和 Safari 6 支持 summary 标签。</p></body></html> 9、HTML <table> 标签 <table> 标签用来定义 HTML 表格，一个简单的 HTML 表格应该包括两行两列，如下述示例所示： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool教程(w3cschool.cn)</title> </head><body><table border="1"><tr><th>Month</th><th>Savings</th></tr><tr><td>January</td><td>$100</td></tr><tr><td>February</td><td>$80</td></tr></table></body></html> 10、HTML <textarea> 标签 <textarea> 标签表示多行纯文本编辑控件，用户可在其文本区域中写入文本，请参考下述示例： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool 在线教程(w3cschool.cn)</title> </head><body><textarea rows="10" cols="30">我是一个文本框。</textarea></body></html> 11、HTML <tt> 标签 - HTML5 不支持 <tt> 标签用来改变字体样式，使标签中的文本显示为打字机文本，请参考下述例子： <!DOCTYPE html><html><body><p>This text is normal.</p><p><tt>This text is teletype text.</tt></p></body></html> 12、HTML <u> 标签 <u> 标签可以用来对标签内的文本实现下划线样式，请参考下述示例： <!DOCTYPE html><html><body><p>This is a <u>parragraph</u>.</p></body></html> 13、HTML <ul> 标签 <ul> 标签表示HTML页面中项目的无序列表，一般会以项目符号列表呈现，请参考下述例子： <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><h4>无序列表:</h4><ul><li>咖啡</li><li>茶</li><li>牛奶</li></ul></body></html> 14、HTML <video> 标签 <video> 标签可以将视频内容嵌入到HTML文档中，请参考下述示例： <!DOCTYPE html><html><body><video width="320" height="240" controls><source src="/statics/demosource/movie.mp4" type="video/mp4"><source src="/statics/demosource/movie.ogg" type="video/ogg">您的浏览器不支持 HTML5 video 标签。</video></body></html> 15、HTML <ol> 标签 <ol> 标签在 HTML 中表示有序列表，是 ordered lists 的缩写。您可以自定义有序列表的初始序号，请参考下面的实例： <!DOCTYPE html><html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body>​<ol><li>咖啡</li><li>茶</li><li>牛奶</li></ol>​<ol start="50"><li>咖啡</li><li>茶</li><li>牛奶</li></ol></body></html> 16、HTML <noframes> 标签HTML5不支持该标签 <noframes> 标签用于支持不支持 <frame> 元素的浏览器，请参考下面的示例： <html><head><meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><frameset cols="25%,50%,25%"><frame src="/statics/demosource/frame_a.htm"><frame src="/statics/demosource/frame_b.htm"><frame src="/statics/demosource/frame_c.htm"><noframes>抱歉，您的浏览器不支持 frame 属性！</noframes></frameset></html> 17、HTML <hr> 标签 <hr> 标签表示段落级元素之间的主题划分。例如，在下面的实例中我们对具有主题变化的内容使用了 <hr> 标签： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><h1>HTML</h1><p>HTML 是用于描述 web 页面的一种语言。</p><hr><h1>CSS</h1><p>CSS 定义如何显示 HTML 元素。</p></body></html> 18、HTML <h1> - <h6> 标签 <h1> - <h6> 标签用来定义 HTML 标题，表示了 HTML 网页中六个级别的标题。您可以通过下面的这个实例来看看每个级别的标题有什么区别： <!DOCTYPE html><html><head><meta charset="utf-8"><title>W3Cschool(w3cschool.cn)</title></head><body><h1>这是标题1</h1><h2>这是标题2</h2><h3>这是标题 3</h3><h4>这是标题 4</h4><h5>这是标题 5</h5><h6>这是标题 6</h6></body></html> 19、HTML <center> 标签 - HTML 5 不支持 <center> 标签控制文本的居中显示，不能在 HTML5 中使用。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p>这是一些文本。</p><center>这个文本居中对齐。</center><p>这是一些文本</p></body></html> 20、HTML <button> 标签 <button> 标签用来设置 HTML 中的按钮。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><button type="button" onclick="alert('Hello world!')">Click Me!</button></body></html> 21、HTML <br> 标签 <br> 标签是空标签，可插入一个简单的换行符。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p>使用br元素<br>在文本中<br>换行。</p></body></html> 22、HTML <dt> 标签 <dt> 标签只能够作为 <dl> 标签的一个子元素出现，常常后跟一个 <dd> 标签。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><dl><dt>咖啡</dt><dd>黑色的热饮</dd><dt>牛奶</dt><dd>白色的冷饮</dd></dl></body></html> 23、HTML <fieldset> 标签 <fieldset> 标签内的一组表单元素会在 WEB 浏览器中以特殊的方式显示，比如不同样式的边界、3D效果等。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><form><fieldset><legend>个人信息:</legend>姓名: <input type="text"><br>邮箱: <input type="text"><br>生日: <input type="text"></fieldset></form></body></html> 24、HTML <embed> 标签 <embed> 标签用来定义在页面中嵌入的内容，比如插件。比如，在下面的实例中我们嵌入了一个 flash 动画： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><embed src="/statics/demosource/helloworld.swf" tppabs="http://W3Cschool.com/tags/helloworld.swf"></body></html> 25、HTML <font> 标签 - HTML5 不支持 <font> 标签的使用示例如下所示，该标签已经过时，因此我们不建议您使用该标签。 <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p><font size="3" color="red">这是一些文本！</font></p><p><font size="2" color="blue">这是一些文本！</font></p><p><font face="verdana" color="green">这是一些文本！</font></p></body></html> 26、HTML <label> 标签 <label> 标签是一种常见的表单控件，触发对应表单控件功能，让用户在使用表单的时候能够有更好的体验。参考下述的实例： <!DOCTYPE html><html><head> <meta charset="utf-8"> <title>W3Cschool(w3cschool.cn)</title> </head><body><p>点击其中一个文本标签选中选项：</p><form action="/statics/demosource/demo-form.php"><label for="male">Male</label><input type="radio" name="sex" id="male" value="male"><br><label for="female">Female</label><input type="radio" name="sex" id="female" value="female"><br><br><input type="submit" value="提交"></form></body></html> 记录一些重要标签！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/chehec2010/article/details/85060460。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...来互相“说话”、传递信息。 JSON的基本结构其实非常简单，主要由两种元素组成： - 键值对：用冒号:分隔，左边是键（key），右边是值（value）。比如"name": "Alice"。 - 数组：用方括号[]包裹起来的一组值，可以是字符串、数字、布尔值或者嵌套的JSON对象。例如[1, 2, 3]。 示例代码： json { "name": "Alice", "age": 25, "isStudent": false, "courses": ["Math", "Science"] } 这段JSON数据描述了一个学生的信息。你看，整个结构清晰明了，只需要一点点耐心就能读懂。不过嘛，要是这儿的冒号不小心打成了等号=，那整个JSON结构可就直接“翻车”了，啥也跑不出来了！不信的话，咱们试试看。 --- 3. 冒号变等号 一个让人崩溃的小错误 说到冒号变等号，我真的有一肚子的话要说。记得有一次，我在调试一个API接口时，发现返回的数据总是出错。百思不得其解之后，我才意识到问题出在JSON格式上。原来是我手滑，把某个键值对中的冒号写成了等号。 错误示例： json { "name=Alice", "age=25", "isStudent=false", "courses=[Math, Science]" } 看到这里，你是不是也觉得特别别扭？没错，这就是典型的JSON格式错误。正常情况下，JSON中的键值对应该用冒号分隔，而不是等号。等号在这里根本不起作用，会导致整个JSON对象无法被正确解析。 那么问题来了，为什么会有人犯这样的错误呢？我觉得主要有以下几点原因： 1. 疏忽大意 有时候我们写代码太赶时间，注意力不够集中，结果就出现了这种低级错误。 2. 习惯差异 有些人可能来自其他编程语言背景，习惯了用等号作为赋值符号，结果不自觉地把这种习惯带到了JSON中。 3. 工具误导 有些文本编辑器或者IDE可能会自动补全等号，如果没有及时检查，就容易出错。 --- 4. 如何优雅地处理这种错误？ 既然知道了问题所在，接下来就是解决问题的时候啦！别急，咱们可以从以下几个方面入手： 4.1 检查与验证 首先，最直接的办法就是仔细检查你的JSON数据。如果怀疑有问题，可以使用在线工具进行验证。比如著名的[JSONLint](https://jsonlint.com/)，它可以帮你快速找出格式错误的地方。 4.2 使用正确的编辑器 选择一款适合的代码编辑器也很重要。像VS Code这样的工具不仅支持语法高亮，还能实时检测JSON格式是否正确。如果你发现等号突然冒出来，编辑器通常会立即提醒你。 4.3 编写自动化测试 对于经常需要处理JSON数据的项目，建议编写一些自动化测试脚本来确保数据格式无误。这样即使出现错误，也能第一时间发现并修复。 示例代码：简单的JSON验证函数 python import json def validate_json(data): try: json.loads(data) print("JSON is valid!") except ValueError as e: print(f"Invalid JSON: {e}") 测试用例 valid_json = '{"name": "Alice", "age": 25}' invalid_json = '{"name=Alice", "age=25"}' validate_json(valid_json) 输出: JSON is valid! validate_json(invalid_json) 输出: Invalid JSON: Expecting property name enclosed in double quotes: line 1 column 2 (char 1) --- 5. 总结 保持警惕，远离坑点 好了，今天的分享就到这里啦！通过这篇文章，希望大家对JSON解析中的冒号变等号问题有了更深刻的认识。嘿，听好了，这事儿可别小瞧了！哪怕就是一个不起眼的小标点，都有可能让整套系统“翻车”。细节这东西啊，就像是搭积木，你要是漏掉一块或者放歪了，那整个塔就悬乎了。所以呀，千万别觉得小地方无所谓，它们往往是关键中的关键！ 最后，我想说的是，学习编程的过程就是不断踩坑又爬出来的旅程。遇到问题不可怕，可怕的是我们不去面对它。只要多加练习，多积累经验，相信每个人都能成为高手！加油吧，小伙伴们！ 如果你还有其他疑问，欢迎随时来找我讨论哦~咱们下次再见啦！

...边缘计算技术的发展，实时处理的需求愈发旺盛。例如，自动驾驶汽车需要实时处理传感器数据以确保行车安全，而物联网设备则需要实时接收指令并反馈状态。在这种背景下，像Gin这样的轻量级框架显得尤为重要。特别是在中国，随着5G网络的普及，低延迟的实时通信已经成为各行各业关注的焦点。比如，某知名电商平台最近推出了基于WebSocket的实时库存更新系统，利用Gin框架实现了毫秒级别的数据同步，极大提升了用户体验。此外，清华大学的一项研究指出，使用Gin框架配合Go语言的协程机制，可以显著降低系统资源消耗，这对于需要大规模部署的实时应用来说至关重要。同时，开源社区也在不断为Gin贡献新的功能模块，比如支持更复杂的认证机制和数据加密。这些进展不仅推动了Gin框架的迭代，也为开发者提供了更多可能性。值得注意的是，尽管Gin在实时处理方面表现出色，但在面对极端高并发场景时，仍需结合其他技术手段，如负载均衡器和分布式缓存，以确保系统的稳定性和可靠性。总之，随着技术的不断进步，像Gin这样的工具将继续在实时处理领域发挥重要作用，助力各行各业实现数字化转型。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 英特尔oneAPI——异构计算学习总结 oneAPI编程模型 多架构编程面临的挑战 SYCL DPC++ 编译和运行DPC++程序 编程实例 实现矢量加法 queue类 Parallel kernel 通用的并行编程模板 Host Accessor 矢量相加源代码 统一共享内存 (Unified Shared Memory USM) USM语法 数据依赖 wait() depends_on in_order queue property 练习1：事件依赖 练习2：事件依赖 UMS实验 oneAPI编程模型 oneAPI编程模型提供了一个全面、统一的开发人员工具组合，可用于各种硬件设备，其中包括跨多个工作负载领域的一系列性能库。这些库包括面向各目标架构而定制化代码的函数，因此相同的函数调用可为各种支持的架构提供优化的性能。DPC++基于行业标准和开放规范，旨在鼓励生态系统的协作和创新。 多架构编程面临的挑战 在以数据为中心的环境中，专用工作负载的数量不断增长。专用负载通常因为没有通用的编程语言或API而需要使用不同的语言和库进行编程，这就需要维护各自独立的代码库。 由于跨平台的工具支持不一致，因此开发人员必须学习和使用一整套不同的工具。单独投入精力给每种硬件平台开发软件。 oneAPI则可以利用一种统一的编程模型以及支持并行性的库，支持包括CPU、GPU、FPGA等硬件等同于原生高级语言的开发性能，并且可以与现有的HPC编程模型交互。 SYCL SYCL支持C++数据并行编程，SYCL和OpenCL一样都是由Khronos Group管理的，SYCL是建立在OpenCL之上的跨平台抽象层，支持用C++用单源语言方式编写用于异构处理器的与设备无关的代码。 DPC++ DPC++(Data Parallel C++)是一种单源语言，可以将主机代码和异构加速器内核写在同一个文件当中，在主机中调用DPC++程序，计算由加速器执行。DPC++代码简洁且效率高，并且是开源的。现有的CUDA应用、Fortran应用、OpenCL应用都可以用不同方式很方便地迁移到DPC++当中。 下图显示了原来使用不同架构的HPC开发人员的一些推荐的转换方法。 编译和运行DPC++程序 编译和运行DPC++程序主要包括三步： 初始化环境变量 编译DPC++源代码 运行程序 例如本地运行，在本地系统上安装英特尔基础工具套件，使用以下命令编译和运行DPC++程序。 source /opt/intel/inteloneapi/setvars.shdpcpp simple.cpp -o simple./simple 编程实例 实现矢量加法 以下实例描述了使用DPC++实现矢量加法的过程和源代码。 queue类 queue类用来提交给SYCL执行的命令组，是将作业提交到运算设备的一种机制，多个queue可以映射到同一个设备。 Parallel kernel Parallel kernel允许代码并行执行，对于一个不具有相关性的循环数据操作，可以用Parallel kernel并行实现 在C++代码中的循环实现 for(int i=0; i < 1024; i++){a[i] = b[i] + c[i];}); 在Parallel kernel中的并行实现 h.parallel_for(range<1>(1024), [=](id<1> i){A[i] = B[i] + C[i];}); 通用的并行编程模板 h.parallel_for(range<1>(1024), [=](id<1> i){// CODE THAT RUNS ON DEVICE }); range用来生成一个迭代序列，1为步长，在循环体中，i表示索引。 Host Accessor Host Accessor是使用主机缓冲区访问目标的访问器，它使访问的数据可以在主机上使用。通过构建Host Accessor可以将数据同步回主机，除此之外还可以通过销毁缓冲区将数据同步回主机。 buf是存储数据的缓冲区。 host_accessor b(buf,read_only); 除此之外还可以将buf设置为局部变量，当系统超出buf生存期，buf被销毁，数据也将转移到主机中。 矢量相加源代码 根据上面的知识，这里展示了利用DPC++实现矢量相加的代码。 //第一行在jupyter中指明了该cpp文件的保存位置%%writefile lab/vector_add.cppinclude <CL/sycl.hpp>using namespace sycl;int main() {const int N = 256;// 初始化两个队列并打印std::vector<int> vector1(N, 10);std::cout<<"\nInput Vector1: "; for (int i = 0; i < N; i++) std::cout << vector1[i] << " ";std::vector<int> vector2(N, 20);std::cout<<"\nInput Vector2: "; for (int i = 0; i < N; i++) std::cout << vector2[i] << " ";// 创建缓存区buffer vector1_buffer(vector1);buffer vector2_buffer(vector2);// 提交矢量相加任务queue q;q.submit([&](handler &h) {// 为缓存区创建访问器accessor vector1_accessor (vector1_buffer,h);accessor vector2_accessor (vector2_buffer,h);h.parallel_for(range<1>(N), [=](id<1> index) {vector1_accessor[index] += vector2_accessor[index];});});// 创建主机访问器将设备中数据拷贝到主机当中host_accessor h_a(vector1_buffer,read_only);std::cout<<"\nOutput Values: ";for (int i = 0; i < N; i++) std::cout<< vector1[i] << " ";std::cout<<"\n";return 0;} 运行结果 统一共享内存 (Unified Shared Memory USM) 统一共享内存是一种基于指针的方法，是将CPU内存和GPU内存进行统一的虚拟化方法，对于C++来说，指针操作内存是很常规的方式，USM也可以最大限度的减少C++移植到DPC++的代价。 下图显示了非USM(左)和USM(右)的程序员开发视角。 类型 函数调用 说明 在主机上可访问 在设备上可访问 设备 malloc_device 在设备上分配（显式） 否 是 主机 malloc_host 在主机上分配（隐式） 是 是 共享 malloc_shared 分配可以在主机和设备之间迁移（隐式） 是 是 USM语法 初始化： int data = malloc_shared<int>(N, q); int data = static_cast<int >(malloc_shared(N sizeof(int), q)); 释放 free(data,q); 使用共享内存之后，程序将自动在主机和运算设备之间隐式移动数据。 数据依赖 使用USM时，要注意数据之间的依赖关系以及事件之间的依赖关系，如果两个线程同时修改同一个内存区，将产生不可预测的结果。 我们可以使用不同的选项管理数据依赖关系： 内核任务中的 wait() 使用 depends_on 方法 使用 in_queue 队列属性 wait() q.submit([&](handler &h) {h.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });}).wait(); // <--- wait() will make sure that task is complete before continuingq.submit([&](handler &h) {h.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });}); depends_on auto e = q.submit([&](handler &h) { // <--- e is event for kernel taskh.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });});q.submit([&](handler &h) {h.depends_on(e); // <--- waits until event e is completeh.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });}); in_order queue property queue q(property_list{property::queue::in_order()}); // <--- this will make sure all the task with q are executed sequentially 练习1：事件依赖 以下代码使用 USM，并有三个提交到设备的内核。每个内核修改相同的数据阵列。三个队列之间没有数据依赖关系 为每个队列提交添加 wait() 在第二个和第三个内核任务中实施 depends_on() 方法 使用 in_order 队列属性，而非常规队列： queue q{property::queue::in_order()}; %%writefile lab/usm_data.cppinclude <CL/sycl.hpp>using namespace sycl;static const int N = 256;int main() {queue q{property::queue::in_order()};//用队列限制执行顺序std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";int data = static_cast<int >(malloc_shared(N sizeof(int), q));for (int i = 0; i < N; i++) data[i] = 10;q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 2; });q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 3; });q.parallel_for(range<1>(N), [=](id<1> i) { data[i] += 5; });q.wait();//wait阻塞进程for (int i = 0; i < N; i++) std::cout << data[i] << " ";std::cout << "\n";free(data, q);return 0;} 执行结果 练习2：事件依赖 以下代码使用 USM，并有三个提交到设备的内核。前两个内核修改了两个不同的内存对象，第三个内核对前两个内核具有依赖性。三个队列之间没有数据依赖关系 %%writefile lab/usm_data2.cppinclude <CL/sycl.hpp>using namespace sycl;static const int N = 1024;int main() {queue q;std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";//设备选择int data1 = malloc_shared<int>(N, q);int data2 = malloc_shared<int>(N, q);for (int i = 0; i < N; i++) {data1[i] = 10;data2[i] = 10;}auto e1 = q.parallel_for(range<1>(N), [=](id<1> i) { data1[i] += 2; });auto e2 = q.parallel_for(range<1>(N), [=](id<1> i) { data2[i] += 3; });//e1,e2指向两个事件内核q.parallel_for(range<1>(N),{e1,e2}, [=](id<1> i) { data1[i] += data2[i]; }).wait();//depend on e1,e2for (int i = 0; i < N; i++) std::cout << data1[i] << " ";std::cout << "\n";free(data1, q);free(data2, q);return 0;} 运行结果 UMS实验 在主机中初始化两个vector，初始数据为25和49，在设备中初始化两个vector，将主机中的数据拷贝到设备当中，在设备当中并行计算原始数据的根号值，然后将data1_device和data2_device的数值相加，最后将数据拷贝回主机当中，检验最后相加的和是否是12，程序结束前将内存释放。 %%writefile lab/usm_lab.cppinclude <CL/sycl.hpp>include <cmath>using namespace sycl;static const int N = 1024;int main() {queue q;std::cout << "Device : " << q.get_device().get_info<info::device::name>() << "\n";//intialize 2 arrays on hostint data1 = static_cast<int >(malloc(N sizeof(int)));int data2 = static_cast<int >(malloc(N sizeof(int)));for (int i = 0; i < N; i++) {data1[i] = 25;data2[i] = 49;}// STEP 1 : Create USM device allocation for data1 and data2int data1_device = static_cast<int >(malloc_device(N sizeof(int),q));int data2_device = static_cast<int >(malloc_device(N sizeof(int),q));// STEP 2 : Copy data1 and data2 to USM device allocationq.memcpy(data1_device, data1, sizeof(int) N).wait();q.memcpy(data2_device, data2, sizeof(int) N).wait();// STEP 3 : Write kernel code to update data1 on device with sqrt of valueauto e1 = q.parallel_for(range<1>(N), [=](id<1> i) { data1_device[i] = std::sqrt(25); });auto e2 = q.parallel_for(range<1>(N), [=](id<1> i) { data2_device[i] = std::sqrt(49); });// STEP 5 : Write kernel code to add data2 on device to data1q.parallel_for(range<1>(N),{e1,e2}, [=](id<1> i) { data1_device[i] += data2_device[i]; }).wait();// STEP 6 : Copy data1 on device to hostq.memcpy(data1, data1_device, sizeof(int) N).wait();q.memcpy(data2, data2_device, sizeof(int) N).wait();// verify resultsint fail = 0;for (int i = 0; i < N; i++) if(data1[i] != 12) {fail = 1; break;}if(fail == 1) std::cout << " FAIL"; else std::cout << " PASS";std::cout << "\n";// STEP 7 : Free USM device allocationsfree(data1_device, q);free(data1);free(data2_device, q);free(data2);// STEP 8 : Add event based kernel dependency for the Steps 2 - 6return 0;} 运行结果 本篇文章为转载内容。原文链接：https://blog.csdn.net/MCKZX/article/details/127630566。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...横向扩展，以及单机的配置，cpu+内存，内存越高越好，elasticsearch比较吃内存！），它一定会给你很好的性能反应。试想，公司里的app打印线上日志的行数其实可比一般业务系统产生的订单数量要大很多很多，elasticsearch都可以常在日志的实时分析，所以如果你要做通用场景，而且机器资源不是问题，这是完全行得通的。 3.2.2 易用性和可玩性 此外，在使用elasticsearch的时候，会有很多的可玩性。这里不引经据典，呈现很多elasticsearch官方文章的列举优秀特性（当然，确实很优秀！）。 这里举几个例子： （1）中文分词：第一章提到的其它引擎几乎很难实现，elasticsearch对分词器的支持是原生的，因为elasticsearch天生就为全文索引而生，elasticsearch的汉语名字就是“弹性搜索”。这家伙可是专门搞搜索的！ 有的朋友可能不了解分词器，比如你的一个字段里存储“今天我要吃冰激凌”，在分词器的加持下，es最终会存储为“今天|我|要|吃|冰激凌”，并且使用倒排索引的形式进行存储。当你搜索“冰激凌”的时候，可以很快的反馈回来。 关于elasticsearch的原理，这里不展开说明，分词器和倒排索引是elasticsearch的最基本的概念。如果有不了解的朋友，可以自行百度一下。而且这两个概念，与elasticsearch其实不挂钩，是搜索中的通用概念。 关于倒排索引，其核心表现如下图： 如果你要用mysql、mongo实现中文分词，这......其实挺麻烦的，可能在后面的版本支持中会实现的很好，但在当前的流行版本中，它们对中文分词是不够友好的。 mysql5.7之后支持外挂第三方分词器，支持中文分词。而在数据量较大的情况下，mysql的多机器部署几乎很难实现，elasticsearch可以很容易的水平扩展。 mongo支持西方语言的分词，但不支持中文、日语、汉语等东方语言，你需要在自己的逻辑代码中实现分词器。 ngram分词，你看看效果：依旧是“今天我要吃冰激凌”，ngram二元分词后即将得到结果“今天、天我、我要、要吃、吃冰、冰激、激凌”。这....，那你搜索冰激凌就搜不出来！咋办呢，当然可以使用三元分词。但是更好的解决方案还是中文分词器，但它们原生并不支持的。 （2）自定义排名场景：比如你的搜索“冰激凌”，结果中返回了有10条，这10条应该有你想对它指定的顺序。最简单的就是用默认的得分，但是如果你想人为干预这个得分怎么办？ elasticsearch支持function_score功能（可以不用，这个是增强功能），es会在计算最终得分之前回调这个你指定的function_score回调函数，传入原始得分、行的原始数据，你可以在里面做计算，比如查询其它参考表、或查看是否是广告位，以得到新的score返回给用户。 function_scrore的功能不展开描述，是一个在自定义得分场景下十分有用又简单易用的功能！下面是一个使用示例，不仅如此，它是支持自定义函数的，自由度非常高。 （3）文本高亮：你用mysql或mongo也可以实现，比如用户搜索“冰激凌”，你只需要在逻辑代码中对“冰激凌”替换为“<span class='highlight-term'>冰激凌</span>”，然后前端做样式即可。但如果用户搜索了“好吃的冰激凌”咋办呢？还有就是英文大小写的场景，用户搜索"MAIN"，那结果及时匹配到了“main”（小写的），这个单词是否应该高亮呢？也许这时候你会用业务代码实现toLowerCase下基于位置下标的匹配。 挺麻烦的吧，elasticsearch，自动可以返回高亮字段！并且可以自由指定高亮的html前后标签。 （4）实在太多了....这家伙天生为索引而生，而且版本还在不断地迭代。不差机器的话，用用吧！ 4. 退而求其次 4.1 普通数据库 尽管elasticsearch在搜索场景下，是非常好用的利器！但是它比较消耗机器资源，如果你的数据规模并不大，而且想快速实现功能。你可以使用mysql或mongo来代替，完全没有问题。 技术是为了解决特定业务场景下的问题，结合当前手头的资源，适合自己的才是最好的。也许你搞了一个单机器的elasticsearch，单机器内存只有2G，它的表现并不会比mysql、mongo来的好。 当然，如果你为了使用上边提到的一些优秀的独有的特性，那elasticsearch一定还是最佳选择！ 对于mysql（关系型数据库）和mongo（文档数据库）的区别这里不展开描述了，但对于搜索而言，两种都合适。有时候选型也不用很纠结，其实都是差不太多的东西，适合自己的、自己熟悉的、运维起来顺手的，就是最好的。 4.2 普通数据库实现中文分词搜索的原理 尽管mysql在5.7以后支持外挂第三方分词器，mongo在截止目前的版本中也不支持中文分词（你可能会看到一些文章中说可以指定language为chinese，但其实会报错的）。 其实当你选择普通数据库，你就不得不在逻辑代码中自己实现一套索引分词+搜索分词逻辑。 索引分词+搜索分词？为什么分开写，如果你有用过elasticsearch或solr，你会知道，在指定字段的时候，需要指定index分词器和search分词器。 下面以mongo为例做简要说明。 4.2.1 index分词器 意思是当数据“索引”截断如何分词。首先，这里必须要承认，数据之后存储了，才能被查询。在搜索中，这句话可以换成是“数据只有被索引了，才能被搜索”。 这时候请求打过来了，要索引一条数据，其中某字段是“今天我要吃冰激凌”，分词后得到“今天|我|要|吃|冰激凌”，这个就可以入库了。 如果你使用elasticsearch或solr，这个过程是自动的。如果你使用不支持外观分词器的常规数据库，这个过程你就要手动了，并把分词后的结果用空格分开（最好使用空格，因为西方语言的分词规则就是按空格拆分，以及逗号句号），存入数据库的一个待搜索的字段上。 效果如下图： 本站的其它博文中有介绍IKAnalyzer：https://www.52itw.com/java/6268.html 4.2.2 search分词器 当用户的查询请求打过来，用户输入了“好吃的冰激凌”，分词后得到“好吃|冰激凌”（“的”作为停用词stopwords，被自动忽略了，IKAnalyzer可以指定停用词表）。 于是这时候就回去上图的数据库表里面搜索“好吃 冰激凌”（与index分词器结果统一，还是用空格分隔）。 当然，对于mongo而言，你需要事先开启全文索引db.xxx.ensureIndex({content: "text"})，xxx是集合名，content是字段名，text是全文索引的标识。 mongo搜索的时候用这个语法：db.xxx.find( { $text: { $search: "好吃 冰激凌" } },{ score: { $meta: "textScore" } }).sort( { score: { $meta: "textScore" } } ) 4.2.3 索引库和存储库分开 为了减少单表的大小，为了让普通的列表查询、普通筛选可以跑的更快，你可以对原有的数据原封不动的做一张表。 然后对于搜索场景，再单独对需要被搜索的字段单独拎一张表出来！ 然后二者之间做增量信号同步或定时差额同步，可能会有延迟，这个就看你能容忍多长时间（悄悄告诉你，elasticsearch也需要指定这个refresh时间，一般是1s到几秒、甚至分钟级。当然，二者的这个时间对饮的底层目的是不一样的）。 这样，搜索的时候先查询搜索库，拿到一个指针id的列表，然后拿到指针id的列表区存储里把数据一次性捞出来。当然，也是支持分页的，你查询搜索库其实也是普通的数据库查询嘛，支持分页参数的。 4.3 存储库和索引库的延伸阅读 很多有名的开源软件也是使用的存储库与索引库分离的技术方案，如apache atlas： apache atlas对于大数据领域的数据资产元数据管理、数据血缘上可谓是专家，也涉及资产搜索的特性，它的实现思路就是：从搜索库中做搜索、拿到key、再去存储库中做查询。 搜索库：上图右下角，可以看到使用的是elasticsearch、solr或lucene，多个选一个 存储库：上图左下角，可以看到使用的是Cassandra、HBase或BerkeleyDB，多个选一个 虽然apache atlas在只有搜索库或只有存储库的时候也可以很好的工作，但只针对于数据量并不大的场景。 搜索库，擅长搜索！存储库，擅长海量存储！搜索库多样化搜索，然后去存储库做点查。 当你的数据达到海量的时候，es+hbase也是一种很好的解决方案，不在这里展开说明了。

...基础的技术模块，一旦配置不当或监控缺失，也可能成为系统瓶颈。 据内部人士透露，此次故障的主要原因在于连接池的回收策略设置过于保守，未能及时释放空闲连接，加之高峰时段请求激增，使得可用连接迅速耗尽。尽管该公司事后紧急调整了相关参数，并引入了更智能的负载均衡算法，但损失的用户体验和经济成本已难以挽回。这起事故引发了业内对数据库连接池最佳实践的重新审视。 实际上，类似的案例并非孤例。早在2022年，某大型金融科技公司也因连接池配置不当导致交易系统瘫痪。事后调查显示，其问题根源同样在于对连接池生命周期管理的忽视。专家指出，现代分布式系统的设计应更加注重自动化运维能力，例如通过AI驱动的监控平台实时检测连接池状态，预测潜在风险，并提前采取措施。此外，开源社区也在积极完善相关工具，如HikariCP等高性能连接池库，提供了更为精细的配置选项和诊断功能。 对于开发者而言，除了掌握基本的连接池配置知识外，还需要结合实际业务场景进行压力测试，模拟各种极端情况，从而制定更具弹性的策略。同时，定期回顾和优化系统架构也是必不可少的一环。正如一位资深架构师所言：“技术迭代日新月异，但安全与稳定始终是底线。”在未来，随着更多智能化技术的应用，相信这类问题将逐步得到缓解，为企业创造更大的价值。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 pi-hole Lots of folks ask me about Raspberry Pis. How many I have, what I use them for. At last count there's at least 22 Raspberry Pis in use in our house. 很多人问我关于树莓派。 我有多少，我用它们做什么。 最后算一下，我们家至少有22台Raspberry Pi。 One runs our dakboard family dashboard that we built in a weekend but use every day. 一个运行在周末建立但每天使用的dakboard系列仪表板。 We have at 3 that are set up for retrogaming - one in a 3d printed Gameboy (A pi-grrl, in fact), one in a X-Arcade Tankstick, one in a tiny laser-cut arcade case for the desktop. 我们有3个可以进行复古游戏的游戏-一个是3D打印的Gameboy (实际上是pi-grrl )，一个是X-Arcade Tankstick ，一个是用于台式机的小型激光切割游戏机。 I have a Raspberry Pi that runs one of my 3D Printers running Octoprint. This one also has as camera and does time-lapse videos of my 3D prints. 我有一台Raspberry Pi，它运行我的一台运行Octoprint的3D打印机。 这也有作为相机，并播放我的3D打印的延时视频。 We have another 3 that run little robots my sons and I have built 我们还有3个运行着我儿子和我建造的小机器人 6 are running in a local Kubernetes Cluster 6在本地Kubernetes集群中运行 These 6 Pis are my personal cloud, so maybe there's 16 Pis in the house and one Pi Cloud/Cluster. 这6个Pis是我的个人云，所以也许房子里有16个Pis和一个Pi Cloud / Cluster。 6 are running in a local Kubernetes Cluster 6在本地Kubernetes集群中运行 One is an internet radio in the 13 year old's room running PiMusicBox. 一个是13岁的房间里运行PiMusicBox的互联网广播。 One is a touchscreen tablet the 11 year old uses for Scratch. Imagine a Linux iPad. 一个是11岁的Scratch使用的触摸屏平板电脑。 想象一下一个Linux iPad。 One runs Kodi as an entertainment center in the kids' play room. 其中一个将科迪作为儿童游乐室的娱乐中心。 One lives in a CrowPi that we use for experiments and .NET Core remote debugging. 一个住在我们用于实验和.NET Core远程调试的CrowPi中。 Another three are Raspbery Pi Zero Ws for various experiments with one Pi Zero W acting as as backup Open Source Artificial Pancreas. 另外三个是Raspbery Pi Zero Ws，用于各种实验，其中一个Pi Zero W作为备用开源人工胰腺。 and most recently one is a Pi-hole. A Black hole that eats tracking cookies, advertising, and other bad stuff. See also "shut your pie hole." AKA that place you put pie. 最近的一个是PiKong。 一个黑洞，它吞噬了跟踪Cookie，广告和其他不良内容。 另请参阅“关闭派Kong” 。 又就是你放馅饼的那个地方。 A Pi-hole is a Raspbery Pi appliance that takes the form of an DNS blocker at the network level. You image a Pi, set up your network to use that Pi as a DNS server and maybe white-list a few sites when things don't work. PiKong是Raspbery Pi设备，在网络级别采用DNS阻止程序的形式。 您对Pi进行映像，将网络设置为将该Pi用作DNS服务器，并在无法正常工作时将一些站点列入白名单。 I was initially skeptical, but I'm giving it a try. It doesn't process all network traffic, it's a DNS hop on the way out that intercepts DNS requests for known problematic sites and serves back nothing. 最初我对此表示怀疑，但现在尝试一下。 它不会处理所有网络流量，它是途中的DNS跃点，可拦截对已知问题站点的DNS请求，并且不提供任何服务。 Installation is trivial if you just run unread and untrusted code from the 'net ;) 如果您只是从'net;)运行未读和不受信任的代码，则安装很简单。 curl -sSL https://install.pi-hole.net | bash Otherwise, follow their instructions and download the installer, study it, and run it. 否则，请遵循他们的指示并下载安装程序，对其进行研究并运行。 I put my pi-hole installation on the metal, but there's also a very nice Docker Pi-hole setup if you prefer that. You can even go further, if, like me, you have Synology NAS which can also run Docker, which can in turn run a Pi-hole. 我将pi-hole安装在金属上，但是如果您愿意的话，还有一个非常好的Docker Pi-hole设置。 如果像我一样，如果您拥有也可以运行Docker的Synology NAS ，那么它甚至可以运行Pi-hole，您甚至可以走得更远。 Within the admin interface you can tail the logs for the entire network, which is also amazing to see. You think you know what's talking to the internet from your house - you don't. Everything is logged and listed. After installing the Pi-hole roughly 18% of the DNS queries heading out of my house were blocked. At one point over 23% were blocked. Oy. 在管理界面中，您可以跟踪整个网络的日志，这也很令人惊讶。 您认为自己知道从家里到互联网的谈话内容，而您却不知道。 一切都记录并列出。 安装完Pi漏洞后，大约有18％的DNS查询从我家出来。 一度超过23％被阻止。 哦 NOTE: If you're using an Amplifi HD or any "clever" router, you'll want to change the setting "Bypass DNS cache" otherwise the Amplifi will still remain the DNS lookup of choice on your network. This setting will also confuse the Pi-hole and you'll end up with just one "client" of the Pi-hole - the router itself. 注意：如果您使用Amplifi HD或任何“智能”路由器，则需要更改设置“绕过DNS缓存”，否则Amplifi仍将是您网络上首选的DNS查找。 此设置还会混淆PiKong，您最终只会得到PiKong的一个“客户端”，即路由器本身。 For me it's less about advertising - especially on small blogs or news sites I want to support - it's about just obnoxious tracking cookies and JavaScript. I'm going to keep using Pi-hole for a few months and see how it goes. Do be aware that some things WILL break. Could be a kid's iPhone free-to-play game that won't work unless it can download an add, could be your company's VPN. You'll need to log into http://pi.hole/admin (make sure you save your password when you first install, and you can only change it at the SSH command line with "pihole -a -p") and sometimes disable it for a few minutes to test, then whitelist certain domains. I suspect after a few weeks I'll have it nicely dialed in. 对我来说，它与广告无关，尤其是在我要支持的小型博客或新闻网站上，它只是关于令人讨厌的跟踪cookie和JavaScript。 我将继续使用Pi-hole几个月，看看效果如何。 请注意，有些事情会中断。 可能是一个孩子的iPhone免费游戏，除非可以下载附件，否则它将无法正常工作，可能是您公司的VPN。 您需要登录http：//pi.hole/admin (确保在首次安装时保存密码，并且只能在SSH命令行中使用“ pihole -a -p”更改密码)，有时将其禁用几分钟以进行测试，然后将某些域列入白名单。 我怀疑几周后我会拨好电话。 翻译自: https://www.hanselman.com/blog/blocking-ads-before-they-enter-your-house-at-the-dns-level-with-pihole-and-a-cheap-raspberry-pi pi-hole 本篇文章为转载内容。原文链接：https://blog.csdn.net/cunfusq0176/article/details/109051003。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...的HTTP请求获取或更新服务器上的数据资源。 套接字（Socket） , 在计算机网络编程中，套接字是一种通信机制，它是进程间通信的端点，用于在网络的不同主机之间建立连接并交换数据。在文章所描述的场景下，套接字是Web服务器与客户端进行TCP通信的基础结构，通过调用socket()函数创建，并通过一系列如Bind()、Listen()和Accept()等操作来管理和维护与客户端的连接及数据传输过程。 HTTP传输协议 , HTTP（HyperText Transfer Protocol，超文本传输协议）是一种应用层协议，常用于分布式、协作式和超媒体信息系统的应用中。在本文上下文中，HTTP传输协议定义了客户端（如Web浏览器）与服务器之间的通信格式和规则，包括请求消息的结构（如GET、POST方法以及URL、头部信息等组成部分）、响应消息的结构（如状态码、头部信息和消息体）等。通过遵循HTTP协议，Web服务器可以接收和解析客户端的请求，然后按照指定格式返回响应内容给客户端。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 望京是北京除中关村之外最大的互联网公司聚集地，这里云集了众多一线二线互联网大厂，独角兽公司，今天这篇文章推荐16家公司。正好金九银十求职黄金季节，大家可以作为参考。 阿里巴巴集团 阿里巴巴入驻望京让望京的互联网氛围更加浓厚。阿里系的企业非常多，比如阿里云、天猫、高德、阿里体育、阿里文娱、阿里健康、本地生活、阿里妈妈、达摩院、考拉、阿里影业等。 阿里的福利待遇没的说，七险一金、一般能拿到16薪、住房公积金全额缴纳、节日礼物等。 面试比较难，八股文和算法必须要多准备。 招聘的岗位也是非常多的，比如JAVA、大数据、算法等，下图从BOSS上截取的： 蚂蚁金服不在望京，在环球金融中心。 美团 美团是望京第二大互联网公司，技术氛围浓厚。事业部很多，包括酒店事业部、闪购、美团金融、优选事业部、美团买菜等。 美团的福利常常被叫做白开水福利，不过比普通公司还是要好一些，六险一金、15薪、餐补、下午茶等。 面试比阿里容易一些，不过算法和八股文也是必须要准备的。 常年招聘，岗位很多，下面岗位来自BOSS： Lazada 东南亚头部电商，而且业务还囊括了娱乐、金融和物流，业务主要服务于东南亚。工作地点在朝阳区阿里中心。 福利待遇包括六险一金、年终奖、股权、餐补交通补等。 主要招聘岗位包括java开发、游戏开发、前端、UI等。 bilibili bilibili也是非常不错的一家互联网公司，总部在上海，北京的工作地点在朝阳区东煌大厦10层。截至2021年第一季度，B站月活用户达2.23亿 福利待遇比较完备，包括六险一金、餐补、全勤奖、下午茶、股权等。 招聘岗位包括游戏服务端开发、java开发、C++开发、TA、linux内核开发等。从招聘岗位来看，java 开发并不是bilibili的热门岗位。 每日优鲜 每日优鲜近几年的发展是非常快速的，也是一家非常值得加入的公司。工作地点在万科时代中心。 工作强度比较大，工作内容也比较有挑战，晋升也比较快。建议想在技术上成长的朋友们加入。 福利待遇包括六险一金，股票期权。 招聘岗位以java为主，架构、资深、中高级都有。 BIGO BIGO主要业务在音视频领域，主要产品有Bigo Live、Likee、Hello，目前全球月活用户近4亿，产品和服务覆盖超过150个国家和地区。 福利待遇也是非常不错的，六险一金、年终奖、住房补贴、股票期权等。 主要招聘岗位包括JAVA、音视频领域后端开发。 coupang 韩国电商平台，总部在首尔，成立于2010年，是一家成熟的老牌公司，在2021年3月上市。目前国内研发团队主要在上海，在北京也有研发团队。工作地点在颐堤港。 coupang工作强度不大，不加班不内卷。福利待遇也是很不错的，包括六险一金、餐补、补充公积金、节日福利等。 招聘岗位主要包括JAVA、IOS、搜索工程师、全栈工程师等。 面试难度比较大，前后包括五轮以上面试，第一轮是电话面试，后面线程面试会有手写代码环节。 水滴公司 水滴这两年发展很快，工作地点在望京科技园。 福利待遇方面，属于互联公司中等偏上的水平，包括六险一金、补充公积金、免费健身房等。 招聘岗位JAVA居多，各种级别的都有，还有一些中间件的岗位。 据面试过水滴的求职者反馈，面试很难，对基础要求高，可能会问一些平时不太关注的非常细的问题。 keep 爱运动的小伙伴相信都熟悉keep这款软件，目前keep的用户量已经破3亿。工作地点在万科时代中心。 薪资待遇行业中等，不过该有的服务也基本都有，包括六险一金、年终奖、股权等。 招聘岗位以java为主，各种级别都有。 雪球 国内知名的投资交流平台，2020年底完成1.2亿美元 E 轮融资，发展潜力巨大。工作地点在融新科技中心。 福利待遇在行业内属于中等水平，包括六险一金、年终奖、餐补、零食下午茶等。 招聘岗位以java为主，还有搜索研发、全栈开发等。 陌陌 陌生人社交平台，深受年轻人喜爱，18年陌陌全资收购了探探，规模进一步扩大，目前月活用户在1亿+，出海业务也做的非常好。 福利待遇属于行业中等偏上，互联网有的福利基本都有，包括六险一金、年终奖等。 招聘岗位很多，包括java、中间件、推荐算法、自然语言处理、安全、游戏开发、IOS等。 面试难度中等，会有手写sql、算法、linux命令的环节。 松果出行 松果出行主要业务是构建国内县域城市交通出行网络，目前主要是共享电单车和共享新能源汽车服务。目前业务已经覆盖全国21个省，5000个县。 福利待遇属于行业中等，五险一金、年终奖等，没有补充医疗保险。 招聘岗位很多，以JAVA为主，各种级别都有。也有物联网、传感器硬件相关的岗位。 小桔科技 目前研发团队主要做推荐、搜索系统，注册地在大连。 福利待遇行业中等，五险一金、年终奖，没有补充医疗保险。 招聘岗位包括JAVA、PHP、搜索算法、前端、数仓等。 理想汽车 智能电动车品牌，这两年在行业内名气比较大。 福利待遇行业中等偏上，六险一金、交通补贴等。 招聘岗位很多，以JAVA为主，各种级别都有。另外也招聘PaaS平台研发、搜索、车载语音、大数据等。 参加过理想汽车面试的同学反馈面试体验不太好，面试官没有耐心，给大家一个参考。 狮桥 智慧物流+普惠金融融资租赁业务。 福利待遇中等偏下，五险一金、年终奖，没有补充医疗保险。 招聘岗位主要是JAVA开发。 领创集团 海外金融业务，主要做印度市场。 福利待遇中等偏下，六险一金，年终奖，工作节奏慢。 招聘岗位主要是JAVA，招聘岗位主要是java。 面试过的同学反馈体验比较好，面试官比较nice，有手写代码环节。 总结 今天主要推荐了望京的16家值得加入的互联网公司，事实上，望京区域的互联网公司和其他科技公司至少有几百家，由于个人精力有限，主要梳理了业界比较知名和自己熟悉的公司。相信还有好多非常不错的公司值得加入，欢迎大家跟我交流讨论。 欢迎关注个人公众号，一起学习进步 本篇文章为转载内容。原文链接：https://blog.csdn.net/zjj2006/article/details/121412370。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...宁静海港，让你不再被信息的洪流淹没，而是能稳稳驾驭，轻松自在地航行。准备好了吗？出发吧！ 第一章：写入失败的初探 现象描述：当你尝试向DorisDB表中插入数据时，突然间，一切变得静止。查询返回一个错误信息，告诉你“写入失败”。这不仅让你感到沮丧，还可能影响了业务流程的连续性。 原因分析：写入失败可能是由多种因素引起的，包括但不限于网络延迟、资源限制（如磁盘空间不足）、事务冲突、以及数据库配置问题等。理解这些原因有助于我们对症下药。 第二章：案例研究：网络延迟引发的写入失败 场景还原：假设你正使用Python的dorisdb库进行数据插入操作。代码如下： python from dorisdb import DorisDBClient client = DorisDBClient(host='your_host', port=your_port, database='your_db') cursor = client.cursor() 插入数据 cursor.execute("INSERT INTO your_table (column1, column2) VALUES ('value1', 'value2')") 问题浮现：执行上述代码后，你收到了“写入失败”的消息，同时发现网络连接偶尔会中断。 解决方案：首先，检查网络连接稳定性。确保你的服务器与DorisDB实例之间的网络畅通无阻。其次，优化SQL语句的执行效率，减少网络传输的数据量。例如，可以考虑批量插入数据，而不是逐条插入。 第三章：资源限制：磁盘空间不足的挑战 场景还原：你的DorisDB实例运行在一个资源有限的环境中，某天，当你试图插入大量数据时，系统提示磁盘空间不足。 问题浮现：尽管你已经确保了网络连接稳定，但写入仍然失败。 解决方案：增加磁盘空间是显而易见的解决方法，但这需要时间和成本。哎呀，兄弟，你得知道，咱们手头的空间那可是个大问题啊！要是想在短时间内搞定它，我这儿有个小妙招给你。首先，咱们得做个大扫除，把那些用不上的数据扔掉。就像家里大扫除一样，那些过时的文件、照片啥的，该删就删，别让它占着地方。其次呢，咱们可以用更牛逼的压缩工具，比如ZIP或者RAR，它们能把文件压缩得更小，让硬盘喘口气。这样一来，不仅空间大了，还能节省点资源，挺划算的嘛！试试看，说不定你会发现自己的设备运行起来比以前流畅多了！嘿，兄弟！你听说过 DorisDB 的分片和分布式功能吗？这玩意儿超级厉害！它就像个大仓库，能把咱们的数据均匀地摆放在多个小仓库里（那些就是节点），这样不仅能让数据更高效地存储起来，还能让我们的系统跑得更快，用起来更顺畅。试试看，保管让你爱不释手！ 第四章：事务冲突与并发控制 场景还原：在高并发环境下，多个用户同时尝试插入数据到同一表中，导致了写入失败。 问题浮现：即使网络连接稳定，磁盘空间充足，事务冲突仍可能导致写入失败。 解决方案：引入适当的并发控制机制是关键。在DorisDB中，可以通过设置合理的锁策略来避免或减少事务冲突。例如，使用行级锁或表级锁，根据具体需求选择最合适的锁模式。哎呀，兄弟，咱们在优化程序的时候，得注意一点，别搞那些没必要的同时进行的操作，这样能大大提升系统的稳定性。就像是做饭，你要是同时炒好几个菜，肯定得忙得团团转，而且容易出错。所以啊，咱们得一个个来，稳扎稳打，这样才能让系统跑得又快又稳！ 结语：从困惑到解决的旅程 面对“写入失败”，我们需要冷静分析，从不同的角度寻找问题所在。哎呀，你知道嘛，不管是网速慢了点、硬件不够给力、操作过程中卡壳了，还是设置哪里没对劲，这些事儿啊，都有各自的小妙招来解决。就像是遇到堵车了，你得找找是哪段路的问题，然后对症下药，说不定就是换个路线或者等等红绿灯，就能顺畅起来呢！哎呀，你知道不？咱们要是能持续地学习和动手做，那咱处理问题的能力就能慢慢上个新台阶。就像给水管通了塞子，数据的流动就更顺畅了。这样一来，咱们的业务跑起来也快多了，就像是有了个贴身保镖，保护着业务高效运转呢！嘿！听好了，每回遇到难题都不是白来的，那可是让你升级打怪的好机会！咱们就一起手牵手，勇闯数据的汪洋大海，去发现那些藏在暗处的新世界吧！别怕，有我在你身边，咱俩一起探险，一起成长！

...发者可以实现更高效的实时通信协议。例如，某知名在线教育平台利用这一特性，成功将课堂互动延迟从原来的500毫秒降低到100毫秒以下，极大改善了师生间的协作效率。 此外，随着《通用数据保护条例》（GDPR）在全球范围内的实施，AbortError也被赋予了新的法律意义。在涉及用户隐私的数据传输过程中，合理运用AbortError可以帮助企业更好地遵守法规要求，避免因违规操作而导致的巨额罚款。例如，某跨国科技公司在其云存储服务中引入了基于AbortError的权限管理系统，确保敏感信息在未经授权的情况下无法被访问或下载。 总之，AbortError作为现代Web开发的重要组成部分，正逐步渗透到各个领域。无论是提升用户体验、优化系统性能，还是保障数据安全，它都展现出了巨大的潜力。未来，随着更多创新应用场景的涌现，相信AbortError将在数字世界中发挥更大的作用。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 标 题: 我的windows下的mpich的经验 发信站: 南京大学小百合站 (Tue Nov 2 22:02:25 2004) 弄了好久的mpich,现在终于弄懂了 感谢pink, johnsmith给予的帮助 下面是跟都志辉老师的邮件，与还不会的同学共享 希望能给在windows下用的同学有帮助 到这封邮件，我已经懂了，相信大家会比我更快 如果还有不懂的，站内联系 /// 发件人: "Zhihui Du" <duzh@tsinghua.edu.cn> 添加到地址簿 收件人: "zhyi" <zhyi100@yahoo.com.cn> 主题: Re: 请教mpi 日期: Tue, 2 Nov 2004 08:31:20 +0800 我想主要的问题是权限的问题，你先在本机将config文件设置为只有自己的机器，运行一 下该程序看看，如果不能运行，多机当然就更不行了，这说明本机的设置有问题。如何解 决这一问题，我的经验是，你可以在两台机器上分别建立普通帐号，然后用mpiregister对 该帐号进行注册，如果两台机器上分别运行都可以，则可以试试多机，如果多机连接不同 ，则可能是防火墙等安全设置的问题，可以将防火墙去掉，这样就应该可以了，我们在XP 以及NT上实验都是可行的。 ------------------------------ Dr. Zhihui Du Department of Computer Science and Technology Tsinghua University. Beijing, 100084, P.R. China Phone:86-10-62782530 Fax:86-10-62771138 http://hpclab.cs.tsinghua.edu.cn/~duzh ----- Original Message ----- From: zhyi To: Zhihui Du Sent: Monday, November 01, 2004 4:39 PM Subject: Re: 请教mpi 单机模拟的命令为: mpirun -np 2 -localonly d:/cpi.exe 成功 两机器名分别为 liu1 liu2,命令为 mpirun -hosts 2 liu1 liu2 d:/cpi.exe 失败 config文件为 config.cfg exe d:/cpi.exe hosts liu1 2 liu2 2 命令为 mpirun d:/config.cfg 失败 加选项-tcp也没用 可执行文件的存放路径都在d盘根目录下 都老师，我想你们都是用linux 的，能不能请您的研究生给在两台 机器上试一下，估计两个小时够了，有你的指点，就会知道问题出在哪。 我们这边也有很多同学在你的书的指引下在linux下进行的，我是进行数值计算，不敢弄那 么复杂，只好在windows下进行，可也不知问题究竟在哪。 Zhihui Du <duzh@tsinghua.edu.cn> wrote: 你运行的具体命令是什么？可以用mpirun -np 2 xxx 和 mpirun configfile 两种方式都 试试，可执行程序两台机器上都要有。 ------------------------------ Dr. Zhihui Du Department of Computer Science and Technology Tsinghua University. Beijing, 100084, P.R. China Phone:86-10-62782530 Fax:86-10-62771138 http://hpclab.cs.tsinghua.edu.cn/~duzh ----- Original Message ----- From: zhyi To: Zhihui Du Sent: Sunday, October 31, 2004 11:50 AM Subject: Re: 请教mpi 任务管理器里发现有mpd进程，mpiconfig也能找到对方， 我们是在同一个宿舍，用hub相连，这在局域网内应该没问题了， 共享也是可读写的，盘符的格式是一样的，单机可以运行 mpirun -np 2 -localonly c:/ .exe 有结果 Zhihui Du <duzh@tsinghua.edu.cn> wrote: 安装mpich后应该有一个新的mpi进程在运行，用mpiconfig应该能够列出其他的机器才行， 还有这些计算结点的网络配置应该在一个子网内，另外共享的权限是否是任何用户可以读 写？你用mpirun -localonly -np x abc方式是否可以运行？ ------------------------------ Dr. Zhihui Du Department of Computer Science and Technology Tsinghua University. Beijing, 100084, P.R. China Phone:86-10-62782530 Fax:86-10-62771138 http://hpclab.cs.tsinghua.edu.cn/~duzh ----- Original Message ----- From: zhyi To: Zhihui Du Sent: Saturday, October 30, 2004 5:55 PM Subject: Re: 请教mpi 我是严格按照mpich的要求进行的， 1。使用管理员权限在两机器上新建同一个名称的用户及相同的口令 2。分别在上面的两用户里安装mpich,然后mpiregister ,用户名和口令同 3。同一名称的盘符共享 4。mpiconfig,显示了对方的mpich 的版本号，说明已找到。 5。运行mpi程序 这样还是没有用，我们这边在windows系统下进行的很少有人成功过 我们都在网上问这个问题 Zhihui Du <duzh@tsinghua.edu.cn> wrote: 如果仅仅是自己做实验用，就可以不要考虑太多的安全问题，把MPI程序所在的盘共享出来 让其他的机器都可以访问，按照MPICH自己的设置，你可以运行MPIREGISTER程序先注册一 下用户名和口令。 ------------------------------ Dr. Zhihui Du Department of Computer Science and Technology Tsinghua University. Beijing, 100084, P.R. China Phone:86-10-62782530 Fax:86-10-62771138 http://hpclab.cs.tsinghua.edu.cn/~duzh ----- Original Message ----- From: zhyi To: duzh@tirc.cs.tsinghua.edu.cn Sent: Friday, October 29, 2004 9:26 PM Subject: 请教mpi 都老师： 你好！ 我是南京大学系学生，现在正在用mpi进行数值并行编程， 是在windows系统下，同实验室的两台机器，总是显示登陆失败 不知怎么设置的。两台机器用的是同一用户名和相同密码，同样的注册。 希望能得到您的指点。 此致 -- ※ 来源:．南京大学小百合站 http://bbs.nju.edu.cn [FROM: 172.16.78.68] -- ※ 转寄:．南京大学小百合站 bbs.nju.edu.cn．[FROM: 202.120.20.14] -- ※ 转寄:．南京大学小百合站 bbs.nju.edu.cn．[FROM: 202.120.20.14] 一、预备工作 0. 二、下载 1. 下载mpich 三、安装 2. 用具有管理权限的帐户登陆计算机 3. 执行mpich.nt.1.2.5.exe，选择所有缺省安装 4. 在每台计算机上均执行上述过程2、3 四、配置 5. 运行配置工具 start->programs->MPICH->mpd->MPICH Configuration tool 6. 加入已经安装mpich的主机 7.点击 [Apply] 保存 8 点击 [OK] 退出 五、测试 9. 打开MSDEV工作空间文件 MPICH/SDK/examples/nt/examples.dsw 10. 编译调试该cpi 项目 11. 拷贝MPICH/SDK/examples/nt/basic/Debug/cpi.exe 到每一台机器某一共享目录。 如： c:/temp/cpi.exe 注意：确保每台机器均有同样的共享目录，并且可以互相访问！！ 12. 打开命令窗口，改变当前路径到 c:/temp 下(与前相同) 13. 执行命令 MPICH/mpd/bin/mpirun.exe -np 4 cpi 本篇文章为转载内容。原文链接：https://blog.csdn.net/yangdelong/article/details/3946113。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...发环境中体验如何正确配置DI容器。例如，用户可以通过模拟不同生命周期的场景来观察Singleton、Transient和Scoped三种模式的具体表现，还可以尝试修复一些常见的配置错误，如服务注册遗漏或生命周期设置不当等问题。 此外，微软近期更新了其官方文档，新增了关于ASP.NET Core中DI容器高级特性的章节。这部分内容详细介绍了如何自定义DI容器的行为，包括拦截器机制、动态代理生成以及跨模块的依赖解析策略。这对于构建大型分布式系统尤其有用，因为它允许开发者在不影响现有业务逻辑的前提下，实现更复杂的依赖关系管理。 值得注意的是，谷歌也在其开源项目中大力推广依赖注入的理念。例如，Flutter团队推出了一套名为GetIt的新一代DI库，它不仅支持多种平台（Web、Mobile、Desktop），还提供了更为简洁的API设计。相比传统的Dagger或Hilt，GetIt更适合小型项目或快速原型开发，其轻量化的特点使得开发者能够迅速上手并提升生产力。 与此同时，国内的一些技术社区也开始关注这一领域的发展趋势。例如，InfoQ最近发表了一篇深度解读文章，分析了国内企业在采用DI模式时面临的挑战，特别是如何平衡灵活性与稳定性之间的关系。文章指出，尽管DI能够显著改善代码结构，但在实际落地过程中仍需谨慎权衡，尤其是在高并发场景下，不恰当的配置可能导致资源浪费甚至系统崩溃。 综上所述，无论是国际巨头还是本土企业，都在积极拥抱依赖注入技术，并探索适合自身需求的最佳实践。对于开发者而言，持续关注行业动态和技术演进，及时调整学习方向，无疑是保持竞争力的关键所在。

...你需要确保Hive的配置文件中启用了BZIP2支持，并且相关的JAR包已经正确安装。 --- 四、实战经验分享 踩过的坑与学到的东西 在这个过程中，我遇到了不少挫折。比如说吧，有次我正打算把一个GZIP文件塞进Hive里，结果系统直接给我整了个报错，说啥解码器找不着。折腾了半天才发现，哎呀，原来是服务器上那个GZIP工具的老版本太不给劲了，跟最新的Hadoop配不上，闹起了脾气！于是，我赶紧联系运维团队升级了相关依赖，这才顺利解决问题。 还有一个教训是关于文件命名规范的。一开始啊，我老是忘了在压缩完的文件后面加“.gz”或者“.bz2”这种后缀名，搞得 Hive 一脸懵逼，根本分不清文件是啥类型的，直接就报错不认账了。后来我才明白，那些后缀名可不只是个摆设啊，它们其实是给文件贴标签的，告诉你这个文件是啥玩意儿，是图片、音乐，还是什么乱七八糟的东西。 --- 五、总结与展望 总的来说，虽然Hive对GZIP和BZIP2的支持有限，但这并不意味着我们不能利用它们的优势。相反，只要掌握了正确的技巧，我们完全可以在这两者之间找到平衡点，满足不同的业务需求。 最后，我想说的是，作为一名数据工程师，我们不应该被工具的限制束缚住手脚。相反，我们应该敢于尝试新事物，勇于突破常规。毕竟，正是这种探索精神，推动着整个行业不断向前发展！ 好了，今天的分享就到这里啦。如果你也有类似的经历或者想法，欢迎随时跟我交流哦~再见啦！

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 容器编排技术 -- Kubernetes 给容器和Pod分配内存资源 1 Before you begin 2 创建一个命名空间 3 配置内存申请和限制 4 超出容器的内存限制 5 配置超出节点能力范围的内存申请 6 内存单位 7 如果不配置内存限制 8 内存申请和限制的原因 9 清理 这篇教程指导如何给容器分配申请的内存和内存限制。我们保证让容器获得足够的内存 资源，但是不允许它使用超过限制的资源。 Before you begin You need to have a Kubernetes cluster, and the kubectl command-line tool must be configured to communicate with your cluster. If you do not already have a cluster, you can create one by using Minikube. 你的集群里每个节点至少必须拥有300M的内存。 这个教程里有几个步骤要求Heapster ， 但是如果你没有Heapster的话，也可以完成大部分的实验，就算跳过这些Heapster 步骤，也不会有什么问题。 检查看Heapster服务是否运行，执行命令： kubectl get services --namespace=kube-system 如果Heapster服务正在运行，会有如下输出： NAMESPACE NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGEkube-system heapster 10.11.240.9 <none> 80/TCP 6d 创建一个命名空间 创建命名空间，以便你在实验中创建的资源可以从集群的资源中隔离出来。 kubectl create namespace mem-example 配置内存申请和限制 给容器配置内存申请，只要在容器的配置文件里添加resources:requests就可以了。配置限制的话， 则是添加resources:limits。 本实验，我们创建包含一个容器的Pod，这个容器申请100M的内存，并且内存限制设置为200M，下面 是配置文件： memory-request-limit.yaml apiVersion: v1kind: Podmetadata:name: memory-demospec:containers:- name: memory-demo-ctrimage: vish/stressresources:limits:memory: "200Mi"requests:memory: "100Mi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 在这个配置文件里，args代码段提供了容器所需的参数。-mem-total 150Mi告诉容器尝试申请150M 的内存。 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit.yaml --namespace=mem-example 验证Pod的容器是否正常运行: kubectl get pod memory-demo --namespace=mem-example 查看Pod的详细信息: kubectl get pod memory-demo --output=yaml --namespace=mem-example 这个输出显示了Pod里的容器申请了100M的内存和200M的内存限制。 ...resources:limits:memory: 200Mirequests:memory: 100Mi... 启动proxy以便我们可以访问Heapster服务： kubectl proxy 在另外一个命令行窗口，从Heapster服务获取内存使用情况： curl http://localhost:8001/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/mem-example/pods/memory-demo/metrics/memory/usage 这个输出显示了Pod正在使用162,900,000字节的内存，大概就是150M。这很明显超过了申请 的100M,但是还没达到200M的限制。 {"timestamp": "2017-06-20T18:54:00Z","value": 162856960} 删除Pod: kubectl delete pod memory-demo --namespace=mem-example 超出容器的内存限制 只要节点有足够的内存资源，那容器就可以使用超过其申请的内存，但是不允许容器使用超过其限制的 资源。如果容器分配了超过限制的内存，这个容器将会被优先结束。如果容器持续使用超过限制的内存， 这个容器就会被终结。如果一个结束的容器允许重启，kubelet就会重启他，但是会出现其他类型的运行错误。 本实验，我们创建一个Pod尝试分配超过其限制的内存，下面的这个Pod的配置文档，它申请50M的内存， 内存限制设置为100M。 memory-request-limit-2.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-2spec:containers:- name: memory-demo-2-ctrimage: vish/stressresources:requests:memory: 50Milimits:memory: "100Mi"args:- -mem-total- 250Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 在配置文件里的args段里，可以看到容器尝试分配250M的内存，超过了限制的100M。 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-2.yaml --namespace=mem-example 查看Pod的详细信息: kubectl get pod memory-demo-2 --namespace=mem-example 这时候，容器可能会运行，也可能会被杀掉。如果容器还没被杀掉，重复之前的命令直至 你看到这个容器被杀掉： NAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 24s 查看容器更详细的信息: kubectl get pod memory-demo-2 --output=yaml --namespace=mem-example 这个输出显示了容器被杀掉因为超出了内存限制。 lastState:terminated:containerID: docker://65183c1877aaec2e8427bc95609cc52677a454b56fcb24340dbd22917c23b10fexitCode: 137finishedAt: 2017-06-20T20:52:19Zreason: OOMKilledstartedAt: null 本实验里的容器可以自动重启，因此kubelet会再去启动它。输入多几次这个命令看看它是怎么 被杀掉又被启动的： kubectl get pod memory-demo-2 --namespace=mem-example 这个输出显示了容器被杀掉，被启动，又被杀掉，又被启动的过程： stevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 37sstevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 1/1 Running 2 40s 查看Pod的历史详细信息: kubectl describe pod memory-demo-2 --namespace=mem-example 这个输出显示了Pod一直重复着被杀掉又被启动的过程: ... Normal Created Created container with id 66a3a20aa7980e61be4922780bf9d24d1a1d8b7395c09861225b0eba1b1f8511... Warning BackOff Back-off restarting failed container 查看集群里节点的详细信息： kubectl describe nodes 输出里面记录了容器被杀掉是因为一个超出内存的状况出现： Warning OOMKilling Memory cgroup out of memory: Kill process 4481 (stress) score 1994 or sacrifice child 删除Pod: kubectl delete pod memory-demo-2 --namespace=mem-example 配置超出节点能力范围的内存申请 内存的申请和限制是针对容器本身的，但是认为Pod也有容器的申请和限制是一个很有帮助的想法。 Pod申请的内存就是Pod里容器申请的内存总和，类似的，Pod的内存限制就是Pod里所有容器的 内存限制的总和。 Pod的调度策略是基于请求的，只有当节点满足Pod的内存申请时，才会将Pod调度到合适的节点上。 在这个实验里，我们创建一个申请超大内存的Pod，超过了集群里任何一个节点的可用内存资源。 这个容器申请了1000G的内存，这个应该会超过你集群里能提供的数量。 memory-request-limit-3.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-3spec:containers:- name: memory-demo-3-ctrimage: vish/stressresources:limits:memory: "1000Gi"requests:memory: "1000Gi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-3.yaml --namespace=mem-example 查看Pod的状态: kubectl get pod memory-demo-3 --namespace=mem-example 输出显示Pod的状态是Pending，因为Pod不会被调度到任何节点，所有它会一直保持在Pending状态下。 kubectl get pod memory-demo-3 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-3 0/1 Pending 0 25s 查看Pod的详细信息包括事件记录 kubectl describe pod memory-demo-3 --namespace=mem-example 这个输出显示容器不会被调度因为节点上没有足够的内存： Events:... Reason Message------ -------... FailedScheduling No nodes are available that match all of the following predicates:: Insufficient memory (3). 内存单位 内存资源是以字节为单位的，可以表示为纯整数或者固定的十进制数字，后缀可以是E, P, T, G, M, K, Ei, Pi, Ti, Gi, Mi, Ki.比如，下面几种写法表示相同的数值：alue: 128974848, 129e6, 129M , 123Mi 删除Pod: kubectl delete pod memory-demo-3 --namespace=mem-example 如果不配置内存限制 如果不给容器配置内存限制，那下面的任意一种情况可能会出现： 容器使用内存资源没有上限，容器可以使用当前节点上所有可用的内存资源。 容器所运行的命名空间有默认内存限制，容器会自动继承默认的限制。集群管理员可以使用这个文档 LimitRange来配置默认的内存限制。 内存申请和限制的原因 通过配置容器的内存申请和限制，你可以更加有效充分的使用集群里内存资源。配置较少的内存申请， 可以让Pod跟任意被调度。设置超过内存申请的限制，可以达到以下效果： Pod可以在负载高峰时更加充分利用内存。 可以将Pod的内存使用限制在比较合理的范围。 清理 删除命名空间，这会顺便删除命名空间里的Pod。 kubectl delete namespace mem-example 译者：NickSu86 原文链接 本篇文章为转载内容。原文链接：https://blog.csdn.net/Aria_Miazzy/article/details/99694937。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

配置文件解析错误？别慌！Beego 的正确处理方式 1. 引言 为什么配置文件很重要？ 作为一个开发者，我总是对程序的配置文件充满敬畏。它们就像是程序的大脑，决定了程序的行为和功能。在用 Go 语言开发的时候，Beego 框架可是个大明星呢！它就像一个贴心的小助手，给你一堆现成的工具和功能，让你能飞快地搭出一个像模像样的网站，简直不要太爽！然而，任何工具都有它的局限性，特别是在处理配置文件时。 记得有一次，我在调试一个 Beego 项目的时候，遇到了一个恼人的错误：“configuration file parsing error”。我当时那个心情啊，简直就像被人突然浇了一脑袋凉水，懵圈了，心里直嘀咕：“这是啥妖蛾子呀？”后来我就自己琢磨来琢磨去，费了好大劲儿，总算把问题给摆平了。嘿，今天就想跟大家聊聊我的经历，说不定对碰上同样麻烦的小伙伴们有点儿用呢！ 2. 配置文件解析错误是什么？ 首先，我们需要明确什么是“configuration file parsing error”。简单说吧，就是程序打开配置文件的时候，发现里面有些东西跟它想的不一样，有点懵圈了。可能是语法错误，也可能是格式不正确，甚至可能是文件路径不对。总之，这种错误会让程序无法正常运行。 让我举个例子吧。假设你有一个 conf/app.conf 文件，里面的内容是这样的： ini appname = myapp port = 8080 如果你不小心把 port 写成了 porr，那么 Beego 就会报出 “configuration file parsing error”。这就怪不得了，Beego 在读取配置文件的时候，就想着你给它整点正规的键值对呢。结果你这输入一看，唉，这不是闹着玩的嘛，明显不按规矩出牌啊！ 3. 如何正确处理配置文件解析错误？ 3. 1. 第一步 检查配置文件的格式 当遇到 “configuration file parsing error” 时，第一步当然是检查配置文件的格式。这听起来很简单，但实际上需要仔细观察每一个细节。 比如说，你的配置文件可能有空行或者多余的空格。Beego 对这些细节是非常敏感的。再比如，有些键值对之间可能没有等号（=），这也是一个常见的错误。所以，在处理这个问题之前，先用文本编辑器打开配置文件，仔细检查每一行。 bash 打开配置文件进行检查 vim conf/app.conf 3. 2. 第二步 使用 Beego 提供的工具 Beego 为我们提供了一个非常方便的工具，叫做 beego.AppConfig。这个工具可以帮助我们轻松地读取和解析配置文件。要是你检查完配置文件，发现格式啥的都没毛病，可还是报错的话，那八成是代码里头哪里出岔子了。 下面是一个简单的代码示例，展示如何使用 beego.AppConfig 来读取配置文件： go package main import ( "fmt" "github.com/beego/beego/v2/server/web" ) func main() { // 初始化 Beego 配置 web.SetConfigName("app") web.AddConfigPath("./conf") err := web.LoadAppConfig("ini", "./conf/app.conf") if err != nil { fmt.Println("Error loading configuration:", err) return } // 读取配置项 appName := web.AppConfig.String("appname") port := web.AppConfig.String("port") fmt.Printf("Application Name: %s\n", appName) fmt.Printf("Port: %s\n", port) } 在这个例子中，我们首先设置了配置文件的名字和路径，然后通过 LoadAppConfig 方法加载配置文件。要是加载的时候挂了，就会蹦出个错误信息。咱们可以用 fmt.Println 把这个错误打出来，这样就能知道到底哪里出问题啦！ 3. 3. 第三步 日志记录的重要性 在处理配置文件解析错误时，日志记录是一个非常重要的环节。通过记录详细的日志信息，我们可以更好地追踪问题的根源。 Beego 提供了强大的日志功能，我们可以很容易地将日志输出到控制台或文件中。下面是一个使用 Beego 日志模块的例子： go package main import ( "github.com/beego/beego/v2/server/web" "log" ) func main() { // 设置日志级别 log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) // 加载配置文件 err := web.LoadAppConfig("ini", "./conf/app.conf") if err != nil { log.Fatalf("Failed to load configuration: %v", err) } // 继续执行其他逻辑 log.Println("Configuration loaded successfully.") } 在这个例子中，我们设置了日志的格式，并在加载配置文件时使用了 log.Fatalf 来记录错误信息。这样，即使程序崩溃，我们也能清楚地看到哪里出了问题。 4. 我的经验总结 经过多次实践，我发现处理配置文件解析错误的关键在于耐心和细心。很多时候，问题并不是特别复杂，只是我们一时疏忽导致的。所以啊，在写代码的时候，得养成好习惯，像时不时瞅一眼配置文件是不是整整齐齐的，别让那些键值对出问题，不然出了bug找起来可够呛。 同时，我也建议大家多利用 Beego 提供的各种工具和功能。Beego 是一个非常成熟的框架，它已经为我们考虑到了很多细节。只要我们合理使用这些工具，就能大大减少遇到问题的概率。 最后，我想说的是，编程其实是一个不断学习和成长的过程。当我们遇到困难时，不要气馁，也不要急于求成。静下心来，一步步分析问题，总能找到解决方案。这就跟处理配置文件出错那会儿似的，说白了嘛，只要你能沉住气，再琢磨出点门道来，这坎儿肯定能迈过去！ 5. 结语 好了，今天的分享就到这里了。希望能通过这篇文章，让大家弄明白在 Beego 里怎么正确解决配置文件出错的问题，这样以后遇到类似情况就不会抓耳挠腮啦！如果你还有什么疑问或者更好的方法，欢迎随时跟我交流。我们一起进步，一起成为更优秀的开发者！ 记住，编程不仅仅是解决问题，更是一种艺术。愿你在编程的道路上越走越远，越走越宽广！