前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[Axios库在Vue项目中的集成与使用 ]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
Mongo
... 确认用户角色 - 使用 db.getUsers() 或 db.runCommand({ users: 1 }) 命令查看当前用户的角色及其权限。 - 确认是否拥有 db.createUser 和 createIndexes 权限。 javascript // 创建新用户并赋予权限 db.createUser({ user: "indexCreator", pwd: "password", roles: [ { role: "readWrite", db: "yourDatabase" }, { role: "createIndexes", db: "yourDatabase" } ] }); 2. 检查数据库配置 - 确保你的 MongoDB 实例允许创建索引。可以通过查看 /etc/mongod.conf(Linux)或 mongod.exe.config(Windows)文件中的配置选项来确认。 - 确保 security.authorizationMechanism 设置为 mongodb 或 scram-sha-1。 3. 权限验证 - 使用 db.auth("username", "password") 命令验证用户身份和权限。 javascript db.auth("indexCreator", "password"); 四、预防与最佳实践 为了避免此类错误,遵循以下最佳实践: - 权限最小化原则:只为需要执行特定操作的用户赋予必要的权限。 - 定期审核权限:定期检查数据库中的用户角色和权限设置,确保它们与当前需求相匹配。 - 使用角色聚合:考虑使用 MongoDB 的角色聚合功能来简化权限管理。 五、总结与反思 在 MongoDB 中管理索引权限是一个既关键又细致的过程。哎呀,兄弟!掌握并恰到好处地运用这些招数,不仅能让你在处理数据库这事儿上效率爆棚,还能给你的系统安全和稳定打上一个大大的保险扣儿。就像是有了秘密武器一样,让数据跑得快又稳,而且还能防着那些不怀好意的小坏蛋来捣乱。这样一来,你的数据保管工作就不仅是个技术活,还成了守护宝藏的秘密行动呢!哎呀,你遇到了“IndexBuildingPrivilegeNotFound”的小麻烦?别急嘛,我来给你支个招!按照我刚刚说的步骤一步步来,就像解密游戏一样,慢慢找啊找,你会发现那个藏起来的小秘密。说不定,问题就在这儿呢!找到原因了,解决起来自然就快多了,就像解开了一道数学难题,是不是超有成就感的?别忘了,耐心是关键,就像慢慢炖一锅好汤,火候到了,味道自然就出来了。加油,你一定行的!嘿!兄弟,听好了,每次碰上难题,那都是咱们提升自己,长知识的好时机,就像我们在数据库这片大海上航行,每一步都让咱们更懂水性,越来越厉害! --- 通过本文的探索,我们不仅解决了“IndexBuildingPrivilegeNotFound”这一常见问题,还深入了解了索引在数据库性能优化中的重要性,以及如何通过正确的权限管理和配置来确保数据库操作的顺利进行。希望这篇文章能为 MongoDB 用户提供有价值的参考,共同提升数据库管理的效率和安全性。
2024-10-14 15:51:43
88
心灵驿站
RocketMQ
...理的策略和实践,降低使用RocketMQ时数据丢失的风险。 一、理解数据持久化的重要性 数据持久化是确保消息系统稳定运行的关键环节。在咱们RocketMQ的世界里,消息的持久性就像是一场接力赛,关键在于消息是不是能稳稳地落在磁盘上,不偏不倚。想象一下,你把消息小心翼翼地放进一个超级大保险箱里,这个保险箱就是我们的磁盘。无论遇到啥突发状况,比如突然停电啊,电脑当机啊,这个保险箱都能保持它的神秘,不让里面的宝贝消息跑掉。这样一来,下次咱们再打开保险箱时,那些消息还在原地,等着我们继续接力,继续咱们的消息传递之旅。这样子,无论是系统怎么出问题,咱们的消息都不会断线!数据丢失不仅会导致业务中断,还可能引发严重的经济损失和用户体验问题。 二、RocketMQ的数据持久化机制 RocketMQ采用多种机制来保障消息持久化: 1. 消息存储 RocketMQ使用HDFS(Hadoop Distributed File System)或本地文件系统作为消息存储的底层。这种方式提供了高可用性和可扩展性。 2. 多副本机制 RocketMQ支持消息的多副本存储,通过复制机制,即使单个节点故障,也可以从其他副本恢复消息,保证了数据的高冗余度。 3. 事务消息 对于需要保证消息发送和接收的原子性的场景,RocketMQ提供事务消息功能,确保消息的可靠投递。 三、降低数据丢失风险的策略 1. 配置优化 合理设置RocketMQ的配置参数,如消息重试次数、消费超时时间等,确保在异常情况下,消息可以被正确处理或重试。 java // 示例代码:设置消息重试次数 Properties props = new Properties(); props.setProperty("producer.transactionCheckEnabled", "false"); props.setProperty("producer.transactionTimeout", "60000"); props.setProperty("producer.maxReconsumeTimes", "5"); // 设置最大重试次数为5次 RMQSender sender = new RMQSender("localhost:18831", "myQueue", props); 2. 监控与报警 建立一套完善的监控系统,实时监测RocketMQ的运行状态,一旦出现异常,立即触发报警机制。 bash 假设使用Prometheus进行监控 prometheus: - job_name: 'rocketmq' metrics_path: '/actuator/metrics' static_configs: - targets: ['localhost:8080'] labels: application: 'rocketmq' 3. 备份与恢复策略 定期对RocketMQ的元数据和消息进行备份,以便在发生灾难性事件时快速恢复服务。 bash 使用HDFS作为存储时,可以利用HDFS的备份功能 hdfs dfs -copyToLocal /path/to/backup /local/path/ 4. 容错与高可用架构设计 在应用层面考虑容错机制,如使用负载均衡、故障转移等策略,确保在单点故障时,系统仍能正常运行。 java // 使用Nacos进行服务发现和配置中心管理 @Value("${service.provider}") private String serviceProvider; @Bean public ProviderConfig providerConfig() { return new ProviderConfig(serviceProvider); } 四、结论 通过上述策略的实施,我们可以显著降低使用RocketMQ时数据丢失的风险。关键在于合理配置、有效监控、备份恢复以及高可用架构的设计。在实际应用中,还需要根据业务的具体需求和场景,灵活调整策略,以达到最佳的数据持久化效果。哎呀,兄弟!技术这东西,得不停琢磨,多实践,别老是原地踏步。咱们得时不时调整一下系统这架机器的零件,让它跑得既快又稳当。这样,咱们的应用服务才不会卡壳,用户们用起来也舒心。这可是保证业务顺畅运行的关键!
2024-10-02 15:46:59
573
蝶舞花间
c++
...。 代码示例 1: 使用 std::unique_ptr 管理资源 cpp include include class Resource { public: Resource() { std::cout << "Resource created." << std::endl; } ~Resource() { std::cout << "Resource destroyed." << std::endl; } }; int main() { std::unique_ptr resource = std::make_unique(); // 使用资源... return 0; } 在这个例子中,当 resource 对象离开作用域时(即函数执行完毕),Resource 的析构函数会被自动调用,确保资源被正确释放。这就是RAII原则的一个简单应用,它使得资源管理变得简洁且易于理解。 代码示例 2: 使用 std::shared_ptr 实现共享所有权 cpp include include class SharedResource { public: SharedResource() { std::cout << "SharedResource created." << std::endl; } ~SharedResource() { std::cout << "SharedResource destroyed." << std::endl; } }; int main() { std::shared_ptr shared_resource1 = std::make_shared(); std::shared_ptr shared_resource2 = shared_resource1; // 共享资源... return 0; } 这里展示了 std::shared_ptr 如何允许多个对象共享对同一资源的所有权。当最后一个持有 shared_resource1 的引用消失时,资源才会被释放。这种机制有助于避免内存泄漏,并确保资源在适当的时候被释放。 第三部分:异常安全的资源管理 在C++中,异常安全的资源管理尤为重要。当程序中包含可能抛出异常的操作时,确保资源在异常发生时也能得到妥善处理,是非常关键的。智能指针提供了一种自然的方式来实现这一点,因为它们会在异常发生时自动释放资源,而无需额外的保护措施。 代码示例 3: 异常安全的资源管理示例 cpp include include include class CriticalResource { public: CriticalResource() { std::cout << "CriticalResource created." << std::endl; } ~CriticalResource() { std::cout << "CriticalResource destroyed." << std::endl; } void criticalOperation() { throw std::runtime_error("An error occurred during critical operation."); } }; int main() { try { std::unique_ptr critical_resource = std::make_unique(); critical_resource->criticalOperation(); } catch (const std::exception& e) { std::cerr << "Exception caught: " << e.what() << std::endl; } return 0; } 在上述代码中,critical_operation 可能会抛出异常。哎呀,你知道的,critical_resource 这个家伙可是被 std::unique_ptr 给罩着呢!这可真是太好了,因为这样,如果程序里突然蹦出个异常来,critical_resource 就能自动被释放掉,不会出现啥乱七八糟、不靠谱的行为。这下子,咱们就不用操心资源没清理干净这种事儿啦! 第四部分:结论 通过使用C++的智能指针和RAII原则,我们可以轻松地实现异常安全的资源管理,这大大增强了程序的可靠性和稳定性。哎呀,兄弟,你要是想让你的代码跑得顺畅,资源管理这事儿可得好好抓牢!别小瞧了它,这玩意儿能防住好多坑,比如内存漏了或者资源没收好,那程序一不小心就卡死或者出bug,用户体验直接掉分。还有啊,万一程序遇到点啥意外,比如服务器突然断电啥的,资源管理做得好,程序就能像小猫一样,优雅地处理问题,然后自己蹦跶回来,用户一点都感觉不到。这样一来,不光用户体验上去了,系统的稳定性和质量也跟着水涨船高,你说值不值! 总之,资源管理是构建强大、安全和高效的C++程序的关键。嘿!兄弟,学了这些技术后,你就能像大厨炒菜一样,把程序做得既美味又营养。这样一来,修修补补的工作就少多了,就像不用天天洗碗一样爽快!而且,你的代码就像是一本好书,别人一看就懂,就像看《哈利·波特》一样过瘾。最后,用户得到的服务就像五星级餐厅的餐点,稳定又可靠,他们吃得开心,你也跟着美滋滋!
2024-10-05 16:01:00
48
春暖花开
Saiku
...数据分析师,每天都会使用Saiku来分析销售数据。有一天,由于服务器硬盘损坏,所有的数据都丢失了。要是没提前准备好恢复的招数,那你可就得从头再来,重建整个数据库了。而且这事儿可不小,你得花大把时间去重新找齐所有的原始数据。这样的经历,相信谁都不想再经历第二次。 3. 实践中的问题 让我们深入探讨一些实际遇到的问题。在用Saiku的时候,我发现很多小伙伴都没有定期备份的好习惯,就算备份了,也不知道怎么用这些备份来快速恢复数据。另外,大家对故障转移这部分聊得不多,也就是说,如果主服务器挂了,整个系统可能就会直接瘫痪了。 这里我有一个小建议:为什么不试试编写一个脚本,让它自动执行备份任务呢?这样不仅能够节省时间,还能确保数据的安全性。比如说,你可以在Linux下用crontab设置定时任务,让它自动跑一个简单的bash脚本。这个脚本的作用就是调用MySQL的dump命令,生成数据库的备份文件。这样就不用担心忘记备份了,挺方便的。 bash 编辑crontab crontab -e 添加如下行,每周日凌晨两点执行一次备份 0 2 0 /usr/bin/mysqldump -u username -p'password' database_name > /path/to/backup/db_backup_$(date +\%Y\%m\%d).sql 4. 恢复策略的设计 现在我们已经了解了为什么需要一个好的恢复计划,接下来谈谈如何设计这样一个计划。首先,你需要明确哪些数据是最关键的。然后,根据这些数据的重要程度制定相应的恢复策略。比如说,如果你每天都在更新的数据,那就得时不时地备份一下,甚至可以每一小时就来一次。但如果是那种好几天都不动弹的数据,那就可以放宽心,不用那么频繁地备份了。 另外,别忘了测试你的恢复计划!只有经过实践检验的恢复流程才能真正发挥作用。你可以定期模拟一些常见故障场景,看看你的系统是否能够顺利恢复到正常状态。 5. 代码示例 为了让大家更好地理解,下面我会给出几个具体的代码示例,展示如何使用Saiku API来进行数据恢复操作。 示例1:连接到Saiku服务器 java import org.saiku.service.datasource.IDatasourceService; import org.saiku.service.datasource.MondrianDatasource; public class SaikuConnectionExample { public static void main(String[] args) { // 假设我们已经有了一个名为"myDataSource"的数据源实例 MondrianDatasource myDataSource = new MondrianDatasource(); myDataSource.setName("myDataSource"); // 使用datasource服务保存数据源配置 IDatasourceService datasourceService = ...; // 获取datasource服务实例 datasourceService.save(myDataSource); } } 示例2:从备份文件中恢复数据 这里假设你已经有一个包含所有必要信息的备份文件,比如SQL脚本。 java import java.io.BufferedReader; import java.io.FileReader; import java.sql.Connection; import java.sql.DriverManager; import java.sql.Statement; public class RestoreFromBackupExample { public static void main(String[] args) { try (Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/mydb", "username", "password")) { Statement stmt = conn.createStatement(); // 读取备份文件内容并执行 BufferedReader reader = new BufferedReader(new FileReader("/path/to/backup/file.sql")); String line; StringBuilder sql = new StringBuilder(); while ((line = reader.readLine()) != null) { sql.append(line); if (line.trim().endsWith(";")) { stmt.execute(sql.toString()); sql.setLength(0); // 清空StringBuilder } } reader.close(); } catch (Exception e) { e.printStackTrace(); } } } 6. 结语 好了,到这里我们的讨论就告一段落了。希望今天聊的这些能让大家更看重系统恢复计划,也赶紧动手做点啥来提高自己的数据安全,毕竟防患于未然嘛。记住,预防总是胜于治疗,提前做好准备总比事后补救要好得多! 最后,如果你有任何想法或建议,欢迎随时与我交流。数据分析的世界充满了无限可能,让我们一起探索吧! --- 以上就是本次关于“Saiku的系统恢复计划不充分”的全部内容。希望这篇文章能够对你有所帮助,也欢迎大家提出宝贵的意见和建议。
2024-11-18 15:31:47
36
寂静森林
转载文章
...的,这里就来讲下如何使用监听recylerview的滚动事件来实现子view的曝光量统计,我们这里说的view都是列表中的子item条目(子view) 先来看下统计结果图 左边是我们的列表,右边是我们统计到每个条目的曝光量。下面就来讲讲具体实现步骤。 一,activity中使用recylerview并显示数据 这里我不再啰嗦,recylerview最基础的使用。 二,监听recylerview的滚动事件OnScrollListener onScrollStateChanged:监听滚动状态 onScrolled:监听滚动 我们接下来的统计工作,就是拿这两个方法做文章。 //检测recylerview的滚动事件recyclerView.addOnScrollListener(new RecyclerView.OnScrollListener() {@Overridepublic void onScrollStateChanged(RecyclerView recyclerView, int newState) {/我这里通过的是停止滚动后屏幕上可见view。如果滚动过程中的可见view也要统计,你可以根据newState去做区分SCROLL_STATE_IDLE:停止滚动SCROLL_STATE_DRAGGING: 用户慢慢拖动SCROLL_STATE_SETTLING:惯性滚动/if (newState == RecyclerView.SCROLL_STATE_IDLE) {.....} }@Overridepublic void onScrolled(RecyclerView recyclerView, int dx, int dy) {super.onScrolled(recyclerView, dx, dy);........} });复制代码 首先再次明确下,我们要统计的是用户停止滑动时,显示在屏幕的上控件。所以我们要监测到onScrollStateChanged 方法中 newState == RecyclerView.SCROLL_STATE_IDLE 时,也就是用户停止滚动。然后在这里做文章。 三,获取屏幕内可见条目的起始位置 这里的起始位置就是指我们屏幕当中最上面和最下面条目的位置。比如下图的0就是最上面的可见条目,3就是最下面的可见条目。我们次数的曝光view就是0,1,2,3 这个时候这四个条目显示在屏幕中。我们这时就要对这4个view的曝光量进行加1 那么接下来的重点就是要去获取屏幕内可见条目的起始位置。获取到起始位置后,当前屏幕里的可见条目就都能拿到了。 而recylerview的manager正好给我们提供的有对应的方法。 findFirstVisibleItemPosition()和findLastVisibleItemPosition() 看字面意思就能知道这时干嘛用的。 但是我们的manager不止LinearLayoutManager一种,所以我们要做下区分, //这里我们用一个数组来记录起始位置int[] range = new int[2];RecyclerView.LayoutManager manager = reView.getLayoutManager();if (manager instanceof LinearLayoutManager) {range = findRangeLinear((LinearLayoutManager) manager);} else if (manager instanceof GridLayoutManager) {range = findRangeGrid((GridLayoutManager) manager);} else if (manager instanceof StaggeredGridLayoutManager) {range = findRangeStaggeredGrid((StaggeredGridLayoutManager) manager);}复制代码 LinearLayoutManager和GridLayoutManager获取起始位置方法如下 private int[] findRangeLinear(LinearLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}private int[] findRangeGrid(GridLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}复制代码 StaggeredGridLayoutManager获取起始位置有点复杂,如下 private int[] findRangeStaggeredGrid(StaggeredGridLayoutManager manager) {int[] startPos = new int[manager.getSpanCount()];int[] endPos = new int[manager.getSpanCount()];manager.findFirstVisibleItemPositions(startPos);manager.findLastVisibleItemPositions(endPos);int[] range = findRange(startPos, endPos);return range;}private int[] findRange(int[] startPos, int[] endPos) {int start = startPos[0];int end = endPos[0];for (int i = 1; i < startPos.length; i++) {if (start > startPos[i]) {start = startPos[i];} }for (int i = 1; i < endPos.length; i++) {if (end < endPos[i]) {end = endPos[i];} }int[] res = new int[]{start, end};return res;}复制代码 四,获取到起始位置以后,我们就根据位置获取到view及view中的数据 上面第三步拿到屏幕内可见条目的起始位置以后,我们就用一个for循环,获取当前屏幕内可见的所有子view for (int i = range[0]; i <= range[1]; i++) {View view = manager.findViewByPosition(i);recordViewCount(view);}复制代码 recordViewCount是我自己写的用于获取子view内绑定数据的方法 //获取view绑定的数据private void recordViewCount(View view) {if (view == null || view.getVisibility() != View.VISIBLE ||!view.isShown() || !view.getGlobalVisibleRect(new Rect())) {return;}int top = view.getTop();int halfHeight = view.getHeight() / 2;int screenHeight = UiUtils.getScreenHeight((Activity) view.getContext());int statusBarHeight = UiUtils.getStatusBarHeight(view.getContext());if (top < 0 && Math.abs(top) > halfHeight) {return;}if (top > screenHeight - halfHeight - statusBarHeight) {return;}//这里获取的是我们view绑定的数据,相应的你要去在你的view里setTag,只有set了,才能getItemData tag = (ItemData) view.getTag();String key = tag.toString();if (TextUtils.isEmpty(key)) {return;}hashMap.put(key, !hashMap.containsKey(key) ? 1 : (hashMap.get(key) + 1));Log.i("qcl0402", key + "----出现次数:" + hashMap.get(key));}复制代码 这里有几点需要注意 1,这这里起始位置的view显示区域如果不超过50%,就不算这个view可见,进而也就不统计曝光。 2,我们通过view.getTag();获取view里的数据,必须在此之前setTag()数据,我这里setTag是在viewholder中把数据set进去的 到这里我们就实现了recylerview列表中view控件曝光量的统计了。下面贴出来完整的代码给大家 package com.example.qcl.demo.xuexi.baoguang;import android.app.Activity;import android.graphics.Rect;import android.support.v7.widget.GridLayoutManager;import android.support.v7.widget.LinearLayoutManager;import android.support.v7.widget.RecyclerView;import android.support.v7.widget.StaggeredGridLayoutManager;import android.text.TextUtils;import android.util.Log;import android.view.View;import com.example.qcl.demo.utils.UiUtils;import java.util.concurrent.ConcurrentHashMap;/ 2019/4/2 13:31 author: qcl desc: 安卓曝光量统计工具类 wechat:2501902696/public class ViewShowCountUtils {//刚进入列表时统计当前屏幕可见viewsprivate boolean isFirstVisible = true;//用于统计曝光量的mapprivate ConcurrentHashMap<String, Integer> hashMap = new ConcurrentHashMap<String, Integer>();/ 统计RecyclerView里当前屏幕可见子view的曝光量 /void recordViewShowCount(RecyclerView recyclerView) {hashMap.clear();if (recyclerView == null || recyclerView.getVisibility() != View.VISIBLE) {return;}//检测recylerview的滚动事件recyclerView.addOnScrollListener(new RecyclerView.OnScrollListener() {@Overridepublic void onScrollStateChanged(RecyclerView recyclerView, int newState) {/我这里通过的是停止滚动后屏幕上可见view。如果滚动过程中的可见view也要统计,你可以根据newState去做区分SCROLL_STATE_IDLE:停止滚动SCROLL_STATE_DRAGGING: 用户慢慢拖动SCROLL_STATE_SETTLING:惯性滚动/if (newState == RecyclerView.SCROLL_STATE_IDLE) {getVisibleViews(recyclerView);} }@Overridepublic void onScrolled(RecyclerView recyclerView, int dx, int dy) {super.onScrolled(recyclerView, dx, dy);//刚进入列表时统计当前屏幕可见viewsif (isFirstVisible) {getVisibleViews(recyclerView);isFirstVisible = false;} }});}/ 获取当前屏幕上可见的view /private void getVisibleViews(RecyclerView reView) {if (reView == null || reView.getVisibility() != View.VISIBLE ||!reView.isShown() || !reView.getGlobalVisibleRect(new Rect())) {return;}//保险起见,为了不让统计影响正常业务,这里做下try-catchtry {int[] range = new int[2];RecyclerView.LayoutManager manager = reView.getLayoutManager();if (manager instanceof LinearLayoutManager) {range = findRangeLinear((LinearLayoutManager) manager);} else if (manager instanceof GridLayoutManager) {range = findRangeGrid((GridLayoutManager) manager);} else if (manager instanceof StaggeredGridLayoutManager) {range = findRangeStaggeredGrid((StaggeredGridLayoutManager) manager);}if (range == null || range.length < 2) {return;}Log.i("qcl0402", "屏幕内可见条目的起始位置:" + range[0] + "---" + range[1]);for (int i = range[0]; i <= range[1]; i++) {View view = manager.findViewByPosition(i);recordViewCount(view);} } catch (Exception e) {e.printStackTrace();} }//获取view绑定的数据private void recordViewCount(View view) {if (view == null || view.getVisibility() != View.VISIBLE ||!view.isShown() || !view.getGlobalVisibleRect(new Rect())) {return;}int top = view.getTop();int halfHeight = view.getHeight() / 2;int screenHeight = UiUtils.getScreenHeight((Activity) view.getContext());int statusBarHeight = UiUtils.getStatusBarHeight(view.getContext());if (top < 0 && Math.abs(top) > halfHeight) {return;}if (top > screenHeight - halfHeight - statusBarHeight) {return;}//这里获取的是我们view绑定的数据,相应的你要去在你的view里setTag,只有set了,才能getItemData tag = (ItemData) view.getTag();String key = tag.toString();if (TextUtils.isEmpty(key)) {return;}hashMap.put(key, !hashMap.containsKey(key) ? 1 : (hashMap.get(key) + 1));Log.i("qcl0402", key + "----出现次数:" + hashMap.get(key));}private int[] findRangeLinear(LinearLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}private int[] findRangeGrid(GridLayoutManager manager) {int[] range = new int[2];range[0] = manager.findFirstVisibleItemPosition();range[1] = manager.findLastVisibleItemPosition();return range;}private int[] findRangeStaggeredGrid(StaggeredGridLayoutManager manager) {int[] startPos = new int[manager.getSpanCount()];int[] endPos = new int[manager.getSpanCount()];manager.findFirstVisibleItemPositions(startPos);manager.findLastVisibleItemPositions(endPos);int[] range = findRange(startPos, endPos);return range;}private int[] findRange(int[] startPos, int[] endPos) {int start = startPos[0];int end = endPos[0];for (int i = 1; i < startPos.length; i++) {if (start > startPos[i]) {start = startPos[i];} }for (int i = 1; i < endPos.length; i++) {if (end < endPos[i]) {end = endPos[i];} }int[] res = new int[]{start, end};return res;} }复制代码 使用就是在我们的recylerview设置完数据以后,把recylerview传递进去就可以了。如下图: 我们统计到曝光量,拿到曝光view绑定的数据,就可以结合后面的view点击,来看下那些商品view的曝光量高,那些商品的转化率高。当然,这都是运营小伙伴的事了,我们只需要负责把曝光量统计到即可。 如果你有任何编程方面的问题,可以加我微信交流 2501902696(备注编程) by:年糕妈妈qcl 转载于:https://juejin.im/post/5ca30ad1e51d4514c01634f1 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_34150503/article/details/91475198。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-07-29 13:55:00
322
转载
RabbitMQ
...tMQ,作为一款广泛使用的开源消息队列服务,它不仅提供了强大的消息传递功能,还支持多种消息模式和协议。不过嘛,在实际用起来的时候,因为网络不给力或者服务器罢工啥的,客户端和RabbitMQ服务器之间的连接就可能出问题了。因此,如何优雅地处理这些连接故障,成为确保系统稳定运行的关键。 1. 了解RabbitMQ的基本概念 在深入探讨如何处理连接故障之前,我们先来简单了解一下RabbitMQ的基础知识。RabbitMQ就像是一个开源的邮局,它负责在不同的程序之间传递消息,就像是给它们送信一样。你可以把消息发到一个或者多个队列里,然后消费者应用就从这些队列里面把消息取出来处理掉。RabbitMQ可真是个多才多艺的小能手,支持好几种消息传递方式,比如点对点聊天和广播式发布/订阅。这就让它变得特别灵活,不管你是要一对一私聊还是要群发消息,它都能轻松搞定。 2. 连接故障 常见原因与影响 在探讨如何处理连接故障之前,我们有必要了解连接故障通常是由哪些因素引起的,以及它们会对系统造成什么样的影响。 - 网络问题:这是最常见的原因,比如网络延迟增加、丢包等。 - 服务器问题:服务器宕机、重启或者维护时,也会导致连接中断。 - 配置错误:不正确的配置可能导致客户端无法正确连接到服务器。 - 资源限制:当服务器资源耗尽时(如内存不足),也可能导致连接失败。 这些故障不仅会打断正在进行的消息传递,还可能影响到整个系统的响应时间,严重时甚至会导致数据丢失或服务不可用。所以啊,我们要想办法让系统变得更皮实,就算碰到那些麻烦事儿,它也能稳如老狗,继续正常运转。 3. 如何优雅地处理连接故障 3.1 使用重试机制 首先,我们可以利用重试机制来应对短暂的网络波动或临时性的服务不可用。通过设置合理的重试次数和间隔时间,可以有效地提高消息传递的成功率。以下是一个简单的Python代码示例,展示了如何使用pika库连接到RabbitMQ服务器,并在连接失败时进行重试: python import pika from time import sleep def connect_to_rabbitmq(): max_retries = 5 retry_delay = 5 seconds for i in range(max_retries): try: connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) print("成功连接到RabbitMQ") return connection except Exception as e: print(f"尝试{i+1}连接失败,将在{retry_delay}秒后重试...") sleep(retry_delay) print("多次重试后仍无法连接到RabbitMQ,程序将退出") exit(1) 调用函数尝试建立连接 connection = connect_to_rabbitmq() 3.2 实施断线重连策略 除了基本的重试机制外,我们还可以实现更复杂的断线重连策略。例如,当检测到连接异常时,立即尝试重新建立连接,并记录重连日志以便后续分析。另外,我们也可以试试用指数退避算法来调整重连的时间间隔,这样就不会在短时间内反复向服务器发起连接请求,也能让服务器稍微轻松一点。 下面展示了一个基于RabbitMQ官方客户端库pika的断线重连示例: python import pika from time import sleep class ReconnectingRabbitMQClient: def __init__(self, host='localhost'): self.host = host self.connection = None self.channel = None def connect(self): while True: try: self.connection = pika.BlockingConnection(pika.ConnectionParameters(self.host)) self.channel = self.connection.channel() print("成功连接到RabbitMQ") break except Exception as e: print(f"尝试连接失败,将在{2self.retry_count}秒后重试...") self.retry_count += 1 sleep(2self.retry_count) def close(self): if self.connection: self.connection.close() def send_message(self, message): if not self.channel: self.connect() self.channel.basic_publish(exchange='', routing_key='hello', body=message) client = ReconnectingRabbitMQClient() client.send_message('Hello World!') 在这个例子中,我们创建了一个ReconnectingRabbitMQClient类,它包含了连接、关闭连接以及发送消息的方法。特别要注意的是connect方法里的那个循环,这家伙每次连接失败后都会先歇一会儿,然后再杀回来试试看。而且这休息的时间也是越来越长,越往后重试间隔就按指数往上翻。 3.3 异步处理与心跳机制 对于那些需要长时间保持连接的应用场景,我们还可以采用异步处理方式,配合心跳机制来维持连接的有效性。心跳其实就是一种简单的保活方法,就像定时给对方发个信息或者挥挥手,确认一下对方还在不在。这样就能赶紧发现并搞定那些断掉的连接,免得因为放太长时间没动静而导致连接中断的问题。 4. 总结与展望 处理RabbitMQ中的连接故障是一项复杂但至关重要的任务。通过上面提到的几种招数——比如重试机制、断线重连和心跳监测,我们的系统会变得更强壮,也更靠谱了。当然,针对不同应用场景和需求,还需要进一步定制化和优化这些方案。比如说,对于那些对延迟特别敏感的应用,你得更仔细地调整重试策略,不然用户可能会觉得卡顿或者直接闪退。至于那些需要应对海量并发连接的场景嘛,你就得上点“硬货”了,比如用更牛的技术来搞定负载均衡和集群管理,这样才能保证系统稳如老狗。总而言之,就是咱们得不停地试啊试的,然后就能慢慢弄出个既快又稳的分布式消息传递系统。 --- 以上就是关于RabbitMQ中如何处理连接故障的一些探讨。希望这些内容能帮助你在实际工作中更好地应对挑战,打造更加可靠的应用程序。如果你有任何疑问或想要分享自己的经验,请随时留言讨论!
2024-12-02 16:11:51
94
红尘漫步
转载文章
...不能有效突出,从课题项目,转向企业工程化的要求也准备不足。以下是一些问题记录: 课题目的描述不清。一些同学对自己课题的背景、目的、意义描述不清楚,只知道是老师让做的,就去做了。其实硕士期间纯粹研究课题时间只有1年多(2年硕士更少),都要研究出实用东西不太可能,但至少要对自己做的事情有一个系统认识。成人学习过程,只有知道“为什么”,才能学得明白。 课题中自己负责的事情描述不具体。简历中描述的课题常规都很大,不大可能是一个人完成。那就有分模块,模块之间有接口、有通信协议什么的。自己做的这一块,起什么作用,上下游都是干啥的,等等。如果自圆其说都办不到,后续工作任务也会存在问题。 不能突出匹配企业职位的要求。以软件工程师为例,简历上写熟悉面向对象、精通C++,只能说出多态、继承几个名词,用过vector、string;学习C和C++除了谭老的书,就很少自己看其他的;想从事软件工程师,连“新手圣经”代码大全没有听说过。在面试的20多人中,没有一个人拿着笔记本来演示他写的程序,我们都是干说。 对比较适合的人,我都建议他们先看看代码大全、设计模式,不管是否来我们公司。其实,一个真正对某件事情感兴趣的同学,他会主动去找资源,深入理解,不会等到应聘的时候再抱佛脚,找借口。 3. 招聘是体力活 外出前就有些感冒,招聘过程中,拿带子断掉的易拉宝宣传盒子,提数斤重的简历试题,在酒店昏暗灯光中阅卷,坐在椅子中一天且不停地说话,做5小时高铁。。。最后感觉都是机械式的动作,实在是体力活,感冒在武汉有加重倾向,回到深圳后,在草窝中睡了一天,第2天就好了一半。 离开武汉5年多了,本次去武汉招聘,趁着晚上休息时刻,去拜访老师和室友。好久不去,武汉修了环城路,打车都找不到地方,只能到附近的金三利酒店,再重温上学的路。在老师家品尝了招牌的红烧武昌鱼,木耳鸡翅膀,见识老师几十年的工作成果奖励。去室友家,他家公子见到生人就不停的哭,呵呵。回到酒店想一想,时间不在了,记忆模糊了,唯有文字记录之。 节后,我们还要继续后续的校园招聘。(北京、哈尔滨校园招聘记录) 本篇文章为转载内容。原文链接:https://blog.csdn.net/zhouyulu/article/details/8033464。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-02-02 13:16:24
524
转载
Hive
...也为用户带来了更好的使用体验。 从长远来看,Hive和HDFS的技术演进方向值得关注。一方面,随着云原生技术的普及,越来越多的企业倾向于将大数据平台迁移到云端,这将推动Hive和HDFS向更灵活、更高效的架构转型。另一方面,随着数据量的爆炸式增长,如何提升数据处理能力成为行业关注的重点。在此背景下,开源社区持续活跃,不断推出新的功能和改进版本,为开发者提供了更多选择。 此外,近年来国内外学术界对大数据技术的研究也在不断深入。例如,哈佛大学的一项研究表明,通过优化HDFS的块分布策略,可以有效减少数据冗余,提高存储利用率。而清华大学的一项研究则提出了一种基于深度学习的异常检测算法,能够在早期识别HDFS的潜在故障,为运维人员争取宝贵的时间窗口。 总之,Hive和HDFS作为大数据领域的两大支柱,其未来发展充满无限可能。无论是技术创新还是实际应用,都值得我们保持高度关注。对于企业和开发者而言,及时了解最新进展并积极拥抱变化,将是应对未来挑战的关键所在。
2025-04-01 16:11:37
105
幽谷听泉
Kafka
...性有着极高的要求。在使用Kafka处理敏感数据时,必须确保数据传输的安全性,遵守相关法律法规,如GDPR、CCPA等。 2. 高可用性与容错性:金融系统要求极高可用性,任何数据丢失或服务中断都可能导致重大经济损失。因此,Kafka集群需要具备高度的可扩展性、容灾能力和故障恢复机制。 3. 性能优化与成本控制:金融交易数据量庞大,对处理速度和存储容量有极高要求。如何在保证性能的同时,合理控制成本,成为金融机构面临的挑战。 解决方案与展望 1. 加密与认证:采用SSL/TLS协议加密数据传输,使用OAuth2等认证机制保护敏感数据,确保数据在Kafka集群内外的安全流通。 2. 容灾与备份:建立多数据中心的Kafka集群,通过副本复制和ZooKeeper协调,实现数据的高可用性和快速恢复。同时,定期备份数据,确保在灾难发生时能够迅速恢复服务。 3. 性能优化与成本管理:通过优化Kafka配置、使用高效的索引机制、引入缓存策略等方式提高数据处理速度。同时,采用云服务提供的弹性计算资源,根据业务需求动态调整集群规模,实现成本效益最大化。 随着金融行业数字化转型的加速,Kafka将继续发挥其不可或缺的作用。未来,随着技术的不断进步,Kafka在金融领域的应用将更加深入,同时也将面临新的挑战,如边缘计算、人工智能融合等,这些都将推动Kafka技术的发展和创新。
2024-08-11 16:07:45
52
醉卧沙场
HBase
...集群中各节点的CPU使用率。 2.2 使用JMX监控 HBase提供了丰富的JMX接口,通过这些接口我们可以获取上述指标。比如说呀,你可以用 jconsole 这个工具连到你的 HBase 节点上,看看它的内存用得怎么样,GC 日志里有没有啥问题之类的。 示例代码: java import javax.management.MBeanServer; import javax.management.ObjectName; public class HBaseJMXExample { public static void main(String[] args) throws Exception { MBeanServer mbs = ManagementFactory.getPlatformMBeanServer(); ObjectName name = new ObjectName("Hadoop:service=HBase,name=Master,sub=MasterStatus"); Integer load = (Integer) mbs.getAttribute(name, "AverageLoad"); System.out.println("当前HBase Master的平均负载:" + load); } } 这段代码展示了如何通过Java程序读取HBase Master的负载信息。虽然看起来有点复杂,但只要理解了基本原理,后续操作就简单多了! --- 3. 第二步 深入分析——聚焦热点问题 当我们拿到整体性能数据后,接下来就需要深入分析具体的问题所在。这里我建议大家按照以下几个方向逐一排查: 3.1 Region分布不均怎么办? 如果发现某些RegionServer的压力过大,而其他节点却很空闲,这可能是由于Region分布不均造成的。解决方法很简单,调整负载均衡策略即可。 示例代码: bash hbase shell balance_switch true 上面这条命令会开启自动负载均衡功能。当然,你也可以手动执行balancer命令强制进行一次平衡操作。 3.2 GC时间过长怎么办? GC时间过长往往意味着内存不足。这时候你需要检查HBase的堆内存设置,并适当增加Xmx参数值。 示例代码: xml hbase.regionserver.heapsize 8g 将heapsize调大一些,看看是否能缓解GC压力。 --- 4. 第三步 实战演练——真实案例分享 为了让大家更直观地感受到性能优化的过程,我来分享一个真实的案例。有一天,我们团队收到用户的吐槽:“你们这个查询也太慢了吧?等得我花都谢了!”我们赶紧查看了一下情况,结果发现是RegionServer上某个Region在搞事情,一直在上演“你进我也进”的读写冲突大戏,把自己整成了个“拖油瓶”。 解决方案: 1. 首先,定位问题区域。通过以下命令查看哪些Region正在发生大量读写: sql scan 'hbase:metrics' 2. 然后,调整Compaction策略。如果发现Compaction过于频繁,可以尝试降低触发条件: xml hbase.hregion.majorcompaction 86400000 最终,经过一系列调整后,查询速度果然得到了显著提升。这种成就感真的让人欲罢不能! --- 5. 结语 保持好奇心,不断学习进步 检查HBase集群的性能并不是一件枯燥无味的事情,相反,它充满了挑战性和乐趣。每次解决一个问题,都感觉是在玩拼图游戏,最后把所有碎片拼在一起的时候,那成就感真的太爽了,简直没法用语言形容! 最后,我想说的是,无论你是刚入门的新手还是经验丰富的老手,都不要停止学习的步伐。HBase的技术栈非常庞大,每一次深入研究都会让你受益匪浅。所以,让我们一起努力吧!💪 希望这篇文章对你有所帮助,如果你还有任何疑问,欢迎随时来找我交流哦~
2025-04-14 16:00:01
63
落叶归根
Kibana
...定了个人数据的收集、使用、存储和传输标准,并赋予用户更多的知情权和控制权。在中国,《个人信息保护法》的实施同样对企业提出了更高的合规要求。因此,企业在制定数据保留策略时,必须充分考虑国际国内的法律框架,确保合法合规运营。 总之,数据管理不仅是技术问题,更是战略问题。只有通过科学合理的数据保留策略,才能在保障业务发展的同时,赢得客户信任和社会认可。未来,随着人工智能、区块链等新兴技术的发展,数据管理将迎来更多创新机遇和挑战。企业和机构需要持续关注行业动态,不断提升自身的数据治理能力,以适应快速变化的技术环境。
2025-04-30 16:26:33
16
风轻云淡
Logstash
...日志文件开始读取,并使用Grok插件中的COMBINEDAPACHELOG模式来解析每一行日志内容。这样子一来,原始的文本信息就被拆成了一个个有组织的小块儿,给接下来的处理铺平了道路,简直不要太方便! 2.2 高效索引策略 一旦数据被Logstash处理完毕,下一步就是将其导入Elasticsearch。为了确保索引操作尽可能高效,我们可以采取一些策略: - 批量处理:减少网络往返次数,提高吞吐量。 - 动态映射:允许Elasticsearch根据文档内容自动创建字段类型,简化索引管理。 - 分片与副本:合理设置分片数量和副本数量,平衡查询性能与集群稳定性。 下面是一个简单的Logstash输出配置示例,演示了如何将处理后的数据批量发送给Elasticsearch: yaml output { elasticsearch { hosts => ["localhost:9200"] index => "nginx-access-%{+YYYY.MM.dd}" document_type => "_doc" user => "elastic" password => "changeme" manage_template => false template => "/path/to/template.json" template_name => "nginx-access" template_overwrite => true flush_size => 5000 idle_flush_time => 1 } } 在这段配置中,我们设置了批量大小为5000条记录,以及空闲时间阈值为1秒,这意味着当达到这两个条件之一时,Logstash就会将缓冲区内的数据一次性发送至Elasticsearch。此外,我还指定了自定义的索引模板,以便更好地控制字段映射规则。 3. 实战案例 打造高性能日志分析平台 好了,理论讲得差不多了,接下来让我们通过一个实际的例子来看看这一切是如何运作的吧! 假设你是一家电商网站的运维工程师,最近你们网站频繁出现访问异常的问题,客户投诉不断。为了找出问题根源,你需要对Nginx服务器的日志进行深入分析。幸运的是,你们已经部署了Logstash和Elasticsearch作为日志处理系统。 3.1 日志采集与预处理 首先,我们需要确保Logstash能够正确地从Nginx服务器上采集到所有相关的日志信息。根据上面说的设置,我们可以搞一个Logstash配置文件,用来从特定的日志文件里扒拉出重要的信息。嘿,为了让大家看日志的时候能更轻松明了,我们可以加点小技巧,比如说统计每个用户逛网站的频率,或者找出那些怪怪的访问模式啥的。这样一来,信息就一目了然啦! 3.2 索引优化与查询分析 接下来,我们将这些处理后的数据发送给Elasticsearch进行索引存储。有了合适的索引设置,就算同时来一大堆请求,我们的查询也能嗖嗖地快,不会拖泥带水的。比如说,在上面那个输出配置的例子里面,我们调高了批量处理的门槛,同时把空闲时间设得比较短,这样就能大大加快数据写入的速度啦! 一旦数据被成功索引,我们就可以利用Elasticsearch的强大查询功能来进行深度分析了。比如说,你可以写个DSL查询,找出最近一周内访问量最大的10个页面;或者,你还可以通过用户ID捞出某个用户的操作记录,看看能不能从中发现问题。 4. 结语 拥抱变化,不断探索 通过以上介绍,相信大家已经对如何使用Logstash与Elasticsearch实现高效的实时索引优化有了一个全面的认识。当然啦,技术这东西总是日新月异的,所以我们得保持一颗好奇的心,不停地学新技术,这样才能更好地迎接未来的各种挑战嘛! 希望这篇文章能对你有所帮助,如果你有任何疑问或建议,欢迎随时留言交流。让我们一起加油,共同成长!
2024-12-17 15:55:35
41
追梦人
MySQL
...,特别是文件描述符的使用情况。 以下是一个简单的Python脚本,用于统计MySQL当前使用的文件描述符数量: python import psutil import subprocess def get_mysql_open_files(): 获取所有MySQL进程ID mysql_pids = [] result = subprocess.run(['pgrep', 'mysqld'], capture_output=True, text=True) for line in result.stdout.splitlines(): mysql_pids.append(int(line)) total_open_files = 0 for pid in mysql_pids: try: proc = psutil.Process(pid) open_files = len(proc.open_files()) print(f"Process {pid} has opened {open_files} files.") total_open_files += open_files except Exception as e: print(f"Error checking process {pid}: {e}") print(f"Total open files by MySQL processes: {total_open_files}") if __name__ == "__main__": get_mysql_open_files() 运行这个脚本后,我发现某些特定的查询会导致文件描述符迅速增加。经过分析,这些问题主要出现在涉及大文件读写的场景中。所以呢,我觉得咱们开发的小伙伴们得好好捯饬捯饬这些查询语句啦!比如说,能不能少建那些没用的临时表啊?再比如,能不能换个更快的存储引擎啥的?反正就是得让这个程序跑得更顺畅些,别老是卡在那里干瞪眼不是? --- 4. 总结与反思 从问题中学到的东西 回顾这次经历,我深刻体会到,处理数据库问题时,不能仅凭直觉行事,而是要结合实际数据和技术手段,逐步排查问题的根本原因。同时,我也认识到,预防胜于治疗。如果能在日常运维中提前做好监控和预警,就可以避免很多突发状况。 最后,我想分享一点个人感悟:技术之路永无止境,每一次遇到难题都是一次成长的机会。说实话,有时候真的会觉得头大,甚至怀疑自己是不是走错了路。但我觉得啊,这就好比在黑暗里找钥匙,你得不停地摸索、试错才行。只要别轻易放弃,一直在学、一直在练,总有一天你会发现,“!原来它在这儿呢!”就跟我在处理这个MySQL报错的时候似的,最后不光把问题搞定了,还顺带学了不少实用的招儿呢! 如果你也遇到了类似的情况,不妨试试上面提到的方法,也许能帮到你!
2025-04-17 16:17:44
109
山涧溪流_
转载文章
...盘操作,还支持跨平台使用,对于Windows、Mac OS X及Linux系统均能提供一致的操作接口。 与此同时,针对更复杂的交互场景如游戏或三维设计软件,一些高级模拟技术如Robot Framework、Appium也开始受到广泛关注。这些框架不仅能模拟基本的键盘鼠标输入,还能处理更精细的触屏手势操作,并能适应各种移动设备和桌面环境,极大提高了自动化测试的覆盖率和效率。 另外,在安全性方面,研究人员正不断探索如何防止恶意软件通过模拟合法用户的键盘和鼠标操作进行攻击。例如,某些安全软件已开始采用行为分析和机器学习算法来识别并阻止非人类产生的异常输入模式,确保只有真实的用户交互才能触发敏感操作。 总之,Python win32api提供的键盘鼠标模拟功能为自动化测试与脚本编写打开了新世界的大门,而结合最新的自动化测试技术和安全防护手段,我们不仅可以更高效地实现UI自动化,还能在保障用户体验的同时,有效抵御潜在的安全威胁。未来,随着相关技术的持续发展和完善,这一领域的应用场景将更加丰富多元。
2023-06-07 19:00:58
54
转载
ElasticSearch
...ticsearch的使用大牛,本篇文章对你不会有什么收益。如果你要做一个搜索功能,不知道如何选型,那你可以参考一下本文。 1. 可选方案 如果你需要做一个搜索功能,这时候你可能会想到很多实现方法: 比如你的底层数据库用的是sql数据库(比如mysql):你可能会想到在对应字段上使用field1 like '%?%',?即用户输出的关键词 比如你的底层数据库用的是mongo:你可能会想到在对应字段上使用db.collection.find({ "field1": { $regex: /aaa/ } })做查询,aaa即用户输入的关键词 比如你的底层数据库用的是elasticsearch:那厉害了,专业全文搜索神奇,全文搜索或搜索相关的需求使用elasticsearch绝对是最合适的选择 比如你的底层数据库用的是hive、impala、clickhouse等大数据计算引擎:鸟枪换炮,其实用作全文索引和搜索的场景并不合适,你可能依旧会使用sql数据库那样用like做交互 2. 方案选择 调研之后,可能会发现对于数据量相对大一点的搜索场景,在当下流行的数据库或计算引擎中,elasticsearch是其中最合适的解决方案。 无论是sql的like、还是mongo的regex,在线上环境下,数据量较多的情况下,都不是很高效的查询,甚至有的公司的dba会禁止在线上使用类似的查询语法。 与elasticsearch是“亲戚”的,大家还常提到lucene、solr,但是无论从现在的发展趋势还是公司运维人才的储备(不得不说当下的运维人才中,对es熟悉的人才会更多一些),elasticsearch是相对较合适的选择。 一些大数据计算引擎,其实更多的适合OLAP场景。当然也完全可以使用,因为比如clickhouse、starrocks等的查询速度已经发展的非常快。但你会发现在中文分词搜索上,实现起来有一定困扰。 所以,如果你不差机器,首选方案还是elasticsearch。 3. elasticsearch的适用场景 3.1 经典的日志搜索场景 提到elasticsearch不得不提到它的几个好朋友: 一些公司里经常用elasticsearch来收集日志,然后用kibana来展示和分析。 展开来说,举个例子,你的app打印日志打印到了线上日志文件,当app出现故障你需要做定位筛查的时候,可能需要登录线上机器用grep命令各种查看。 但如果你不差机器资源,可以搭建上述架构,app的日志会被收集到elasticsearch中,最终你可以在kibana中查看日志,kibana里面可以很方面的做各种筛查操作。 这个流畅大概是这样的: 3.2 通用搜索场景 但是没有上图的beats、logstash、kibana,elasticsearch可以自己工作吗?完全可以的! elasticsearch也支持单机部署,数据规模不是很大的情况下,表现也是不错的。所以,你也不用担心因为自己机器资源不够而对elasticsearch望而却步。当然,单机部署的情况下,更多的适合自己玩,对于可靠性的要求就不能太苛刻了。 如果你在用宝塔,那你可以在宝塔面板,左侧“软件商店”中直接找到elasticsearch,并“没有痛苦”的安装。 本篇文章主要讨论选型,所以不涉及安装细节。 3.2.1 性能顾虑 上面提到了“表现”,其实性能只是elasticsearch的一个方面,主要你的机器资源足够(机器资源?对,包括你的机器个数,elasticsearch可以非常方便的横向扩展,以及单机的配置,cpu+内存,内存越高越好,elasticsearch比较吃内存!),它一定会给你很好的性能反应。试想,公司里的app打印线上日志的行数其实可比一般业务系统产生的订单数量要大很多很多,elasticsearch都可以常在日志的实时分析,所以如果你要做通用场景,而且机器资源不是问题,这是完全行得通的。 3.2.2 易用性和可玩性 此外,在使用elasticsearch的时候,会有很多的可玩性。这里不引经据典,呈现很多elasticsearch官方文章的列举优秀特性(当然,确实很优秀!)。 这里举几个例子: (1)中文分词:第一章提到的其它引擎几乎很难实现,elasticsearch对分词器的支持是原生的,因为elasticsearch天生就为全文索引而生,elasticsearch的汉语名字就是“弹性搜索”。这家伙可是专门搞搜索的! 有的朋友可能不了解分词器,比如你的一个字段里存储“今天我要吃冰激凌”,在分词器的加持下,es最终会存储为“今天|我|要|吃|冰激凌”,并且使用倒排索引的形式进行存储。当你搜索“冰激凌”的时候,可以很快的反馈回来。 关于elasticsearch的原理,这里不展开说明,分词器和倒排索引是elasticsearch的最基本的概念。如果有不了解的朋友,可以自行百度一下。而且这两个概念,与elasticsearch其实不挂钩,是搜索中的通用概念。 关于倒排索引,其核心表现如下图: 如果你要用mysql、mongo实现中文分词,这......其实挺麻烦的,可能在后面的版本支持中会实现的很好,但在当前的流行版本中,它们对中文分词是不够友好的。 mysql5.7之后支持外挂第三方分词器,支持中文分词。而在数据量较大的情况下,mysql的多机器部署几乎很难实现,elasticsearch可以很容易的水平扩展。 mongo支持西方语言的分词,但不支持中文、日语、汉语等东方语言,你需要在自己的逻辑代码中实现分词器。 ngram分词,你看看效果:依旧是“今天我要吃冰激凌”,ngram二元分词后即将得到结果“今天、天我、我要、要吃、吃冰、冰激、激凌”。这....,那你搜索冰激凌就搜不出来!咋办呢,当然可以使用三元分词。但是更好的解决方案还是中文分词器,但它们原生并不支持的。 (2)自定义排名场景:比如你的搜索“冰激凌”,结果中返回了有10条,这10条应该有你想对它指定的顺序。最简单的就是用默认的得分,但是如果你想人为干预这个得分怎么办? elasticsearch支持function_score功能(可以不用,这个是增强功能),es会在计算最终得分之前回调这个你指定的function_score回调函数,传入原始得分、行的原始数据,你可以在里面做计算,比如查询其它参考表、或查看是否是广告位,以得到新的score返回给用户。 function_scrore的功能不展开描述,是一个在自定义得分场景下十分有用又简单易用的功能!下面是一个使用示例,不仅如此,它是支持自定义函数的,自由度非常高。 (3)文本高亮:你用mysql或mongo也可以实现,比如用户搜索“冰激凌”,你只需要在逻辑代码中对“冰激凌”替换为“<span class='highlight-term'>冰激凌</span>”,然后前端做样式即可。但如果用户搜索了“好吃的冰激凌”咋办呢?还有就是英文大小写的场景,用户搜索"MAIN",那结果及时匹配到了“main”(小写的),这个单词是否应该高亮呢?也许这时候你会用业务代码实现toLowerCase下基于位置下标的匹配。 挺麻烦的吧,elasticsearch,自动可以返回高亮字段!并且可以自由指定高亮的html前后标签。 (4)实在太多了....这家伙天生为索引而生,而且版本还在不断地迭代。不差机器的话,用用吧! 4. 退而求其次 4.1 普通数据库 尽管elasticsearch在搜索场景下,是非常好用的利器!但是它比较消耗机器资源,如果你的数据规模并不大,而且想快速实现功能。你可以使用mysql或mongo来代替,完全没有问题。 技术是为了解决特定业务场景下的问题,结合当前手头的资源,适合自己的才是最好的。也许你搞了一个单机器的elasticsearch,单机器内存只有2G,它的表现并不会比mysql、mongo来的好。 当然,如果你为了使用上边提到的一些优秀的独有的特性,那elasticsearch一定还是最佳选择! 对于mysql(关系型数据库)和mongo(文档数据库)的区别这里不展开描述了,但对于搜索而言,两种都合适。有时候选型也不用很纠结,其实都是差不太多的东西,适合自己的、自己熟悉的、运维起来顺手的,就是最好的。 4.2 普通数据库实现中文分词搜索的原理 尽管mysql在5.7以后支持外挂第三方分词器,mongo在截止目前的版本中也不支持中文分词(你可能会看到一些文章中说可以指定language为chinese,但其实会报错的)。 其实当你选择普通数据库,你就不得不在逻辑代码中自己实现一套索引分词+搜索分词逻辑。 索引分词+搜索分词?为什么分开写,如果你有用过elasticsearch或solr,你会知道,在指定字段的时候,需要指定index分词器和search分词器。 下面以mongo为例做简要说明。 4.2.1 index分词器 意思是当数据“索引”截断如何分词。首先,这里必须要承认,数据之后存储了,才能被查询。在搜索中,这句话可以换成是“数据只有被索引了,才能被搜索”。 这时候请求打过来了,要索引一条数据,其中某字段是“今天我要吃冰激凌”,分词后得到“今天|我|要|吃|冰激凌”,这个就可以入库了。 如果你使用elasticsearch或solr,这个过程是自动的。如果你使用不支持外观分词器的常规数据库,这个过程你就要手动了,并把分词后的结果用空格分开(最好使用空格,因为西方语言的分词规则就是按空格拆分,以及逗号句号),存入数据库的一个待搜索的字段上。 效果如下图: 本站的其它博文中有介绍IKAnalyzer:https://www.52itw.com/java/6268.html 4.2.2 search分词器 当用户的查询请求打过来,用户输入了“好吃的冰激凌”,分词后得到“好吃|冰激凌”(“的”作为停用词stopwords,被自动忽略了,IKAnalyzer可以指定停用词表)。 于是这时候就回去上图的数据库表里面搜索“好吃 冰激凌”(与index分词器结果统一,还是用空格分隔)。 当然,对于mongo而言,你需要事先开启全文索引db.xxx.ensureIndex({content: "text"}),xxx是集合名,content是字段名,text是全文索引的标识。 mongo搜索的时候用这个语法:db.xxx.find( { $text: { $search: "好吃 冰激凌" } },{ score: { $meta: "textScore" } }).sort( { score: { $meta: "textScore" } } ) 4.2.3 索引库和存储库分开 为了减少单表的大小,为了让普通的列表查询、普通筛选可以跑的更快,你可以对原有的数据原封不动的做一张表。 然后对于搜索场景,再单独对需要被搜索的字段单独拎一张表出来! 然后二者之间做增量信号同步或定时差额同步,可能会有延迟,这个就看你能容忍多长时间(悄悄告诉你,elasticsearch也需要指定这个refresh时间,一般是1s到几秒、甚至分钟级。当然,二者的这个时间对饮的底层目的是不一样的)。 这样,搜索的时候先查询搜索库,拿到一个指针id的列表,然后拿到指针id的列表区存储里把数据一次性捞出来。当然,也是支持分页的,你查询搜索库其实也是普通的数据库查询嘛,支持分页参数的。 4.3 存储库和索引库的延伸阅读 很多有名的开源软件也是使用的存储库与索引库分离的技术方案,如apache atlas: apache atlas对于大数据领域的数据资产元数据管理、数据血缘上可谓是专家,也涉及资产搜索的特性,它的实现思路就是:从搜索库中做搜索、拿到key、再去存储库中做查询。 搜索库:上图右下角,可以看到使用的是elasticsearch、solr或lucene,多个选一个 存储库:上图左下角,可以看到使用的是Cassandra、HBase或BerkeleyDB,多个选一个 虽然apache atlas在只有搜索库或只有存储库的时候也可以很好的工作,但只针对于数据量并不大的场景。 搜索库,擅长搜索!存储库,擅长海量存储!搜索库多样化搜索,然后去存储库做点查。 当你的数据达到海量的时候,es+hbase也是一种很好的解决方案,不在这里展开说明了。
2024-01-27 17:49:04
537
admin-tim
转载文章
...r中的源代码),没有使用using()结构,也没有显示关闭,主要原因是调用ExecuteReader方法时,使用了参数 CommandBehavior 并将其设置为 CloseConnection: SqlDataReader rdr = cmd.ExecuteReader(CommandBehavior.CloseConnection); 根据MSDN的说法:如果创建了 SqlDataReader 并将 CommandBehavior 设置为 CloseConnection,则关闭 SqlDataReader 会自动关闭此连接。 参考网址:http://msdn.microsoft.com/zh-cn/library/y6wy5a0f(v=vs.80).aspx 版权所有©2012,WestGarden.欢迎转载,转载请注明出处.更多文章请参阅博客http://www.cnblogs.com/WestGarden/ 转载于:https://www.cnblogs.com/WestGarden/archive/2012/06/04/2533560.html 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_33697898/article/details/94471782。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-03-18 20:09:36
89
转载
转载文章
...都是基于描述符的特定使用。 OK,你可能想问,为什么描述符是这么重要呢?别急,我们接着看 使用描述符 首先请看下一段代码 classA(object):注:在 Python 3.x 版本中,对于 new class 的使用不需要显式的指定从 object 类进行继承,如果在 Python 2.X(x>2)的版本中则需要defa(self): pass if__name__=="__main__": a=A() a.a() 大家都注意到了我们存在着这样一个语句 a.a() ,好的,现在请大家思考下,我们在调用这个方法的时候发生了什么? OK?想出来了么?没有?好的我们继续 首先我们调用一个属性的时候,不管是成员还是方法,我们都会触发这样一个方法用于调用属性 __getattribute__() ,在我们的 __getattribute__() 方法中,如果我们尝试调用的属性实现了我们的描述符协议,那么会产生这样一个调用过程 type(a).__dict__['a'].__get__(b,type(b)) 。好的这里我们又要给出一个结论了:“在这样一个调用过程中,有这样一个优先级顺序,如果我们所尝试调用属性是一个 data descriptors ,那么不管这个属性是否存在我们的实例的 __dict__ 字典中,优先调用我们描述符里的 __get__ 方法,如果我们所尝试调用属性是一个 non data descriptors ,那么我们优先调用我们实例里的 __dict__ 里的存在的属性,如果不存在,则依照相应原则往上查找我们类,父类中的 __dict__ 中所包含的属性,一旦属性存在,则调用 __get__ 方法,如果不存在则调用 __getattr__() 方法”。理解起来有点抽象?没事,我们马上会讲,不过在这里,我们先要解释下 data descriptors 与 non data descriptors ,再来看一个例子。什么是 data descriptors 与 non data descriptors 呢?其实很简单,在描述符中同时实现了 __get__ 与 __set__ 协议的描述符是 data descriptors ,如果只实现了 __get__ 协议的则是 non data descriptors 。好了我们现在来看个例子:importmath classlazyproperty: def__init__(self, func): self.func = func def__get__(self, instance, owner): ifinstanceisNone: returnself else: value = self.func(instance) setattr(instance, self.func.__name__, value) returnvalue classCircle: def__init__(self, radius): self.radius = radius pass @lazyproperty defarea(self): print("Com") returnmath.pi self.radius 2 deftest(self): pass if__name__=='__main__': c=Circle(4) print(c.area) 好的,让我们仔细来看看这段代码,首先类描述符 @lazyproperty 的替换过程,前面已经说了,我们不在重复。接着,在我们第一次调用 c.area 的时候,我们首先查询实例 c 的 __dict__ 中是否存在着 area 描述符,然后发现在 c 中既不存在描述符,也不存在这样一个属性,接着我们向上查询 Circle 中的 __dict__ ,然后查找到名为 area 的属性,同时这是一个 non data descriptors ,由于我们的实例字典内并不存在 area 属性,那么我们便调用类字典中的 area 的 __get__ 方法,并在 __get__ 方法中通过调用 setattr 方法为实例字典注册属性 area 。紧接着,我们在后续调用 c.area 的时候,我们能在实例字典中找到 area 属性的存在,且类字典中的 area 是一个 non data descriptors ,于是我们不会触发代码里所实现的 __get__ 方法,而是直接从实例的字典中直接获取属性值。 描述符的使用 描述符的使用面很广,不过其主要的目的在于让我们的调用过程变得可控。因此我们在一些需要对我们调用过程实行精细控制的时候,使用描述符,比如我们之前提到的这个例子classlazyproperty: def__init__(self, func): self.func = func def__get__(self, instance, owner): ifinstanceisNone: returnself else: value = self.func(instance) setattr(instance, self.func.__name__, value) returnvalue def__set__(self, instance, value=0): pass importmath classCircle: def__init__(self, radius): self.radius = radius pass @lazyproperty defarea(self, value=0): print("Com") ifvalue ==0andself.radius ==0: raiseTypeError("Something went wring") returnmath.pi value 2ifvalue !=0elsemath.pi self.radius 2 deftest(self): pass 利用描述符的特性实现懒加载,再比如,我们可以控制属性赋值的值classProperty(object): "Emulate PyProperty_Type() in Objects/descrobject.c" def__init__(self, fget=None, fset=None, fdel=None, doc=None): self.fget = fget self.fset = fset self.fdel = fdel ifdocisNoneandfgetisnotNone: doc = fget.__doc__ self.__doc__ = doc def__get__(self, obj, objtype=None): ifobjisNone: returnself ifself.fgetisNone: raiseAttributeError("unreadable attribute") returnself.fget(obj) def__set__(self, obj, value=None): ifvalueisNone: raiseTypeError("You cant to set value as None") ifself.fsetisNone: raiseAttributeError("can't set attribute") self.fset(obj, value) def__delete__(self, obj): ifself.fdelisNone: raiseAttributeError("can't delete attribute") self.fdel(obj) defgetter(self, fget): returntype(self)(fget, self.fset, self.fdel, self.__doc__) defsetter(self, fset): returntype(self)(self.fget, fset, self.fdel, self.__doc__) defdeleter(self, fdel): returntype(self)(self.fget, self.fset, fdel, self.__doc__) classtest(): def__init__(self, value): self.value = value @Property defValue(self): returnself.value @Value.setter deftest(self, x): self.value = x 如上面的例子所描述的一样,我们可以判断所传入的值是否有效等等。 以上就是Python 描述符(Descriptor)入门,更多相关文章请关注PHP中文网(www.gxlcms.com)! 本条技术文章来源于互联网,如果无意侵犯您的权益请点击此处反馈版权投诉 本文系统来源:php中文网 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_39736934/article/details/112888600。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-05-07 19:03:49
94
转载
转载文章
...ocket主机创建和使用过程 1、socket()//创建套接字 2、Setsockopt()//将套接字属性设置为允许和特定地点绑定 3、Bind()//将套接字绑定特定地址端口 4、Listen()//打开监听端口属性 以下重复进行 5、Accept()//接收客户端的连接请求 6、Read()//从客户端读数据 7、Write()//将处理好的结果发送给客户端 二、HTTP传输协议 基于socket的TCP通信,按HTTP传输协议格式化传输内容。 示例: 1、客户端发送HTTP请求 GET/txt?hal=1000HTTP/1.1 Host:localhost:1024 User-Agent:Mozilla/5.0(X11;Linuxi686;rv:2.0)Gecko/20100101Firefox/4.0 Accept:text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8 Accept-Language:zh-cn,zh;q=0.5 Accept-Encoding:gzip,deflate Accept-Charset:GB2312,utf-8;q=0.7,;q=0.7 Keep-Alive:115 Connection:keep-alive GET:发送HTTP请求的方法,还可以是SET或者POST /txt?hal=1000是请求根目录下的txt文件内容并传入参数hal=1000 HTTP/1.1表示HTTP版本是1.1 2、服务端传回HTTP响应 HTTP/1.0200OK Server:ReageWebServer Content-Type:text/html <!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Strict//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <htmlxmlns="http://www.w3.org/1999/xhtml"> <!--Copyright(c)2000-2008QuadralayCorporation.Allrightsreserved.--> <head> <title>WebWorksHelp5.0</title> </head> <body>wuff</body> </html> 前面四行(包括空行)是消息体,后面是消息。一般要指明消息体的长度,方便客户端的接收处理。 三、示例程序 ====================================================================== / 主要实现功能,处理浏览器的get请求信息,发送网页文件。处理404、403等错误。 1.实现绑定本机机器的1024端口作为ReageWeb服务提供网页服务的端口。(避免与机器上装有web服务器产生端口冲突) 2.实现get获取网页方式。 3.实现index.html作为网站的首页面 作者:Reage blog:http://blog.csdn.net/rentiansheng / include<stdio.h> include<stdlib.h> include<string.h> include<sys/types.h> include<sys/socket.h> include<sys/un.h> include<netinet/in.h> include<arpa/inet.h> include<fcntl.h> include<string.h> include<sys/stat.h> include<signal.h> defineMAX1024 intres_socket; voidapp_exit(); / @description:开始服务端监听 @parameter ip:web服务器的地址 port:web服务器的端口 @result:成功返回创建socket套接字标识,错误返回-1 / intsocket_listen(charip,unsignedshortintport){ intres_socket;//返回值 intres,on; structsockaddr_inaddress; structin_addrin_ip; res=res_socket=socket(AF_INET,SOCK_STREAM,0); setsockopt(res_socket,SOL_SOCKET,SO_REUSEADDR,&on,sizeof(on)); memset(&address,0,sizeof(address)); address.sin_family=AF_INET; address.sin_port=htons(port); address.sin_addr.s_addr=htonl(INADDR_ANY);//inet_addr("127.0.0.1"); res=bind(res_socket,(structsockaddr)&address,sizeof(address)); if(res){printf("portisused,nottorepeatbind\n");exit(101);}; res=listen(res_socket,5); if(res){printf("listenportiserror;\n");exit(102);}; returnres_socket; } / @description:向客户端发送网页头文件的信息 @parameter conn_socket:套接字描述符。 status:http协议的返回状态码。 @s_status:http协议的状态码的含义 @filetype:向客户端发送的文件类型 / voidsend_http_head(intconn_socket,intstatus,chars_status,charfiletype){ charbuf[MAX]; memset(buf,0,MAX); sprintf(buf,"HTTP/1.0%d%s\r\n",status,s_status); sprintf(buf,"%sServer:ReageWebServer\r\n",buf); sprintf(buf,"%sContent-Type:%s\r\n\r\n",buf,filetype); write(conn_socket,buf,strlen(buf)); } / @description:向客户端发送错误页面信息 @parameter conn_socket:套接字描述符。 status:http协议的返回状态码。 @s_status:http协议的状态码的含义 @filetype:向客户端发送的文件类型 @msg:错误页面信息内容 / voidsend_page_error(intconn_socket,intstatus,chars_status,charmsg){ charbuf[MAX]; sprintf(buf,"<html><head></head><body><h1>%s</h1><hr>ReageWebServer0.01</body></head>",msg); send_http_head(conn_socket,status,s_status,"text/html"); write(conn_socket,buf,strlen(buf)); } / @description:向客户端发送文件 @parameter conn_socket:套接字描述符。 @file:要发送文件路径 / intsend_html(intconn_socket,charfile){ intf; charbuf[MAX]; inttmp; structstatfile_s; //如果file为空,表示发送默认主页。主页暂时固定 if(0==strlen(file)){ strcpy(file,"index.html"); } //如果获取文件状态失败,表示文件不存的,发送404页面,暂时404页面内容固定。 if(stat(file,&file_s)){ send_page_error(conn_socket,404,"Notfound","Notfound<br/>Reagedoesnotimplementthismothod\n"); return0; } //如果不是文件或者无读权限,发送无法读取文件 if(!(S_ISREG(file_s.st_mode))||!(S_IRUSR&file_s.st_mode)){ send_page_error(conn_socket,403,"Forbidden","Forbidden<br/>Reagecouldn'treadthefile\n"); return0; } //发送头文件,现在只提供html页面 send_http_head(conn_socket,200,"OK","text/html"); f=open(file,O_RDONLY); if(0>f){ //打开文件失败,发送404页面,其实感觉发送5xx也可以的,服务器内部错误 send_page_error(conn_socket,404,"Notfound","Notfound<br/>Reagecouldn'treadthefile\n"); return0; } buf[MAX-1]=0;//将文件内容缓冲区最后的位设置位结束标志。 //发送文件的内容 while((tmp=read(f,buf,MAX-1))&&EOF!=tmp){ write(conn_socket,buf,strlen(buf)); } } / @description:提取url中可用的信息。访问的网页和数据访问方式 @parameter: conn_socket:与客户端链接的套接字 uri:要处理的url,注意不是浏览器中的url,而是浏览器发送的http请求 @resutl: / intdo_uri(intconn_socket,charuri){ charp; p=strchr(uri,'?'); if(p){p=0;p++;} send_html(conn_socket,uri); } voidulog(charmsg){} voidprint(charmsg){ ulog(msg); printf(msg); } intmain(intargc,charargv[]){ intconn_socket; inttmp; intline; structsockaddr_inclient_addr; charbuf[MAX]; intlen=sizeof(client_addr); charmethod[100],uri[MAX],version[100]; charpwd[1024]; res_socket=socket_listen("127.0.0.1",1024); //当按ctrl+c结束程序时调用,使用app_exit函数处理退出过程 signal(SIGINT,app_exit); while(1){ conn_socket=accept(res_socket,(structsockaddr)&client_addr,&len); printf("reage\n"); line=0; //从客户端获取请求信息 while(0==(tmp=read(conn_socket,buf,MAX-1))||tmp!=EOF){ buf[MAX-1]=0; break;//我只使用了第一行的请求信息,所以丢弃其他的信息 } //send_http_head(conn_socket,200,"text/html"); sscanf(buf,"%s%s%s",method,uri,version); //目前只处理get请求 if(!strcasecmp(method,"get")) //send_html(conn_socket,"h.html"); do_uri(conn_socket,uri+1); close(conn_socket); } } voidapp_exit(){ //回复ctrl+c组合键的默认行为 signal(SIGINT,SIG_DFL); //关闭服务端链接、释放服务端ip和端口 close(res_socket); printf("\n"); exit(0); } ====================================================================== 本篇文章为转载内容。原文链接:https://blog.csdn.net/iteye_9368/article/details/82520401。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-05-30 18:31:58
90
转载
转载文章
...的一种职位,主要负责使用Java编程语言进行软件系统的设计、编码、测试和维护工作。在文中,JAVA开发工程师是一个高频出现的技术岗位,众多公司在金九银十求职季招聘的重点对象,因其跨平台、面向对象特性以及广泛应用于互联网后台服务端开发而受到业界青睐。 六险一金 , 六险一金是中国大陆地区较为全面的社会保险和住房公积金福利制度的简称。它包括养老保险、医疗保险、失业保险、工伤保险、生育保险、补充医疗保险(部分公司提供)以及住房公积金。在本文中,各家公司为吸引优秀人才,均提供了包含六险一金在内的综合福利待遇。 年终奖 , 年终奖是指企业在每年度末向员工发放的一种奖金形式,用于表彰员工一年来的工作业绩和贡献。文中提到的多家公司都提到了年终奖作为其福利待遇的一部分,这不仅是对员工工作成果的认可,也是激励员工积极工作的有效手段。 股票期权 , 股票期权是一种长期激励机制,允许员工在未来特定时间内以预先约定的价格购买公司股票的权利。在本文所述的互联网公司中,很多公司向员工提供股票期权作为福利之一,旨在让员工分享公司的成长收益,增强归属感,并鼓励员工与公司共同长期发展。
2023-01-11 22:59:19
529
转载
DorisDB
... 场景还原:假设你正使用Python的dorisdb库进行数据插入操作。代码如下: python from dorisdb import DorisDBClient client = DorisDBClient(host='your_host', port=your_port, database='your_db') cursor = client.cursor() 插入数据 cursor.execute("INSERT INTO your_table (column1, column2) VALUES ('value1', 'value2')") 问题浮现:执行上述代码后,你收到了“写入失败”的消息,同时发现网络连接偶尔会中断。 解决方案:首先,检查网络连接稳定性。确保你的服务器与DorisDB实例之间的网络畅通无阻。其次,优化SQL语句的执行效率,减少网络传输的数据量。例如,可以考虑批量插入数据,而不是逐条插入。 第三章:资源限制:磁盘空间不足的挑战 场景还原:你的DorisDB实例运行在一个资源有限的环境中,某天,当你试图插入大量数据时,系统提示磁盘空间不足。 问题浮现:尽管你已经确保了网络连接稳定,但写入仍然失败。 解决方案:增加磁盘空间是显而易见的解决方法,但这需要时间和成本。哎呀,兄弟,你得知道,咱们手头的空间那可是个大问题啊!要是想在短时间内搞定它,我这儿有个小妙招给你。首先,咱们得做个大扫除,把那些用不上的数据扔掉。就像家里大扫除一样,那些过时的文件、照片啥的,该删就删,别让它占着地方。其次呢,咱们可以用更牛逼的压缩工具,比如ZIP或者RAR,它们能把文件压缩得更小,让硬盘喘口气。这样一来,不仅空间大了,还能节省点资源,挺划算的嘛!试试看,说不定你会发现自己的设备运行起来比以前流畅多了!嘿,兄弟!你听说过 DorisDB 的分片和分布式功能吗?这玩意儿超级厉害!它就像个大仓库,能把咱们的数据均匀地摆放在多个小仓库里(那些就是节点),这样不仅能让数据更高效地存储起来,还能让我们的系统跑得更快,用起来更顺畅。试试看,保管让你爱不释手! 第四章:事务冲突与并发控制 场景还原:在高并发环境下,多个用户同时尝试插入数据到同一表中,导致了写入失败。 问题浮现:即使网络连接稳定,磁盘空间充足,事务冲突仍可能导致写入失败。 解决方案:引入适当的并发控制机制是关键。在DorisDB中,可以通过设置合理的锁策略来避免或减少事务冲突。例如,使用行级锁或表级锁,根据具体需求选择最合适的锁模式。哎呀,兄弟,咱们在优化程序的时候,得注意一点,别搞那些没必要的同时进行的操作,这样能大大提升系统的稳定性。就像是做饭,你要是同时炒好几个菜,肯定得忙得团团转,而且容易出错。所以啊,咱们得一个个来,稳扎稳打,这样才能让系统跑得又快又稳! 结语:从困惑到解决的旅程 面对“写入失败”,我们需要冷静分析,从不同的角度寻找问题所在。哎呀,你知道嘛,不管是网速慢了点、硬件不够给力、操作过程中卡壳了,还是设置哪里没对劲,这些事儿啊,都有各自的小妙招来解决。就像是遇到堵车了,你得找找是哪段路的问题,然后对症下药,说不定就是换个路线或者等等红绿灯,就能顺畅起来呢!哎呀,你知道不?咱们要是能持续地学习和动手做,那咱处理问题的能力就能慢慢上个新台阶。就像给水管通了塞子,数据的流动就更顺畅了。这样一来,咱们的业务跑起来也快多了,就像是有了个贴身保镖,保护着业务高效运转呢!嘿!听好了,每回遇到难题都不是白来的,那可是让你升级打怪的好机会!咱们就一起手牵手,勇闯数据的汪洋大海,去发现那些藏在暗处的新世界吧!别怕,有我在你身边,咱俩一起探险,一起成长!
2024-10-07 15:51:26
122
醉卧沙场
转载文章
.... 如果您有关于如何使用这些工具的问题,请访问sysinternals论坛从其他用户和我们的团队获取解答和帮助. 该工具包括: AccessChk 这个工具为您显示指定至档案、登录机码或 Windows 服务的使用者或群组之存取。 AccessEnum 这个简单又具有超高安全性的工具,会让您知道拥有对您系统目录、档案及登录机码的存取之对象和方式。用它来寻找您权限下的安全性漏洞。 AdRestore 取消删除 Server 2003 Active Directory 物件。 BgInfo 这个可完全设定的程式,会自动产生包括含有 IP 位址、电脑名称,和网路介面卡等等重要资讯的桌面背景。 BlueScreen 这个萤幕保护程式不只将「蓝色萤幕」(Blue Screens) 模仿得维妙维肖,也能模仿重新开机 (需使用 CHKDSK 完成),而且在 Windows NT 4、Windows 2000、Windows XP、Server 2003 和 Windows 9x 中皆能执行。 CacheSet CacheSet 是一种能让您使用 NT 提供的功能来控制 Cache Manager 的工作组大小。除了和 NT 所有版本相容之外,还提供原始程式码。 检视系统时钟的解析度,同时也是计时器解析度的最大值。 Contig 希望能够快速地将常用的档案进行磁碟重组吗?使用 Contig 最佳化个别档案,或是建立新的连续档案。 Ctrl2cap 这是一种核心模式驱动程式,展示键盘输入筛选只在键盘类别驱动程式之上,目的是为了将大写锁定按键转换至控制按键。这个层级的筛选允许在 NT 「发现」按键之前,先进行转换和隐藏按键。包括完整的来源。此外,Ctrl2cap 还会显示如何使用 NtDisplayString() 将讯息列印至初始化的蓝色萤幕。 DebugView Sysinternals 的另一个首开先例:这个程式会拦截分别由 DbgPrint 利用装置驱动程式,和 OutputDebugString 利用 Win32 程式所做的呼叫。它能够在您的本机上或跨往际往路,在不需要作用中的侦错工具情况下,检视和录制侦错工作阶段输出。 DiskExt 显示磁碟区磁碟对应。 Diskmon 这个公用程式会撷取全部的硬碟活动,或是提供系统匣中的软体磁碟活动指示器的功能。 DiskView 图形化磁区公用程式。 Du 依目录检视磁碟使用状况。 EFSDump 检视加密档案的资讯。 Filemon 这个监控工具让您即时检视所有档案系统的活动。 Handle 这个易於操纵的命令列公用程式能够显示档案开启的种类和使用的处理程序等更多资讯。 Hex2dec 十六进位数字和十进位数字相互转换。 Junction 建立 Win2K NTFS 符号连结。 LDMDump 倾印逻辑磁碟管理员的磁碟上之资料库内容,其中描述 Windows 2000 动态磁碟分割。 ListDLLs 列出所有目前载入的 DLL,包括载入位置和他们的版本编号。2.0 版列印载入模组的完整路径名称。 LiveKd 使用 Microsoft 核心侦错工具检视即时系统。 LoadOrder 检视在您 WinNT/2K 系统上载入装置的顺序。 LogonSessions 列出系统上的作用中登入工作阶段。 MoveFile 允许您对下一次开机进行移动和删除命令的排程。 NTFSInfo 使用 NTFSInfo 检视详细的 NTFS 磁碟区资讯,包括主档案表格 (MFT) 和 MFT 区的大小和位置,还有 NTFS 中继资料档案的大小。 PageDefrag 将您的分页档和登录 Hive 进行磁碟重组。 PendMoves 列举档案重新命名的清单,删除下次开机将会执行的命令。 Portmon 使用这个进阶的监视工具进行监视序列和平行连接埠活动。它不仅掌握所有标准的序列和平行 IOCTL,甚至会显示传送和接收的资料部份。Version 3.x 具有强大的新 UI 增强功能和进阶的筛选功能。 Process Monitor 即时监控档案系统、登录、程序、执行绪和 DLL 活动。 procexp 任务管理器,这个管理器比windows自带的管理器要强大方便的很多,建议替换自带的任务管理器(本人一直用这个管理器,很不错)。此工具也有汉化版,fans可以自己搜索下载 ProcFeatures 这个小应用程式会描述「实体位址扩充」的处理器和 Windows 支援,而没「没有执行」缓冲区溢位保护。 PsExec 以有限的使用者权限执行处理程序。 PsFile 检视远端开启档案有哪些。 PsGetSid 显示电脑或使用者的 SID。 PsInfo 取得有关系统的资讯。 PsKill 终止本机或远端处理程序。 PsList 显示处理程序和执行绪的相关资讯。 PsLoggedOn 显示使用者登录至一个系统。 PsLogList 倾印事件记录档的记录。 PsPasswd 变更帐户密码。 PsService 检视及控制服务。 PsShutdown 关机及选择重新启动电脑。 PsSuspend 暂停及继续处理程序。 PsTools PsTools 产品系列包括命令列公用程式,其功能有列出在本机或远端电脑上执行的处理程序、远端执行的处理程序、重新开机的电脑和倾印事件记录等等。 RegDelNull 扫描并删除登录机码,这些登录机码包括了标准登录编辑工具无法删除的内嵌式 Null 字元。 RegHide 建立名为 "HKEY_LOCAL_MACHINE\Software\Sysinternals\Can't touch me!\0" 并使用原生 API 的金钥,而且会在此金钥内建立一个值。 Regjump 跳至您在 Regedit 中指定的登录路径。 Regmon 这个监视工具让您即时看到全部的登录活动。 RootkitRevealer 扫描您系统上 Rootkit 为基础的恶意程式码。 SDelete 以安全的方法覆写您的机密档案,并且清除因先前使用这个 DoD 相容安全删除程式所删除档案後而释放的可用空间。包括完整的原始程式码。 ShareEnum 扫描网路上档案共用并检视其安全性设定,来关闭安全性漏洞。 Sigcheck 倾印档案版本资讯和验证系统上的影像皆已完成数位签章。 Strings 搜寻 binaryimages 中的 ANSI 和 UNICODE 字串。 Sync 将快取的资料清除至磁碟。 TCPView 作用中的通讯端命令列检视器。 VolumeId 设定 FAT 或 NTFS 磁碟区 ID。 Whois 看看谁拥有一个网际网路位址。 Winobj 最完整的物件管理员命名空间检视器在此。 ZoomIt 供萤幕上缩放和绘图的简报公用程式。 转自:http://www.360doc.com/content/15/0323/06/20545288_457293504.shtml 本篇文章为转载内容。原文链接:https://blog.csdn.net/qq_33515088/article/details/80721846。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-01-22 15:44:41
102
转载
转载文章
... 资源,但是不允许它使用超过限制的资源。 Before you begin You need to have a Kubernetes cluster, and the kubectl command-line tool must be configured to communicate with your cluster. If you do not already have a cluster, you can create one by using Minikube. 你的集群里每个节点至少必须拥有300M的内存。 这个教程里有几个步骤要求Heapster , 但是如果你没有Heapster的话,也可以完成大部分的实验,就算跳过这些Heapster 步骤,也不会有什么问题。 检查看Heapster服务是否运行,执行命令: kubectl get services --namespace=kube-system 如果Heapster服务正在运行,会有如下输出: NAMESPACE NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGEkube-system heapster 10.11.240.9 <none> 80/TCP 6d 创建一个命名空间 创建命名空间,以便你在实验中创建的资源可以从集群的资源中隔离出来。 kubectl create namespace mem-example 配置内存申请和限制 给容器配置内存申请,只要在容器的配置文件里添加resources:requests就可以了。配置限制的话, 则是添加resources:limits。 本实验,我们创建包含一个容器的Pod,这个容器申请100M的内存,并且内存限制设置为200M,下面 是配置文件: memory-request-limit.yaml apiVersion: v1kind: Podmetadata:name: memory-demospec:containers:- name: memory-demo-ctrimage: vish/stressresources:limits:memory: "200Mi"requests:memory: "100Mi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 在这个配置文件里,args代码段提供了容器所需的参数。-mem-total 150Mi告诉容器尝试申请150M 的内存。 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit.yaml --namespace=mem-example 验证Pod的容器是否正常运行: kubectl get pod memory-demo --namespace=mem-example 查看Pod的详细信息: kubectl get pod memory-demo --output=yaml --namespace=mem-example 这个输出显示了Pod里的容器申请了100M的内存和200M的内存限制。 ...resources:limits:memory: 200Mirequests:memory: 100Mi... 启动proxy以便我们可以访问Heapster服务: kubectl proxy 在另外一个命令行窗口,从Heapster服务获取内存使用情况: curl http://localhost:8001/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/mem-example/pods/memory-demo/metrics/memory/usage 这个输出显示了Pod正在使用162,900,000字节的内存,大概就是150M。这很明显超过了申请 的100M,但是还没达到200M的限制。 {"timestamp": "2017-06-20T18:54:00Z","value": 162856960} 删除Pod: kubectl delete pod memory-demo --namespace=mem-example 超出容器的内存限制 只要节点有足够的内存资源,那容器就可以使用超过其申请的内存,但是不允许容器使用超过其限制的 资源。如果容器分配了超过限制的内存,这个容器将会被优先结束。如果容器持续使用超过限制的内存, 这个容器就会被终结。如果一个结束的容器允许重启,kubelet就会重启他,但是会出现其他类型的运行错误。 本实验,我们创建一个Pod尝试分配超过其限制的内存,下面的这个Pod的配置文档,它申请50M的内存, 内存限制设置为100M。 memory-request-limit-2.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-2spec:containers:- name: memory-demo-2-ctrimage: vish/stressresources:requests:memory: 50Milimits:memory: "100Mi"args:- -mem-total- 250Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 在配置文件里的args段里,可以看到容器尝试分配250M的内存,超过了限制的100M。 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-2.yaml --namespace=mem-example 查看Pod的详细信息: kubectl get pod memory-demo-2 --namespace=mem-example 这时候,容器可能会运行,也可能会被杀掉。如果容器还没被杀掉,重复之前的命令直至 你看到这个容器被杀掉: NAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 24s 查看容器更详细的信息: kubectl get pod memory-demo-2 --output=yaml --namespace=mem-example 这个输出显示了容器被杀掉因为超出了内存限制。 lastState:terminated:containerID: docker://65183c1877aaec2e8427bc95609cc52677a454b56fcb24340dbd22917c23b10fexitCode: 137finishedAt: 2017-06-20T20:52:19Zreason: OOMKilledstartedAt: null 本实验里的容器可以自动重启,因此kubelet会再去启动它。输入多几次这个命令看看它是怎么 被杀掉又被启动的: kubectl get pod memory-demo-2 --namespace=mem-example 这个输出显示了容器被杀掉,被启动,又被杀掉,又被启动的过程: stevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 37sstevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 1/1 Running 2 40s 查看Pod的历史详细信息: kubectl describe pod memory-demo-2 --namespace=mem-example 这个输出显示了Pod一直重复着被杀掉又被启动的过程: ... Normal Created Created container with id 66a3a20aa7980e61be4922780bf9d24d1a1d8b7395c09861225b0eba1b1f8511... Warning BackOff Back-off restarting failed container 查看集群里节点的详细信息: kubectl describe nodes 输出里面记录了容器被杀掉是因为一个超出内存的状况出现: Warning OOMKilling Memory cgroup out of memory: Kill process 4481 (stress) score 1994 or sacrifice child 删除Pod: kubectl delete pod memory-demo-2 --namespace=mem-example 配置超出节点能力范围的内存申请 内存的申请和限制是针对容器本身的,但是认为Pod也有容器的申请和限制是一个很有帮助的想法。 Pod申请的内存就是Pod里容器申请的内存总和,类似的,Pod的内存限制就是Pod里所有容器的 内存限制的总和。 Pod的调度策略是基于请求的,只有当节点满足Pod的内存申请时,才会将Pod调度到合适的节点上。 在这个实验里,我们创建一个申请超大内存的Pod,超过了集群里任何一个节点的可用内存资源。 这个容器申请了1000G的内存,这个应该会超过你集群里能提供的数量。 memory-request-limit-3.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-3spec:containers:- name: memory-demo-3-ctrimage: vish/stressresources:limits:memory: "1000Gi"requests:memory: "1000Gi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-3.yaml --namespace=mem-example 查看Pod的状态: kubectl get pod memory-demo-3 --namespace=mem-example 输出显示Pod的状态是Pending,因为Pod不会被调度到任何节点,所有它会一直保持在Pending状态下。 kubectl get pod memory-demo-3 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-3 0/1 Pending 0 25s 查看Pod的详细信息包括事件记录 kubectl describe pod memory-demo-3 --namespace=mem-example 这个输出显示容器不会被调度因为节点上没有足够的内存: Events:... Reason Message------ -------... FailedScheduling No nodes are available that match all of the following predicates:: Insufficient memory (3). 内存单位 内存资源是以字节为单位的,可以表示为纯整数或者固定的十进制数字,后缀可以是E, P, T, G, M, K, Ei, Pi, Ti, Gi, Mi, Ki.比如,下面几种写法表示相同的数值:alue: 128974848, 129e6, 129M , 123Mi 删除Pod: kubectl delete pod memory-demo-3 --namespace=mem-example 如果不配置内存限制 如果不给容器配置内存限制,那下面的任意一种情况可能会出现: 容器使用内存资源没有上限,容器可以使用当前节点上所有可用的内存资源。 容器所运行的命名空间有默认内存限制,容器会自动继承默认的限制。集群管理员可以使用这个文档 LimitRange来配置默认的内存限制。 内存申请和限制的原因 通过配置容器的内存申请和限制,你可以更加有效充分的使用集群里内存资源。配置较少的内存申请, 可以让Pod跟任意被调度。设置超过内存申请的限制,可以达到以下效果: Pod可以在负载高峰时更加充分利用内存。 可以将Pod的内存使用限制在比较合理的范围。 清理 删除命名空间,这会顺便删除命名空间里的Pod。 kubectl delete namespace mem-example 译者:NickSu86 原文链接 本篇文章为转载内容。原文链接:https://blog.csdn.net/Aria_Miazzy/article/details/99694937。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-12-23 12:14:07
494
转载
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
watch -n 5 command
- 每隔5秒执行一次指定命令并更新输出。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"