[Elasticsearch 数据搜索与分...]的搜索结果

...onitor中的日志分析新功能，允许用户跨混合云环境集中收集、分析和可视化各类日志数据，包括Windows事件日志，并通过Kusto查询语言实现复杂日志筛选和实时警报。 另外，随着GDPR等法规的实施，日志审计与合规性要求更加严格。《信息安全技术 网络安全等级保护基本要求》等相关标准强调了日志记录、留存和审查机制的必要性，对于企业来说，不仅需要优化日志筛选工具以提升效率，还应确保所有操作行为可追溯，符合法规要求。 同时，在DevOps实践中，日志聚合与智能分析平台如Splunk、Elasticsearch和Logstash（ELK Stack）等也在日志管理领域崭露头角，它们提供了强大的搜索过滤功能以及机器学习算法支持，能够帮助企业快速定位问题、预测潜在风险，并有效提高运维工作效率。 综上所述，日志筛选与分析不仅是IT运维的重要一环，也是当今网络安全与合规保障的关键手段。了解并掌握最新的日志处理技术和解决方案，有助于企业和组织在面对日益复杂的网络环境时，更好地维护信息系统的稳定性和安全性。

哎呀，你听说过数据的世界吗？在这个大数据满天飞的时代，Kibana就像是一位超级厉害的侦探，专门帮咱们搞清楚Elasticsearch这个庞然大物里面藏着的秘密！它用那双神奇的眼睛，把海量的数据变成了看得懂、摸得着的图形和故事，让咱们能轻松地理解那些复杂的数据，分析出有价值的信息。就像是在一堆乱七八糟的线索中，找到了关键的证据，让咱们的决策更有依据，工作更高效！今天，让我们一起探索如何在Kibana中实现自定义数据聚合函数，解锁数据洞察的新维度。 一、为何需要自定义数据聚合函数？ 在数据科学和业务分析领域，我们经常遇到需要对数据进行定制化的分析需求。比如说，咱们得算出一堆数据里头某个指标的具体数值，就像找出一堆水果中最大的那个苹果。或者，我们还能根据时间序列，也就是按照时间顺序排列的数据，来预测未来的走向，就像是看天气预报，预测明天会不会下雨。还有就是，分析用户的个性化行为，比如有的人喜欢早起刷微博，有的人则习惯晚上熬夜看剧，我们要找出这些不同模式，就像是理解朋友的性格差异，知道什么时候找他们聊天最有效。哎呀，你知道的，有时候我们手上的数据，它们就像一群不听话的小孩，现有的那些内置工具啊，就像妈妈的规则，根本管不住他们。这就逼得我们得自己发明一些新的小把戏，比如自定义的数据聚合函数，这样就能更灵活地把这些数据整理成我们需要的样子啦。就像是给每个小孩量身定制的玩具，既符合他们的特性，又能让他们乖乖听话，多好啊！ 二、Kibana自定义聚合函数的实现 在Kibana中，实现自定义聚合函数主要依赖于_scripted_metric聚合类型。这种类型的聚合允许用户编写JavaScript代码来定义自己的聚合逻辑。下面，我们将通过一个简单的示例来展示如何实现一个自定义聚合函数。 示例：计算数据的“活跃天数” 假设我们有一个日志数据集，每条记录代表一次用户操作，我们需要计算用户在某段时间内的活跃天数（即每天至少有一次操作）。 步骤1：定义聚合代码 首先，我们需要编写JavaScript代码来实现我们的逻辑。以下是一个示例： javascript { "aggs": { "active_days": { "scripted_metric": { "init_script": "total_days = 0", "map_script": "if (doc['timestamp'].value > 0) { total_days++; }", "combine_script": "return total_days", "reduce_script": "return sum" } } }, "script_fields": { "timestamp": { "script": { "source": "doc['timestamp'].value", "lang": "painless" } } } } 解释： - init_script：初始化变量total_days为0。 - map_script：当timestamp字段值大于0时，将total_days加1。 - combine_script：返回当前total_days的值。 - reduce_script：用于汇总多个聚合结果，这里使用sum函数将所有total_days值相加。 步骤2：执行聚合 在Kibana中创建一个新的搜索查询，选择_scripted_metric聚合类型，并粘贴上述代码片段。确保数据源正确，然后运行查询以查看结果。 三、实战应用与优化 在实际项目中，自定义聚合函数可以极大地增强数据分析的能力。例如，你可能需要根据业务需求调整map_script中的条件，或者优化init_script和combine_script以提高性能。 实践建议： - 测试与调试：在部署到生产环境前，务必充分测试自定义聚合函数，确保其逻辑正确且性能良好。 - 性能考虑：自定义聚合函数可能会增加查询的复杂度和执行时间，特别是在处理大量数据时。合理设计脚本，避免不必要的计算，以提升效率。 - 可读性：保持代码简洁、注释清晰，方便团队成员理解和维护。 四、结语 自定义数据聚合函数是Kibana强大的功能之一，它赋予了用户无限的创造空间，能够针对特定业务需求进行精细的数据分析。通过本文的探索，相信你已经掌握了基本的实现方法。嘿，兄弟！你得记住，实践就是那最棒的导师。别老是坐在那里空想，多动手做做看，不断试验，然后调整改进。这样啊，你的数据洞察力，那可是能突飞猛进的。就像种花一样，你得浇水、施肥、修剪，它才会开花结果。所以，赶紧去实践吧，让自己的技能开枝散叶！在数据的海洋中航行，自定义聚合函数就是你手中的指南针，引领你发现更多宝藏。

..._index: 一次ElasticSearch的实战复盘 一、问题初现 我的代码出了什么问题？ 嘿，朋友们，我最近在用ElasticSearch做数据索引的时候，遇到了一个特别让人抓狂的问题——“Failed to bulk index documents into index my_index”。这就跟我在跑马拉松的时候鞋带突然散了似的，不仅跑得磕磕绊绊，连带着心里也一阵慌乱，开始怀疑自己是不是天生不适合这项运动。 当时我的代码是这样的： python from elasticsearch import Elasticsearch es = Elasticsearch() actions = [ { "_index": "my_index", "_id": "1", "_source": {"name": "John", "age": 30} }, { "_index": "my_index", "_id": "2", "_source": {"name": "Jane", "age": 25} } ] response = es.bulk(index="my_index", body=actions) print(response) 结果呢？直接报错：“Failed to bulk index documents into index my_index”。我当时就纳闷了，到底哪儿出错了呢？是数据格式搞拧巴了，还是索引没弄对？要不就是我自己写的代码坑太多了？那种感觉啊，就好比你在厨房按着菜谱一步一步做菜，结果一开锅，发现把一顿饭整成了糊锅底的“黑暗料理”，真是欲哭无泪啊！ 二、初步排查 从错误信息入手 既然报错了，那我们就得从错误信息入手。首先，我们得看看ElasticSearch的日志，这是排查问题的第一步。日志里头一般会写得更详细一点，像是到底哪里错了、错得有多惨这种，还有那个堆栈信息啥的，看得人头都大了，但有时候不看又不行啊！ 我先打开了ElasticSearch的日志文件（一般在/var/log/elasticsearch/目录下），然后发现日志里显示了一个错误：“MapperParsingException[failed to parse]”。看到这个，我就明白了，可能是数据格式有问题。 这时候我开始反思：是不是我的数据结构不符合ElasticSearch的映射规则？于是我又仔细检查了一下我的数据结构，发现确实有一个字段的数据类型没有定义好。比如说啊，我有个字段叫age，本来应该是整数类型的，但之前手滑写成字符串了，真是自己给自己挖坑。 修正后的代码如下： python actions = [ { "_index": "my_index", "_id": "1", "_source": {"name": "John", "age": 30} 确保age是整数类型 }, { "_index": "my_index", "_id": "2", "_source": {"name": "Jane", "age": 25} } ] 再次运行代码后，果然不再报错了。这就算是舒了口气吧，不过也给我提了个醒：用 ElasticSearch 做批量索引的时候，这数据格式啊，真的一点都不能含糊，不然分分钟让你抓狂！ 三、深入分析 为什么会出现这种问题？ 虽然问题解决了，但作为一个喜欢刨根问底的人，我还是想知道为什么会发生这样的事情。说白了，就是下次再碰到这种事儿，我可不想抓耳挠腮半天还搞不定，希望能一下子就找到路子！ 首先，我想到了ElasticSearch的映射机制。Elasticsearch 会检查每个字段的类型，就像老师检查作业一样认真。要是你传的数据类型跟它预想的对不上号，它就会直接“翻脸”，给你抛个 MapperParsingException 错误，仿佛在说：“哎哟喂，这啥玩意儿？重写！”比如说啊，你有个字段叫age（年龄），本来应该填数字的，结果你非得塞个字符串进去，那ElasticSearch就直接不认你的文档，直接拒收，根本不带商量的！ 其次，我还想到，ElasticSearch的bulk API其实是非常强大的，但它也有自己的规则。比如，bulk API要求每条文档必须包含_index、_type（虽然现在已经被废弃了）和_source字段。如果你漏掉了某个字段，或者字段名拼写错误，都会导致批量索引失败。 最后，我还注意到，ElasticSearch的bulk API是基于HTTP协议的，这意味着它对网络环境非常敏感。要是你的网络老是断线，或者你等了半天也没收到回应，那可能就搞不定批量索引这事啦。

近期，随着大数据和人工智能技术的迅猛发展，搜索技术也在不断演进。在这样的背景下，Apache Lucene作为一款成熟的全文搜索引擎库，其应用范围越来越广泛。与此同时，Java社区也不断推出新版本，带来了诸多改进和新特性，使得开发者能够更高效地使用Lucene和避免常见的编程陷阱。 最近的一项研究显示，企业在构建搜索功能时，往往面临着性能瓶颈和用户体验问题。而Lucene凭借其强大的索引能力和灵活的搜索选项，成为了许多企业的首选解决方案。然而，随着数据量的激增，如何优化索引和查询性能成为了一个亟待解决的问题。例如，Netflix在其博客中分享了如何利用Lucene和Elasticsearch构建高效搜索系统的经验，特别强调了索引合并和缓存机制的重要性。 同时，Java 17的发布也为开发者提供了新的工具和改进，如更强的类型推断和更好的性能优化。这些新特性使得处理NullPointerException等常见异常变得更加容易，从而提升了代码的质量和稳定性。根据Oracle官方文档，Java 17引入了若干新特性，包括密封类（Sealed Classes）、记录类型（Record Patterns）等，这些都可以帮助开发者更安全地编写代码。 此外，对于那些正在寻找更强大、更易于扩展的搜索解决方案的企业而言，基于Lucene的分布式搜索系统，如Solr和Elasticsearch，正变得越来越受欢迎。这些系统不仅提供了高度的可伸缩性和容错性，还能通过集群管理工具轻松地进行部署和维护。例如，Elasticsearch的官方文档中详细介绍了如何使用Kubernetes进行部署，这为企业提供了更为便捷的解决方案。 综上所述，无论是通过优化现有技术还是采用新兴工具，企业都能够更好地应对大数据时代的挑战，提供更快、更准确的搜索服务。而对于开发者而言，掌握最新的编程语言特性和搜索技术，将有助于他们在竞争激烈的市场中脱颖而出。

如果你已经是elasticsearch的使用大牛，本篇文章对你不会有什么收益。如果你要做一个搜索功能，不知道如何选型，那你可以参考一下本文。 1. 可选方案 如果你需要做一个搜索功能，这时候你可能会想到很多实现方法： 比如你的底层数据库用的是sql数据库（比如mysql）：你可能会想到在对应字段上使用field1 like '%?%'，?即用户输出的关键词 比如你的底层数据库用的是mongo：你可能会想到在对应字段上使用db.collection.find({ "field1": { $regex: /aaa/ } })做查询，aaa即用户输入的关键词 比如你的底层数据库用的是elasticsearch：那厉害了，专业全文搜索神奇，全文搜索或搜索相关的需求使用elasticsearch绝对是最合适的选择 比如你的底层数据库用的是hive、impala、clickhouse等大数据计算引擎：鸟枪换炮，其实用作全文索引和搜索的场景并不合适，你可能依旧会使用sql数据库那样用like做交互 2. 方案选择 调研之后，可能会发现对于数据量相对大一点的搜索场景，在当下流行的数据库或计算引擎中，elasticsearch是其中最合适的解决方案。 无论是sql的like、还是mongo的regex，在线上环境下，数据量较多的情况下，都不是很高效的查询，甚至有的公司的dba会禁止在线上使用类似的查询语法。 与elasticsearch是“亲戚”的，大家还常提到lucene、solr，但是无论从现在的发展趋势还是公司运维人才的储备（不得不说当下的运维人才中，对es熟悉的人才会更多一些），elasticsearch是相对较合适的选择。 一些大数据计算引擎，其实更多的适合OLAP场景。当然也完全可以使用，因为比如clickhouse、starrocks等的查询速度已经发展的非常快。但你会发现在中文分词搜索上，实现起来有一定困扰。 所以，如果你不差机器，首选方案还是elasticsearch。 3. elasticsearch的适用场景 3.1 经典的日志搜索场景 提到elasticsearch不得不提到它的几个好朋友： 一些公司里经常用elasticsearch来收集日志，然后用kibana来展示和分析。 展开来说，举个例子，你的app打印日志打印到了线上日志文件，当app出现故障你需要做定位筛查的时候，可能需要登录线上机器用grep命令各种查看。 但如果你不差机器资源，可以搭建上述架构，app的日志会被收集到elasticsearch中，最终你可以在kibana中查看日志，kibana里面可以很方面的做各种筛查操作。 这个流畅大概是这样的： 3.2 通用搜索场景 但是没有上图的beats、logstash、kibana，elasticsearch可以自己工作吗？完全可以的！ elasticsearch也支持单机部署，数据规模不是很大的情况下，表现也是不错的。所以，你也不用担心因为自己机器资源不够而对elasticsearch望而却步。当然，单机部署的情况下，更多的适合自己玩，对于可靠性的要求就不能太苛刻了。 如果你在用宝塔，那你可以在宝塔面板，左侧“软件商店”中直接找到elasticsearch，并“没有痛苦”的安装。 本篇文章主要讨论选型，所以不涉及安装细节。 3.2.1 性能顾虑 上面提到了“表现”，其实性能只是elasticsearch的一个方面，主要你的机器资源足够（机器资源？对，包括你的机器个数，elasticsearch可以非常方便的横向扩展，以及单机的配置，cpu+内存，内存越高越好，elasticsearch比较吃内存！），它一定会给你很好的性能反应。试想，公司里的app打印线上日志的行数其实可比一般业务系统产生的订单数量要大很多很多，elasticsearch都可以常在日志的实时分析，所以如果你要做通用场景，而且机器资源不是问题，这是完全行得通的。 3.2.2 易用性和可玩性 此外，在使用elasticsearch的时候，会有很多的可玩性。这里不引经据典，呈现很多elasticsearch官方文章的列举优秀特性（当然，确实很优秀！）。 这里举几个例子： （1）中文分词：第一章提到的其它引擎几乎很难实现，elasticsearch对分词器的支持是原生的，因为elasticsearch天生就为全文索引而生，elasticsearch的汉语名字就是“弹性搜索”。这家伙可是专门搞搜索的！ 有的朋友可能不了解分词器，比如你的一个字段里存储“今天我要吃冰激凌”，在分词器的加持下，es最终会存储为“今天|我|要|吃|冰激凌”，并且使用倒排索引的形式进行存储。当你搜索“冰激凌”的时候，可以很快的反馈回来。 关于elasticsearch的原理，这里不展开说明，分词器和倒排索引是elasticsearch的最基本的概念。如果有不了解的朋友，可以自行百度一下。而且这两个概念，与elasticsearch其实不挂钩，是搜索中的通用概念。 关于倒排索引，其核心表现如下图： 如果你要用mysql、mongo实现中文分词，这......其实挺麻烦的，可能在后面的版本支持中会实现的很好，但在当前的流行版本中，它们对中文分词是不够友好的。 mysql5.7之后支持外挂第三方分词器，支持中文分词。而在数据量较大的情况下，mysql的多机器部署几乎很难实现，elasticsearch可以很容易的水平扩展。 mongo支持西方语言的分词，但不支持中文、日语、汉语等东方语言，你需要在自己的逻辑代码中实现分词器。 ngram分词，你看看效果：依旧是“今天我要吃冰激凌”，ngram二元分词后即将得到结果“今天、天我、我要、要吃、吃冰、冰激、激凌”。这....，那你搜索冰激凌就搜不出来！咋办呢，当然可以使用三元分词。但是更好的解决方案还是中文分词器，但它们原生并不支持的。 （2）自定义排名场景：比如你的搜索“冰激凌”，结果中返回了有10条，这10条应该有你想对它指定的顺序。最简单的就是用默认的得分，但是如果你想人为干预这个得分怎么办？ elasticsearch支持function_score功能（可以不用，这个是增强功能），es会在计算最终得分之前回调这个你指定的function_score回调函数，传入原始得分、行的原始数据，你可以在里面做计算，比如查询其它参考表、或查看是否是广告位，以得到新的score返回给用户。 function_scrore的功能不展开描述，是一个在自定义得分场景下十分有用又简单易用的功能！下面是一个使用示例，不仅如此，它是支持自定义函数的，自由度非常高。 （3）文本高亮：你用mysql或mongo也可以实现，比如用户搜索“冰激凌”，你只需要在逻辑代码中对“冰激凌”替换为“<span class='highlight-term'>冰激凌</span>”，然后前端做样式即可。但如果用户搜索了“好吃的冰激凌”咋办呢？还有就是英文大小写的场景，用户搜索"MAIN"，那结果及时匹配到了“main”（小写的），这个单词是否应该高亮呢？也许这时候你会用业务代码实现toLowerCase下基于位置下标的匹配。 挺麻烦的吧，elasticsearch，自动可以返回高亮字段！并且可以自由指定高亮的html前后标签。 （4）实在太多了....这家伙天生为索引而生，而且版本还在不断地迭代。不差机器的话，用用吧！ 4. 退而求其次 4.1 普通数据库 尽管elasticsearch在搜索场景下，是非常好用的利器！但是它比较消耗机器资源，如果你的数据规模并不大，而且想快速实现功能。你可以使用mysql或mongo来代替，完全没有问题。 技术是为了解决特定业务场景下的问题，结合当前手头的资源，适合自己的才是最好的。也许你搞了一个单机器的elasticsearch，单机器内存只有2G，它的表现并不会比mysql、mongo来的好。 当然，如果你为了使用上边提到的一些优秀的独有的特性，那elasticsearch一定还是最佳选择！ 对于mysql（关系型数据库）和mongo（文档数据库）的区别这里不展开描述了，但对于搜索而言，两种都合适。有时候选型也不用很纠结，其实都是差不太多的东西，适合自己的、自己熟悉的、运维起来顺手的，就是最好的。 4.2 普通数据库实现中文分词搜索的原理 尽管mysql在5.7以后支持外挂第三方分词器，mongo在截止目前的版本中也不支持中文分词（你可能会看到一些文章中说可以指定language为chinese，但其实会报错的）。 其实当你选择普通数据库，你就不得不在逻辑代码中自己实现一套索引分词+搜索分词逻辑。 索引分词+搜索分词？为什么分开写，如果你有用过elasticsearch或solr，你会知道，在指定字段的时候，需要指定index分词器和search分词器。 下面以mongo为例做简要说明。 4.2.1 index分词器 意思是当数据“索引”截断如何分词。首先，这里必须要承认，数据之后存储了，才能被查询。在搜索中，这句话可以换成是“数据只有被索引了，才能被搜索”。 这时候请求打过来了，要索引一条数据，其中某字段是“今天我要吃冰激凌”，分词后得到“今天|我|要|吃|冰激凌”，这个就可以入库了。 如果你使用elasticsearch或solr，这个过程是自动的。如果你使用不支持外观分词器的常规数据库，这个过程你就要手动了，并把分词后的结果用空格分开（最好使用空格，因为西方语言的分词规则就是按空格拆分，以及逗号句号），存入数据库的一个待搜索的字段上。 效果如下图： 本站的其它博文中有介绍IKAnalyzer：https://www.52itw.com/java/6268.html 4.2.2 search分词器 当用户的查询请求打过来，用户输入了“好吃的冰激凌”，分词后得到“好吃|冰激凌”（“的”作为停用词stopwords，被自动忽略了，IKAnalyzer可以指定停用词表）。 于是这时候就回去上图的数据库表里面搜索“好吃 冰激凌”（与index分词器结果统一，还是用空格分隔）。 当然，对于mongo而言，你需要事先开启全文索引db.xxx.ensureIndex({content: "text"})，xxx是集合名，content是字段名，text是全文索引的标识。 mongo搜索的时候用这个语法：db.xxx.find( { $text: { $search: "好吃 冰激凌" } },{ score: { $meta: "textScore" } }).sort( { score: { $meta: "textScore" } } ) 4.2.3 索引库和存储库分开 为了减少单表的大小，为了让普通的列表查询、普通筛选可以跑的更快，你可以对原有的数据原封不动的做一张表。 然后对于搜索场景，再单独对需要被搜索的字段单独拎一张表出来！ 然后二者之间做增量信号同步或定时差额同步，可能会有延迟，这个就看你能容忍多长时间（悄悄告诉你，elasticsearch也需要指定这个refresh时间，一般是1s到几秒、甚至分钟级。当然，二者的这个时间对饮的底层目的是不一样的）。 这样，搜索的时候先查询搜索库，拿到一个指针id的列表，然后拿到指针id的列表区存储里把数据一次性捞出来。当然，也是支持分页的，你查询搜索库其实也是普通的数据库查询嘛，支持分页参数的。 4.3 存储库和索引库的延伸阅读 很多有名的开源软件也是使用的存储库与索引库分离的技术方案，如apache atlas： apache atlas对于大数据领域的数据资产元数据管理、数据血缘上可谓是专家，也涉及资产搜索的特性，它的实现思路就是：从搜索库中做搜索、拿到key、再去存储库中做查询。 搜索库：上图右下角，可以看到使用的是elasticsearch、solr或lucene，多个选一个 存储库：上图左下角，可以看到使用的是Cassandra、HBase或BerkeleyDB，多个选一个 虽然apache atlas在只有搜索库或只有存储库的时候也可以很好的工作，但只针对于数据量并不大的场景。 搜索库，擅长搜索！存储库，擅长海量存储！搜索库多样化搜索，然后去存储库做点查。 当你的数据达到海量的时候，es+hbase也是一种很好的解决方案，不在这里展开说明了。

...容 根据 课程ID 搜索该课程已发布的课程信息，并返回该课程的所有课程计划信息。 将指定课程 发布时 所的课程计划的媒资信息保存到 teachplan_media_publish 表中， 根据 课程计划id 搜索该课程计划所对应的媒资信息，需要用到的是该课程计划对应的 m3u8 地址，用于在线播放视频，该接口在课程管理服务中开发，供学习服务进行远程调用。 在学习服务中远程调用 课程计划媒资信息查询接口，获取该课程计划的视频播放的 m3u8 url地址，并返回给前端，前端使用该 url 进行视频的在线播放。 在线学习完整的测试流程：媒资信息的上传、选择、发布到前端门户、搜索门户测试，在线学习的播放视频。 目录 内容会比较多，小伙伴门可以根据目录进行按需查阅。 文章目录 😎 知识点概览 目录 一、学习页面：查询课程计划 0x01 需求分析 0x02 Api接口 0x03 服务端开发 Controller Service 测试 0x04 前端开发 配置NGINX虚拟主机 前端 API 方法 前端 API 方法调用 测试 二、学习页面：获取视频播放地址 0x01 需求分析 0x02 课程发布：储存媒资信息 需求分析 数据模型 Dao Service 测试 0x03 Logstash：扫描课程计划媒资 创建索引 创建模板文件 配置 mysql.conf 启动 logstash.bat Logstash多实例运行 0x04 搜素服务：查询课程媒资接口 需求分析 Api接口定义 Service Controller 测试 三、在线学习：接口开发 0x01 需求分析 0x02 搭建开发环境 0x03 Api接口 0x04 服务端开发 需求分析 搜索服务注册Eureka 搜索服务客户端 自定义错误代码 Service Controller 测试 0x05 前端开发 需求分析 api方法 配置代理 视频播放页面 简单的测试 完整的测试 1、上传文件 一些问题 ~~方案1：删除本地分块文件重新尝试上传~~ 方案2：检查前端提交的MD5值是否正确 2、为课程计划选择媒资信息 3、前端门户测试 四、待完善的一些功能 😁 认识作者 一、学习页面：查询课程计划 0x01 需求分析 到目前为止，我们已可以编辑课程计划信息并上传课程视频，下一步我们要实现在线学习页面动态读取章节对应的视频并进行播放。在线学习页面所需要的信息有两类： 课程计划信息 课程学习信息（视频地址、学习进度等） 如下图： 在线学习集成媒资管理的需求如下： 1、在线学习页面显示课程计划 2、点击课程计划播放该课程计划对应的视频 本章节实现学习页面动态显示课程计划，进入不同课程的学习页面右侧动态显示当前课程的课程计划。 0x02 Api接口 课程计划信息从哪里获取？ 在课程发布完成后会自动发布到一个 course_pub 的表中，logstash 会自动将课程发布后的信息自动采集到 ES 索引库中，这些信息也包含课程计划信息。 所以考虑性能要求，课程发布后对课程的查询统一从 ES 索引库中查询。 前端通过请求 搜索服务 获取课程信息，需要单独在 搜索服务 中定义课程信息查询接口。 本接口接收课程id，查询课程所有信息返回给前端。 我们在搜素服务 API 下添加以下方法 @ApiOperation("根据id搜索课程发布信息")public Map<String,CoursePub> getdetail(String id); 返回的课程信息为 json 结构：key 为课程id，value 为课程内容。 0x03 服务端开发 在搜索服务中开发查询课程信息接口。 Controller 在搜素服务下添加以下方法 / 根据id搜索课程发布信息 @param id 课程id @return JSON数据/@Override@GetMapping("/getdetail/{id}")public Map<String, CoursePub> getdetail(@PathVariable("id")String id) {return esCourseService.getdetail(id);} Service / 根据id搜索课程发布信息 @param id 课程id @return JSON数据/public Map<String, CoursePub> getdetail(String id) {//设置索引SearchRequest searchRequest = new SearchRequest(es_index);//设置类型searchRequest.types(es_type);//创建搜索源对象SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();//设置查询条件,根据id进行查询searchSourceBuilder.query(QueryBuilders.termQuery("id",id));//这里不使用source的原字段过滤,查询所有字段// searchSourceBuilder.fetchSource(new String[]{"name", "grade", "charge","pic"}, newString[]{});//设置搜索源对象searchRequest.source(searchSourceBuilder);//执行搜索SearchResponse searchResponse = null;try {searchResponse = restHighLevelClient.search(searchRequest);} catch (IOException e) {e.printStackTrace();}//获取搜索结果SearchHits hits = searchResponse.getHits();SearchHit[] searchHits = hits.getHits(); //获取最优结果Map<String,CoursePub> map = new HashMap<>();for (SearchHit hit: searchHits) {//从搜索结果中取值并添加到coursePub对象Map<String, Object> sourceAsMap = hit.getSourceAsMap();String courseId = (String) sourceAsMap.get("id");String name = (String) sourceAsMap.get("name");String grade = (String) sourceAsMap.get("grade");String charge = (String) sourceAsMap.get("charge");String pic = (String) sourceAsMap.get("pic");String description = (String) sourceAsMap.get("description");String teachplan = (String) sourceAsMap.get("teachplan");CoursePub coursePub = new CoursePub();coursePub.setId(courseId);coursePub.setName(name);coursePub.setPic(pic);coursePub.setGrade(grade);coursePub.setTeachplan(teachplan);coursePub.setDescription(description);//设置map对象map.put(courseId,coursePub);}return map;} 测试 使用 swagger-ui 或 postman 测试查询课程信息接口。 0x04 前端开发 配置NGINX虚拟主机 学习中心的二级域名为 ucenter.xuecheng.com ，我们在 nginx 中配置 ucenter 虚拟主机。 学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;} } 前端ucenterupstream ucenter_server_pool{server 127.0.0.1:7081 weight=10;server 127.0.0.1:13000 weight=10;} 在学习中心要调用搜索的 API，使用 Nginx 解决代理，如下图： 在 ucenter 虚拟主机下配置搜索 Api 代理路径 后台搜索（公开api）upstream search_server_pool{server 127.0.0.1:40100 weight=10;} 学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;}后端搜索服务location /openapi/search/ {proxy_pass http://search_server_pool/search/;} } 前端 API 方法 在学习中心 xc-ui-pc-leanring 对课程信息的查询属于基础常用功能，所以我们将课程查询的 api 方法定义在base 模块下，如下图： 在system.js 中定义课程查询方法： import http from './public'export const course_view = id => {return http.requestGet('/openapi/search/course/getdetail/'+id);} 前端 API 方法调用 在 learning_video.vue 页面中调用课程信息查询接口得到课程计划，将课程计划json 串转成对象。 xc-ui-pc-leanring/src/module/course/page/learning_video.vue 1、定义视图 课程计划 <!--课程计划部分代码--><div class="navCont"><div class="course-weeklist"><div class="nav nav-stacked" v-for="(teachplan_first, index) in teachplanList"><div class="tit nav-justified text-center"><i class="pull-left glyphicon glyphicon-th-list"></i>{ {teachplan_first.pname} }<i class="pull-right"></i></div><li v-if="teachplan_first.children!=null" v-for="(teachplan_second, index) in teachplan_first.children"><i class="glyphicon glyphicon-check"></i><a :href="url" @click="study(teachplan_second.id)">{ {teachplan_second.pname} }</a></li><!-- <div class="tit nav-justified text-center"><i class="pull-left glyphicon glyphicon-th-list"></i>第一章<i class="pull-right"></i></div><li ><i class="glyphicon glyphicon-check"></i><a :href="url" >第一节</a></li>--><!--<li><i class="glyphicon glyphicon-unchecked"></i>为什么分为A、B、C部分</li>--></div></div></div> 课程名称 <div class="top text-center">{ {coursename} }</div> 定义数据对象 data() {return {url:'',//当前urlcourseId:'',//课程idchapter:'',//章节Idcoursename:'',//课程名称coursepic:'',//课程图片teachplanList:[],//课程计划playerOptions: {//播放参数autoplay: false,controls: true,sources: [{type: "application/x-mpegURL",src: ''}]},} } 在 created 钩子方法中获取课程信息 created(){//当前请求的urlthis.url = window.location//课程idthis.courseId = this.$route.params.courseId//章节idthis.chapter = this.$route.params.chapter//查询课程信息systemApi.course_view(this.courseId).then((view_course)=>{if(!view_course || !view_course[this.courseId]){this.$message.error("获取课程信息失败，请重新进入此页面！")return ;} let courseInfo = view_course[this.courseId]console.log(courseInfo)this.coursename = courseInfo.nameif(courseInfo.teachplan){let teachplan = JSON.parse(courseInfo.teachplan);this.teachplanList = teachplan.children;} })}, 测试 在浏览器请求：http://ucenter.xuecheng.com//learning/4028e581617f945f01617f9dabc40000/0 4028e581617f945f01617f9dabc40000：第一个参数为课程 id，测试时从 ES索引库找一个课程 id 0：第二个参数为课程计划 id，此参数用于点击课程计划播放视频。 如果出现跨域问题，但是确定已经配置了跨域，请尝试结束所以 nginx.exe 的进程 和 清空浏览器缓存。 如果还没有解决？重启电脑试试。 二、学习页面：获取视频播放地址 0x01 需求分析 用户进入在线学习页面，点击课程计划将播放该课程计划对应的教学视频。 业务流程如下： 业务流程说明： 1、用户进入在线学习页面，页面请求搜索服务获取课程信息（包括课程计划信息）并且在页面展示。 2、在线学习请求学习服务获取视频播放地址。 3、学习服务校验当前用户是否有权限学习，如果没有权限学习则提示用户。 4、学习服务校验通过，请求搜索服务获取课程媒资信息。 5、搜索服务请求ElasticSearch获取课程媒资信息。 为什么要请求 ElasticSearch 查询课程媒资信息？ 出于性能的考虑，公开查询课程信息从搜索服务查询，分摊 mysql 数据库的访问压力。 什么时候将课程媒资信息存储到 ElasticSearch 中？ 课程媒资信息是在课程发布的时候存入 ElasticSearch，因为课程发布后课程信息将基本不再修改。 0x02 课程发布：储存媒资信息 需求分析 课程媒资信息是在课程发布的时候存入 ElasticSearch 索引库，因为课程发布后课程信息将基本不再修改，具体的业务流程如下。 1、课程发布，向课程媒资信息表写入数据。 1）根据课程 id 删除 teachplanMediaPub 中的数据 2）根据课程 id 查询 teachplanMedia 数据 3）将查询到的 teachplanMedia 数据插入到 teachplanMediaPub 中 2、Logstash 定时扫描课程媒资信息表，并将课程媒资信息写入索引库。 数据模型 在 xc_course 数据库创建课程计划媒资发布表： CREATE TABLE teachplan_media_pub (teachplan_id varchar(32) NOT NULL COMMENT '课程计划id',media_id varchar(32) NOT NULL COMMENT '媒资文件id',media_fileoriginalname varchar(128) NOT NULL COMMENT '媒资文件的原始名称',media_url varchar(256) NOT NULL COMMENT '媒资文件访问地址',courseid varchar(32) NOT NULL COMMENT '课程Id',timestamp timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT'logstash使用',PRIMARY KEY (teachplan_id)) ENGINE=InnoDB DEFAULT CHARSET=utf8 数据模型类如下： package com.xuecheng.framework.domain.course;import lombok.Data;import lombok.ToString;import org.hibernate.annotations.GenericGenerator;import javax.persistence.;import java.io.Serializable;import java.util.Date;@Data@ToString@Entity@Table(name="teachplan_media_pub")@GenericGenerator(name = "jpa-assigned", strategy = "assigned")public class TeachplanMediaPub implements Serializable {private static final long serialVersionUID = -916357110051689485L;@Id@GeneratedValue(generator = "jpa-assigned")@Column(name="teachplan_id")private String teachplanId;@Column(name="media_id")private String mediaId;@Column(name="media_fileoriginalname")private String mediaFileOriginalName;@Column(name="media_url")private String mediaUrl;@Column(name="courseid")private String courseId;@Column(name="timestamp")private Date timestamp;//时间戳} Dao 创建 TeachplanMediaPub 表的 Dao，向 TeachplanMediaPub 存储信息采用先删除该课程的媒资信息，再添加该课程的媒资信息，所以这里定义根据课程 id 删除课程计划媒资方法： public interface TeachplanMediaPubRepository extends JpaRepository<TeachplanMediaPub, String> {//根据课程id删除课程计划媒资信息long deleteByCourseId(String courseId);} 从TeachplanMedia查询课程计划媒资信息 //从TeachplanMedia查询课程计划媒资信息public interface TeachplanMediaRepository extends JpaRepository<TeachplanMedia, String> {List<TeachplanMedia> findByCourseId(String courseId);} Service 编写保存课程计划媒资信息方法，并在课程发布时调用此方法。 1、保存课程计划媒资信息方法 本方法采用先删除该课程的媒资信息，再添加该课程的媒资信息，在 CourseService 下定义该方法 //保存课程计划媒资信息private void saveTeachplanMediaPub(String courseId){//查询课程媒资信息List<TeachplanMedia> byCourseId = teachplanMediaRepository.findByCourseId(courseId);if(byCourseId == null) return; //没有查询到媒资数据则直接结束该方法//将课程计划媒资信息储存到待索引表//删除原有的索引信息teachplanMediaPubRepository.deleteByCourseId(courseId);//一个课程可能会有多个媒资信息,遍历并使用list进行储存List<TeachplanMediaPub> teachplanMediaPubList = new ArrayList<>();for (TeachplanMedia teachplanMedia: byCourseId) {TeachplanMediaPub teachplanMediaPub = new TeachplanMediaPub();BeanUtils.copyProperties(teachplanMedia, teachplanMediaPub);teachplanMediaPubList.add(teachplanMediaPub);}//保存所有信息teachplanMediaPubRepository.saveAll(teachplanMediaPubList);} 2、课程发布时调用此方法 修改课程发布的 coursePublish 方法： ....//保存课程计划媒资信息到待索引表saveTeachplanMediaPub(courseId);//页面urlString pageUrl = cmsPostPageResult.getPageUrl();return new CoursePublishResult(CommonCode.SUCCESS,pageUrl);..... 测试 测试课程发布后是否成功将课程媒资信息存储到 teachplan_media_pub 中，测试流程如下： 1、指定一个课程 2、为课程计划添加课程媒资 3、执行课程发布 4、观察课程计划媒资信息是否存储至 teachplan_media_pub 中 注意：由于此测试仅用于测试发布课程计划媒资信息的功能，可暂时将 cms页面发布的功能暂时屏蔽，提高测试效率。 测试结果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vrzs5589-1595567273126)(https://qnoss.codeyee.com/20200704_15/image7)] 0x03 Logstash：扫描课程计划媒资 Logstash 定时扫描课程媒资信息表，并将课程媒资信息写入索引库。 创建索引 1、创建 xc_course_media 索引 2、并向此索引创建如下映射 POST: http://localhost:9200/xc_course_media/doc/_mapping {"properties" : {"courseid" : {"type" : "keyword"},"teachplan_id" : {"type" : "keyword"},"media_id" : {"type" : "keyword"},"media_url" : {"index" : false,"type" : "text"},"media_fileoriginalname" : {"index" : false,"type" : "text"} }} 索引创建成功 创建模板文件 在 logstach 的 config 目录文件 xc_course_media_template.json 文件路径为 %ES_ROOT_DIR%/logstash6.8.8/config/xc_course_media_template.json %ES_ROOT_DIR% 为 ElasticSearch 和 logstash 的安装目录 内容如下： {"mappings" : {"doc" : {"properties" : {"courseid" : {"type" : "keyword"},"teachplan_id" : {"type" : "keyword"},"media_id" : {"type" : "keyword"},"media_url" : {"index" : false,"type" : "text"},"media_fileoriginalname" : {"index" : false,"type" : "text"} }},"template" : "xc_course_media"} } 配置 mysql.conf 在logstash的 config 目录下配置 mysql_course_media.conf 文件供 logstash 使用，logstash 会根据 mysql_course_media.conf 文件的配置的地址从 MySQL 中读取数据向 ES 中写入索引。 参考https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html 配置输入数据源和输出数据源。 input {stdin {} jdbc {jdbc_connection_string => "jdbc:mysql://localhost:3306/xc_course?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC" 数据库信息jdbc_user => "root"jdbc_password => "123123" MYSQL 驱动地址,修改为maven仓库对应的位置jdbc_driver_library => "D:/soft/apache-maven-3.5.4/repository/mysql/mysql-connector-java/5.1.40/mysql-connector-java-5.1.40.jar" the name of the driver class for mysqljdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"要执行的sql文件statement_filepath => "/conf/course.sql"statement => "select from teachplan_media_pub where timestamp > date_add(:sql_last_value,INTERVAL 8 HOUR)"定时配置schedule => " "record_last_run => truelast_run_metadata_path => "D:/soft/elasticsearch/logstash-6.8.8/config/xc_course_media_metadata"} } output {elasticsearch {ES的ip地址和端口hosts => "localhost:9200"hosts => ["localhost:9200","localhost:9202","localhost:9203"]ES索引库名称index => "xc_course_media"document_id => "%{teachplan_id}"document_type => "doc"template => "D:/soft/elasticsearch/logstash-6.8.8/config/xc_course_media_template.json"template_name =>"xc_course_media"template_overwrite =>"true"} stdout {日志输出codec => json_lines} } 启动 logstash.bat 启动 logstash.bat 采集 teachplan_media_pub 中的数据，向 ES 写入索引。 logstash.bat -f ../config/mysql_course_media.conf 课程发布成功后，Logstash 会自动参加 teachplan_media_pub 表中新增的数据，效果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ILPBxfXi-1595567273134)(https://qnoss.codeyee.com/20200704_15/image10)] Logstash多实例运行 由于之前我们还启动了一个 Logstash 对课程的发布信息进行采集，所以如果想两个 logstash 实例同时运行，因为每个实例都有一个.lock文件，所以不能使用同一个目录来存放数据，所以我们需要使用 --path.data= 为每个实例指定单独的数据目录，具体的代码如下： 该配置是在windows下进行的 课程发布实例 logstash_start_course_pub.bat @title logstash in course_publogstash.bat -f ..\config\mysql.conf --path.data=../data/course_pub 课程计划媒体发布实例 logstash_start_teachplan_media.bat @title logstash i n teachplan_media_publogstash.bat -f ../config/mysql_course_media.conf --path.data=../data/teachplan_media/ 同时运行效果如下 0x04 搜素服务：查询课程媒资接口 需求分析 搜索服务 提供查询课程媒资接口，此接口供学习服务调用。 Api接口定义 @ApiOperation("根据课程计划查询媒资信息")public TeachplanMediaPub getmedia(String teachplanId); Service 1、配置课程计划媒资索引库等信息 在 application.yml 中配置 xuecheng:elasticsearch:hostlist: ${eshostlist:127.0.0.1:9200} 多个结点中间用逗号分隔course:index: xc_coursetype: docsource_field: id,name,grade,mt,st,charge,valid,pic,qq,price,price_old,status,studymodel,teachmode,expires,pub_time,start_time,end_timemedia:index: xc_course_mediatype: docsource_field: courseid,media_id,media_url,teachplan_id,media_fileoriginalname 2、service 方法开发 在 课程搜索服务 中定义课程媒资查询接口，为了适应后续需求，service 参数定义为数组，可一次查询多个课程计划的媒资信息。 / 根据一个或者多个课程计划id查询媒资信息 @param teachplanIds 课程id @return QueryResponseResult/public QueryResponseResult<TeachplanMediaPub> getmedia(String [] teachplanIds){//设置索引SearchRequest searchRequest = new SearchRequest(media_index);//设置类型searchRequest.types(media_type);//创建搜索源对象SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();//源字段过滤String[] media_index_arr = media_field.split(",");searchSourceBuilder.fetchSource(media_index_arr, new String[]{});//查询条件,根据课程计划id查询(可以传入多个课程计划id)searchSourceBuilder.query(QueryBuilders.termsQuery("teachplan_id", teachplanIds));searchRequest.source(searchSourceBuilder);SearchResponse searchResponse = null;try {searchResponse = restHighLevelClient.search(searchRequest);} catch (IOException e) {e.printStackTrace();}//获取结果SearchHits hits = searchResponse.getHits();long totalHits = hits.getTotalHits();SearchHit[] searchHits = hits.getHits();//数据列表List<TeachplanMediaPub> teachplanMediaPubList = new ArrayList<>();for(SearchHit hit:searchHits){TeachplanMediaPub teachplanMediaPub =new TeachplanMediaPub();Map<String, Object> sourceAsMap = hit.getSourceAsMap();//取出课程计划媒资信息String courseid = (String) sourceAsMap.get("courseid");String media_id = (String) sourceAsMap.get("media_id");String media_url = (String) sourceAsMap.get("media_url");String teachplan_id = (String) sourceAsMap.get("teachplan_id");String media_fileoriginalname = (String) sourceAsMap.get("media_fileoriginalname");teachplanMediaPub.setCourseId(courseid);teachplanMediaPub.setMediaUrl(media_url);teachplanMediaPub.setMediaFileOriginalName(media_fileoriginalname);teachplanMediaPub.setMediaId(media_id);teachplanMediaPub.setTeachplanId(teachplan_id);//将对象加入到列表中teachplanMediaPubList.add(teachplanMediaPub);}//构建返回课程媒资信息对象QueryResult<TeachplanMediaPub> queryResult = new QueryResult<>();queryResult.setList(teachplanMediaPubList);queryResult.setTotal(totalHits);return new QueryResponseResult<TeachplanMediaPub>(CommonCode.SUCCESS,queryResult);} Controller / 根据课程计划id搜索发布后的媒资信息 @param teachplanId @return/@GetMapping(value="/getmedia/{teachplanId}")@Overridepublic TeachplanMediaPub getmedia(@PathVariable("teachplanId") String teachplanId) {//为了service的拓展性,所以我们service接收的是数组作为参数,以便后续开发查询多个ID的接口String[] teachplanIds = new String[]{teachplanId};//通过service查询ES获取课程媒资信息QueryResponseResult<TeachplanMediaPub> mediaPubQueryResponseResult = esCourseService.getmedia(teachplanIds);QueryResult<TeachplanMediaPub> queryResult = mediaPubQueryResponseResult.getQueryResult();if(queryResult!=null&& queryResult.getList()!=null&& queryResult.getList().size()>0){//返回课程计划对应课程媒资return queryResult.getList().get(0);} return new TeachplanMediaPub();} 测试 使用 swagger-ui 和 postman 测试课程媒资查询接口。 三、在线学习：接口开发 0x01 需求分析 根据下边的业务流程，本章节完成前端学习页面请求学习服务获取课程视频地址，并自动播放视频。 0x02 搭建开发环境 1、创建数据库 创建 xc_learning 数据库，学习数据库将记录学生的选课信息、学习信息。 导入：资料/xc_learning.sql 2、创建学习服务工程 参考课程管理服务工程结构，创建学习服务工程： 导入：资料/xc-service-learning.zip 项目工程结构如下 0x03 Api接口 此 api 接口是课程学习页面请求学习服务获取课程学习地址。 定义返回值类型： package com.xuecheng.framework.domain.learning.response;import com.xuecheng.framework.model.response.ResponseResult;import com.xuecheng.framework.model.response.ResultCode;import lombok.Data;import lombok.NoArgsConstructor;import lombok.ToString;@Data@ToString@NoArgsConstructorpublic class GetMediaResult extends ResponseResult {public GetMediaResult(ResultCode resultCode, String fileUrl) {super(resultCode);this.fileUrl = fileUrl;}//媒资文件播放地址private String fileUrl;} 定义接口，学习服务根据传入课程 ID、章节 Id(课程计划 ID)来取学习地址。 @Api(value = "录播课程学习管理",description = "录播课程学习管理")public interface CourseLearningControllerApi {@ApiOperation("获取课程学习地址")public GetMediaResult getMediaPlayUrl(String courseId,String teachplanId);} 0x04 服务端开发 需求分析 学习服务根据传入课程ID、章节Id(课程计划ID)请求搜索服务获取学习地址。 搜索服务注册Eureka 学习服务要调用搜索服务查询课程媒资信息，所以需要将搜索服务注册到 eureka 中。 1、查看服务名称是否为 xc-service-search 注意修改application.xml中的服务名称：spring:application:name: xc‐service‐search 2、配置搜索服务的配置文件 application.yml，加入 Eureka 配置 如下： eureka:client:registerWithEureka: true 服务注册开关fetchRegistry: true 服务发现开关serviceUrl: Eureka客户端与Eureka服务端进行交互的地址，多个中间用逗号分隔defaultZone: ${EUREKA_SERVER:http://localhost:50101/eureka/,http://localhost:50102/eureka/}instance:prefer-ip-address: true 将自己的ip地址注册到Eureka服务中ip-address: ${IP_ADDRESS:127.0.0.1}instance-id: ${spring.application.name}:${server.port} 指定实例idribbon:MaxAutoRetries: 2 最大重试次数，当Eureka中可以找到服务，但是服务连不上时将会重试，如果eureka中找不到服务则直接走断路器MaxAutoRetriesNextServer: 3 切换实例的重试次数OkToRetryOnAllOperations: false 对所有操作请求都进行重试，如果是get则可以，如果是post，put等操作没有实现幂等的情况下是很危险的,所以设置为falseConnectTimeout: 5000 请求连接的超时时间ReadTimeout: 6000 请求处理的超时时间 3、添加 eureka 依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring‐cloud‐starter‐netflix‐eureka‐client</artifactId></dependency> 4、修改启动类，在class上添加如下注解： @EnableDiscoveryClient 搜索服务客户端 在 学习服务 创建搜索服务的客户端接口，此接口会生成代理对象，调用搜索服务： package com.xuecheng.learning.client;import com.xuecheng.framework.domain.course.TeachplanMediaPub;import org.springframework.cloud.openfeign.FeignClient;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.PathVariable;@FeignClient(value = "xc‐service‐search")public interface CourseSearchClient {@GetMapping(value="/getmedia/{teachplanId}")public TeachplanMediaPub getmedia(@PathVariable("teachplanId") String teachplanId);} 自定义错误代码 我们在 com.xuecheng.framework.domain.learning.response 包下自定义一个错误消息模型 package com.xuecheng.framework.domain.learning.response;import com.xuecheng.framework.model.response.ResultCode;import lombok.ToString;@ToStringpublic enum LearningCode implements ResultCode {LEARNING_GET_MEDIA_ERROR(false,23001,"学习中心获取媒资信息错误！");//操作代码boolean success;//操作代码int code;//提示信息String message;private LearningCode(boolean success, int code, String message){this.success = success;this.code = code;this.message = message;}@Overridepublic boolean success() {return success;}@Overridepublic int code() {return code;}@Overridepublic String message() {return message;} } 该消息模型基于 ResultCode 来实现，代码如下 package com.xuecheng.framework.model.response;/ Created by mrt on 2018/3/5. 10000-- 通用错误代码 22000-- 媒资错误代码 23000-- 用户中心错误代码 24000-- cms错误代码 25000-- 文件系统/public interface ResultCode {//操作是否成功,true为成功，false操作失败boolean success();//操作代码int code();//提示信息String message(); 从 ResultCode 中我们可以看出，我们约定了用户中心的错误代码使用 23000，所以我们定义的一些错误信息的代码就从 23000 开始计数。 Service 在学习服务中定义 service 方法，此方法远程请求课程管理服务、媒资管理服务获取课程学习地址。 package com.xuecheng.learning.service.impl;import com.netflix.discovery.converters.Auto;import com.xuecheng.framework.domain.course.TeachplanMediaPub;import com.xuecheng.framework.domain.learning.response.GetMediaResult;import com.xuecheng.framework.exception.ExceptionCast;import com.xuecheng.framework.model.response.CommonCode;import com.xuecheng.learning.client.CourseSearchClient;import com.xuecheng.learning.service.LearningService;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;@Servicepublic class LearningServiceImpl implements LearningService {@AutowiredCourseSearchClient courseSearchClient;/ 远程调用搜索服务获取已发布媒体信息中的url @param courseId 课程id @param teachplanId 媒体信息id @return/@Overridepublic GetMediaResult getMediaPlayUrl(String courseId, String teachplanId) {//校验学生权限,是否已付费等//远程调用搜索服务进行查询媒体信息TeachplanMediaPub mediaPub = courseSearchClient.getmedia(teachplanId);if(mediaPub == null) ExceptionCast.cast(CommonCode.FAIL);return new GetMediaResult(CommonCode.SUCCESS, mediaPub.getMediaUrl());} } Controller 调用 service 根据课程计划 id 查询视频播放地址： @RestController@RequestMapping("/learning/course")public class CourseLearningController implements CourseLearningControllerApi {@AutowiredLearningService learningService;@Override@GetMapping("/getmedia/{courseId}/{teachplanId}")public GetMediaResult getMediaPlayUrl(@PathVariable String courseId, @PathVariable String teachplanId) {//获取课程学习地址return learningService.getMedia(courseId, teachplanId);} } 测试 使用 swagger-ui 或postman 测试学习服务查询课程视频地址接口。 0x05 前端开发 需求分析 需要在学习中心前端页面需要完成如下功能： 1、进入课程学习页面需要带上 课程 Id参数及课程计划Id的参数，其中 课程 Id 参数必带，课程计划 Id 可以为空。 2、进入页面根据 课程 Id 取出该课程的课程计划显示在右侧。 3、进入页面后判断如果请求参数中有课程计划 Id 则播放该章节的视频。 4、进入页面后判断如果 课程计划id 为0则需要取出本课程第一个 课程计划的Id，并播放第一个课程计划的视频。 进入到模块 xc-ui-pc-leanring/src/module/course api方法 let sysConfig = require('@/../config/sysConfig')let apiUrl = sysConfig.xcApiUrlPre;/获取播放地址/export const get_media = (courseId,chapter) => {return http.requestGet(apiUrl+'/api/learning/course/getmedia/'+courseId+'/'+chapter);} 配置代理 在 Nginx 中的 ucenter.xuecheng.com 虚拟主机中配置 /api/learning/ 的路径转发，此url 请转发到学习服务。 学习服务upstream learning_server_pool{server 127.0.0.1:40600 weight=10;}学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;}后端搜索服务location /openapi/search/ {proxy_pass http://search_server_pool/search/; }学习服务location ^~ /api/learning/ {proxy_pass http://learning_server_pool/learning/;} } 视频播放页面 1、如果传入的课程计划id为0则取出第一个课程计划id 在 created 钩子方法中完成 created(){//当前请求的urlthis.url = window.location//课程idthis.courseId = this.$route.params.courseId//章节idthis.chapter = this.$route.params.chapter//查询课程信息systemApi.course_view(this.courseId).then((view_course)=>{if(!view_course || !view_course[this.courseId]){this.$message.error("获取课程信息失败，请重新进入此页面！")return ;}let courseInfo = view_course[this.courseId]console.log(courseInfo)this.coursename = courseInfo.nameif(courseInfo.teachplan){console.log("准备开始播放视频")let teachplan = JSON.parse(courseInfo.teachplan);this.teachplanList = teachplan.children;//开始学习if(this.chapter == "0" || !this.chapter){//取出第一个教学计划this.chapter = this.getFirstTeachplan();console.log("第一个教学计划id为 ",this.chapter);this.study(this.chapter);}else{this.study(this.chapter);} }})}, 取出第一个章节 id，用户未输入课程计划 id 或者输入为 0 时，播放第一个。 //取出第一个章节getFirstTeachplan(){for(var i=0;i<this.teachplanList.length;i++){let firstTeachplan = this.teachplanList[i];//如果当前children存在，则取出第一个返回if(firstTeachplan.children && firstTeachplan.children.length>0){let secondTeachplan = firstTeachplan.children[0];return secondTeachplan.id;} }return ;}, 开始学习： //开始学习study(chapter){// 获取播放地址courseApi.get_media(this.courseId,chapter).then((res)=>{if(res.success){let fileUrl = sysConfig.videoUrl + res.fileUrl//播放视频this.playvideo(fileUrl)}else if(res.message){this.$message.error(res.message)}else{this.$message.error("播放视频失败，请刷新页面重试")} }).catch(res=>{this.$message.error("播放视频失败，请刷新页面重试")});}, 2、点击右侧课程章节切换播放 在原有代码基础上添加 click 事件，点击调用开始学习方法（study）。 <li v‐if="teachplan_first.children!=null" v‐for="(teachplan_second, index) inteachplan_first.children"><i class="glyphicon glyphicon‐check"></i><a :href="url" @click="study(teachplan_second.id)">{ {teachplan_second.pname} }</a></li> 3、地址栏路由url变更 这里需要注意一个问题，在用户点击课程章节切换播放时，地址栏的 url 也应该同步改变为当前所选择的课程计划 id 4、在线学习按钮 将 learnstatus 默认更改为 1，这样就能显示出马上学习的按钮，方便我们后续的集成测试。 文件路径为 xc-ui-pc-static-portal/include/course_detail_dynamic.html 部分代码块如下 <script>var body= new Vue({ //创建一个Vue的实例el: "body", //挂载点是id="app"的地方data: {editLoading: false,title:'测试',courseId:'',charge:'',//203001免费,203002收费learnstatus: 1 ,//课程状态，1：马上学习，2：立即报名、3：立即购买course:{},companyId:'template',company_stat:[],course_stat:{"s601001":"","s601002":"","s601003":""} }, 简单的测试 访问在线学习页面：http://ucenter.xuecheng.com//learning/课程id/课程计划id 通过 url 传入两个参数：课程id 和 课程计划id 如果没有课程计划则传入0 测试项目如下： 1、传入正确的课程id、课程计划id，自动播放本章节的视频 2、传入正确的课程id、课程计划id传入0，自动播放第一个视频 3、传入错误的课程id 或 课程计划id，提示错误信息。 4、通过右侧章节目录切换章节及播放视频。 访问： http://ucenter.xuecheng.com//learning/4028e58161bcf7f40161bcf8b77c0000/4028e58161bd18ea0161bd1f73190008 传入正确的课程id、课程计划id，自动播放本章节的视频 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ef0xxym7-1595567273153)(https://qnoss.codeyee.com/20200704_15/image17)] 传入正确的课程id、课程计划id传入0，自动播放第一个视频 访问 http://ucenter.xuecheng.com//learning/4028e58161bcf7f40161bcf8b77c0000/0 识别出第一个课程计划的 id 需要注意的是这里的 chapter 参数是我自己在 study 函数里加上去的，可以忽略。 传入错误的课程id或课程计划id，提示错误信息。 通过右侧章节目录切换章节及播放视频。 点击章节即可播放，但是点击制定章节后 url 没有发生改变，这个问题暂时还没有解决，关注笔记后面的内容。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TOGdxwb4-1595567273158)(https://qnoss.codeyee.com/20200704_15/image20)] 完整的测试 准备工作 启动 RabbitMQ，启动 Logstash、ElasticSearch 建议把所有后端服务都开起来 启动 前端静态门户、启动 nginx 、启动课程管理前端 我们整理一下测试的流程 上传两个媒资视频文件，用于测试 进入到课程管理，为课程计划选择媒资信息 发布课程，等待 logstash 将数据采集到 ElasticSearch 的索引库中 进入学成网主页，点击课程，进入到搜索门户页面 搜索课程，进入到课程详情页面 点击开始学习，进入到课程学习页面，选择课程计划中的一个章节进行学习。 1、上传文件 首先我们使用之前开发的媒资管理模块，上传两个视频文件用于测试。 第一个文件上传成功 一些问题 在上传第二个文件时，发生了错误，我们来检查一下问题出在了哪里 在媒体服务的控制台中可以看到，在 mergeChunks 方法在校验文件 md5 时候抛出了异常 我们在 MD5 校验这里打个断点，重新上传文件，分析一下问题所在。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OpEMZGI8-1595567273166)(https://qnoss.codeyee.com/20200704_15/image23)] 单步调试后发现，合并文件后的MD5值与用户上传的源文件值不相等 方案1：删除本地分块文件重新尝试上传 考虑到可能是在用户上传完 视频的分块文件时发生了一些问题，导致合并文件后与源文件的大小不等，导致MD5也不相同，这里我们把这个视频上传到本地的文件全部删除，在媒资上传页面重新上传文件。 对比所有分块文件的字节大小和本地源文件的大小，完全是相等的 删除所有文件后重新上传，md5值还是不等，考虑从调试一下文件合并的代码。 方案2：检查前端提交的MD5值是否正确 在查阅是否有其他的MD5值获取方案时，发现了一个使用 windows 本地命令获取文件MD5值的方法 certutil -hashfile .\19-在线学习接口-集成测试.avi md5 惊奇的发现，TM的原来是前端那边转换的MD5值不正确，后端这边是没有问题的。 从前面的图可以看出，本地和后端转换的都是以一个 f6f0 开头的MD5值 那么问题就出现在前端了，还需要花一些时间去分析一下，这里暂时就先告一段落，因为上传了几个文件测试中只有这一个文件出现了问题。 2、为课程计划选择媒资信息 进入到一个课程的管理页面 http://localhost:12000//course/manage/baseinfo/4028e58161bcf7f40161bcf8b77c0000 将刚才我们上传的媒资文件的信息和课程计划绑定 选择效果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-epKaqzCD-1595567273178)(https://qnoss.codeyee.com/20200704_15/image29)] 2、发布课程，等待 logstash 从 course_pub 以及 teachplan_media_pub 表中采集数据到 ElasticSearch 当中 发布成功后，我们可以从 teachplan_media_pub 表中看到刚才我们发布的媒资信息 再观察 Logstash 的控制台，发现两个 Logstash 的实例都对更新的课程发布信息进行了采集 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hTUve2ik-1595567273183)(https://qnoss.codeyee.com/20200704_15/image32)] 3、前端门户测试 打开我们的门户主站 http://www.xuecheng.com/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4wZe9R84-1595567273185)(https://qnoss.codeyee.com/20200704_15/image33)] 点击导航栏的课程，进入到我们的搜索门户页面 如果无法进入到搜索门户，请检查你的 xc-ui-pc-portal 前端工程是否已经启动 进入到搜索门户后，可以看到一些初始化时搜索的课程数据，默认是搜索第一页的数据，每页2个课程。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BJ1AKoJb-1595567273187)(https://qnoss.codeyee.com/20200704_15/image34)] 我们可以测试搜索一下前面我们选择媒资信息时所用的课程 点击课程，进入到课程详情页面，然后再点击开始学习。 点击马上学习后，会进入到该课程的在线学习页面，默认自动播放我们第一个课程计划中的视频。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tcuLWnf2-1595567273193)(https://qnoss.codeyee.com/20200704_15/image37)] 我们可以在右侧的目录中选择第二个课程计划，会自动播放所选的课程计划所对应的媒资视频播放地址，该 播放地址正是我们刚才通过 Logstash 自动采集到 ElasticSearch 的索引信息，效果图如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cvi9Dr0Y-1595567273195)(https://qnoss.codeyee.com/20200704_15/image38)] 四、待完善的一些功能 课程发布前，校验课程计划里面是否包含二级课程计划 课程发布前，校验课程计划信息里面是否全部包含媒资信息 删除媒资信息，并且同步删除ES中的索引 在获取该课程的播放地址时校验用户的合法、 在线学习页面，点击右侧目录中的课程计划同时改变url中的课程计划地址 视频文件 19-在线学习接口-集成测试.avi 前端上传时提交的MD5值不正确 😁 认识作者 作者：👦 LCyee ，全干型代码🐕 自建博客：https://www.codeyee.com 记录学习以及项目开发过程中的笔记与心得，记录认知迭代的过程，分享想法与观点。 CSDN 博客：https://blog.csdn.net/codeyee 记录和分享一些开发过程中遇到的问题以及解决的思路。 欢迎加入微服务练习生的队伍，一起交流项目学习过程中的一些问题、分享学习心得等，不定期组织一起刷题、刷项目，共同见证成长。 本篇文章为转载内容。原文链接：https://blog.csdn.net/codeyee/article/details/107558901。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

1. 背景 当你的数据量比较多，而且又有要求响应较快的查询场景。你会如何选型？ mysql、mongo、elasticsearch等完全可以，当然，你肯定不会忘了hbase。“海量数据存储”的海量，非hbase莫属。 几种常见数据库的对比如下： 2. hbase应用场景 如果你的查询场景就是根据key拿到结果，没有其它的过滤筛选条件，这就是经典的“点查”，“点查”在hbase上是非常合适的。 当然，除了hbase，还有很多适合“点查”的数据库，比如aws的dynamodb、google的bigtable。但一般公司或自用站点，还是用hbase更合适。 不用很纠结技术选型，hbase依旧非常经典，而且版本也在源源不断的迭代，适合自己的就是最好的。 3. hbase安装依赖 如果你的机器资源不足或只有一两台机器的站点，那么不建议使用hbase，因为它严格依赖hdfs存储系统和hadoop计算架构，以及zookeeper。 如果你的机器配置不高，在安装完这一些，还没安装完hbase的时候，内存就已经被占据了不少了。 4. 场景解析 本篇文章更关注于选型的探讨，不涉及原理的解析。所以当什么场景下应该会使用到hbase，我们再来回顾一下。 hbase的查询方式是通过rowkey做交互。所以，如果你的查询能够抽象为用rowkey直接获取，那么就适合用hbase查询。 这里的rowkey不仅仅是一个id或uuid，它甚至可以是几个字段组成的一个有限长度的字符串，比如“zhangsan-18-beijing”都是可以的。 但是，hbase不能带有其它的filter，比如你要过滤age<18，虽然可以使用hbase的一些协处理器实现，但性能会十分让你惊讶。性能是不好的。 所以，如果你的查询能够抽象为有意义的rowkey，那直接用hbase存储和查询是没有问题的。而且要注意rowkey的长度和散列，太长的rowkey会带来性能的损失，不具备散列特性的rowkey会带来热点问题。 5 自定义过滤下的hbase 从本篇文章的第一小节可以看到，极好的一列出现了三位选手：hbase、redis和elasticsearch 大数据情况下，或海量数据场景下，咱就先让redis休个假吧。如果你的数据较为海量，使用elasticsearch+hbase的搜索存储架构是非常好的选择。 这里引用阿里云的一篇文章：https://developer.aliyun.com/article/941191 6 总结 只有点查的场景，你只需要使用hbase。 只有搜索的场景，其实你完全可以只使用elasticsearch。 但当数据量不断扩大，而且参数搜索的字段可能只是所有字段的一部分，你不妨使用elasticsearch+hbase架构。搜索字段放elasticsearch，需要拿出来数据计算或展示的字段放hbase。各司其职，索引库+存储库分离。 索引库+存储库这个思想也不是为elasticsearch+hbase特定准备的，比如索引库你可以替换为lucene或solr，存储库可以替换为casandra或berkeleydb等都是可以的。任意两个组件都可以组合。

...，专为提升列表与表格数据的搜索和过滤功能而设计。这款插件能够极大地增强用户在处理大量数据时的效率和体验，尤其适用于需要频繁筛选、查找特定信息的场景。功能亮点1.快速搜索：通过简单的API调用，用户可以在输入框中直接输入关键词，快速筛选出符合条件的数据行。这不仅节省了时间，还提高了数据查找的精确度。2.灵活的过滤选项：jQuery-easySearch支持多种过滤条件，包括但不限于文本匹配、数值比较、日期筛选等，允许开发者根据具体需求定制过滤逻辑，满足不同场景下的应用需求。3.直观的用户界面：插件提供了简洁明了的用户界面，使得即使非技术背景的用户也能轻松上手使用，无需深入理解复杂的前端开发知识。4.高性能表现：针对大数据量场景进行了优化，确保在处理大规模数据时也能保持流畅的操作体验，不会出现明显的卡顿或延迟。5.兼容性与可扩展性：jQuery-easySearch与其他jQuery库兼容，易于集成到现有的Web项目中。同时，其模块化设计方便开发者根据需要添加自定义功能或修改现有行为。6.文档与社区支持：提供详细的API文档和丰富的示例代码，帮助开发者快速理解并应用插件。活跃的开发者社区也能够提供技术支持和交流平台，促进插件的持续改进和更新。应用场景-电商网站产品搜索：用户可以通过关键词搜索找到特定的产品，提高购物体验。-数据报告与分析：在数据分析工具中，快速筛选出关键指标或趋势，辅助决策制定。-人力资源管理：在员工信息管理系统中，快速定位特定员工或职位信息，提高管理效率。总之，jQuery-easySearch为开发者提供了一个高效、灵活的工具，以提升列表和表格数据的搜索和过滤功能，显著改善用户体验，适用于各种需要高效数据处理的Web应用。 点我下载 文件大小：91.70 KB 您将下载一个JQuery插件资源包，该资源包内部文件的目录结构如下： 本网站提供JQuery插件下载功能，旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容，请立即告知我们，我们将迅速响应并删除相关内容。 免责声明：站内所有资源仅供个人学习研究及参考之用，严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果，由使用者承担责任。

...级应用。近日，随着大数据和机器学习领域的发展，对文本数据预处理的需求日益增强，正则表达式成为了不可或缺的工具。例如，在自然语言处理（NLP）项目中，常常需要利用正则表达式进行分词、去除标点符号、匹配特定模式的词汇等操作。 另外，针对网络安全领域，正则表达式同样发挥着关键作用。在Web爬虫开发中，开发者们常借助正则表达式提取网页中的URL、邮箱地址以及其他敏感信息，以确保网络环境的安全并提升数据抓取效率。近期一篇来自《信息安全与技术》期刊的研究报告指出，通过对复杂正则表达式的优化运用，研究人员成功提升了对恶意软件特征码的检测精度和速度。 同时，Python社区也在持续优化其内置的re模块，不断推出新的特性以适应更广泛的应用场景。比如在最新版本的Python中，正则表达式引擎已支持Unicode 13标准，能够更好地处理全球多种语言的文本匹配需求。 总之，掌握好Python正则表达式的精髓，不仅可以提升日常编程中的文本处理能力，更能紧跟时代步伐，在大数据分析、网络安全、自然语言处理等领域实现高效精准的数据挖掘与分析。因此，建议读者继续关注Python正则表达式的最新发展动态，并通过实践逐步深入学习更多复杂的正则表达式用法及其实战应用场景。

...和模式描述符来匹配、搜索或替换文本中的字符串。在Python中，正则表达式被集成在re模块中，能够实现复杂的文本匹配与提取功能，如匹配特定格式的电子邮件地址、URL、日期时间格式等。例如，在本文实例中，正则表达式用于匹配字符串起始位置的\ Python\ ，搜索文本中出现的\ comment\ 以及从电子邮件地址中提取用户名和域名部分。 文本任务 (Text Task) , 在编程和数据处理领域，文本任务通常指代那些以文本数据为输入并对其进行处理、分析和操作的任务。这类任务可能包括但不限于文本搜索、字符串匹配、信息提取、分词、语义分析、关键词抽取、情感分析等。文中提到的Python正则表达式即是一个强大的文本任务处理工具，可用于解决多种文本处理问题。 字符串替换 (String Replacement) , 字符串替换是编程语言中常见的一种文本处理操作，它涉及到将字符串中符合某种规则或模式的部分替换为指定的新内容。在Python中，可以使用re.sub()函数结合正则表达式进行字符串替换。比如在文章示例中，我们将字符串\ I love Python\ 中的\ Python\ 替换为了\ Java\ ，从而实现了对原始字符串内容的更新与修改。 分组捕获 (Group Capture) , 在正则表达式中，使用圆括号 () 可以定义子模式（也称为分组），并对这些子模式进行捕获。当正则表达式匹配成功时，可以通过调用匹配对象的group()方法获取分组所捕获的内容。在文章的实例中，我们使用了正则表达式(w+)@(w+)来匹配电子邮件地址，并通过match.group(1)和match.group(2)分别获取了邮箱用户名和域名这两个分组捕获的结果。

...删除页面、处理文档元数据等操作。 PDFTextStripper , PDFTextStripper是iText库提供的一个工具类，专门用来从PDF文档中提取纯文本内容。当需要将PDF转换为String格式时，该类能够帮助开发者高效地抽取PDF文件中的文本信息，并以字符串的形式返回结果，便于进一步进行搜索、分析或其他文本处理任务。 PDPageContentStream , PDPageContentStream是iText库中的另一个关键类，它提供了向PDF文档页面添加内容的方法，如文本、图像等。在创建或编辑PDF文件时，通过PDPageContentStream，开发者能够在指定的PDF页面上设定文本样式（如字体、大小、颜色等），并精确控制文本的位置与布局，从而实现复杂且精细的PDF内容生成需求。

...果您设置了MySQL数据库，并希望找到本身的MySQL实例化，可以按照以下流程来搜索： 1. 登陆到您的MySQL主机上。 2. 启动终端或终端。 3. 键入以下指令并回车： mysql -u root -p 4. 之后键入您的root用户的口令并回车。 5. 在终端中键入以下指令，并回车键： SHOW VARIABLES WHERE Variable_Name LIKE '%basedir'; 这将会展示MySQL设置的 "basedir" 信息，您会看到如下所示的输出： +---------------------+-----------------------+ | Variable_name | Value | +---------------------+-----------------------+ | basedir | /usr/local/mysql | +---------------------+-----------------------+ 在上述值中，"basedir" 是MySQL的根目录，因此您可以轻松找到MySQL的设置位置并进行相关操作。

...收集、存储和转发日志数据，大大简化了大规模容器集群的日志管理工作流程。同时，众多开源项目如EFK（Elasticsearch、Fluentd、Kibana）栈或Loki等日志解决方案正与Kubernetes紧密集成，为用户提供实时检索、可视化分析及报警等功能，显著提升运维效率。 此外，在安全合规层面，针对容器日志的安全审计越来越受到重视。一些企业开始采用具有加密功能的日志传输协议，以及支持细粒度权限控制和长期存储的云端日志服务，确保容器产生的敏感信息能够得到妥善保护和合规留存。 总的来说，容器日志管理不仅涉及基础的操作技巧与工具配置，更需要紧跟行业发展潮流，掌握先进的日志架构设计与最佳实践，以适应日益复杂的应用场景和严苛的安全要求。通过不断优化日志系统，企业不仅能快速定位问题、提升应用服务质量，还能更好地满足业务连续性需求和监管政策规定。

...轻松与后台API进行数据交互，动态加载页面内容。 同时，在SEO优化方面，Google近期发布的搜索排名指南中特别提到了网页分页的处理方式。建议网站在设置分页时使用规范的rel="prev"和rel="next"链接属性，以帮助搜索引擎更好地理解网站的内容结构和信息层次，从而提升收录效率和用户体验。 此外，对于大数据量的分页场景，业界推崇一种称为“无限滚动”的设计方案，即用户浏览到页面底部时自动加载更多内容，Facebook、Twitter等社交平台便是这一设计的成功案例。然而，“无限滚动”并非适用于所有情况，需结合业务需求及用户行为数据分析来决定是否采用。 深入探讨HTML分页背后的技术逻辑，不仅涉及前端代码编写，更涵盖了前后端的数据通信机制、用户体验优化以及SEO策略等多个层面，是现代Web开发工程师必备的核心技能之一。而随着WebAssembly、GraphQL等新技术的发展，未来网页分页功能的设计与实现将更加高效、智能且个性化。

...构建出既稳定又高效的搜索与数据分析平台。

...便捷地操控和处理多个数据对象，提升程序效率。以下我们各自来介绍它们的基本特性和应用领域领域。 1. 列表 public interface 列表<E> extends Collection<E> { int size(); boolean isEmpty(); boolean contains(Object o); Iterator<E> iterator(); Object[] toArray(); <T> T[] toArray(T[] a); boolean add(E e); boolean remove(Object o); boolean containsAll(Collection<?> c); boolean addAll(Collection<? extends E> c); boolean addAll(int index, Collection<? extends E> c); boolean removeAll(Collection<?> c); boolean retainAll(Collection<?> c); void clear(); boolean equals(Object o); int hashCode(); E get(int index); E set(int index, E element); void add(int index, E element); E remove(int index); int indexOf(Object o); int lastIndexOf(Object o); 列表Iterator<E> listIterator(); 列表Iterator<E> listIterator(int index); 列表<E> sub列表(int fromIndex, int toIndex); } 上面是列表接口类的全部方法，它们提供了对列表容器的增删查改等处理。其中，最常用的方法包含add()、remove()、get()等等。列表可以使用索引获取容器中的元素，因此通常使用它进行序列结构的处理，如数组或队列。举个例子，在保存学生信息的程序中，可以使用列表来操控所有的学生条目，便捷地添加、移除、检索信息。 2. Map public interface Map<K, V> { int size(); boolean isEmpty(); boolean containsKey(Object key); boolean containsValue(Object value); V get(Object key); V put(K key, V value); V remove(Object key); void putAll(Map<? extends K, ? extends V> m); void clear(); Set<K> keySet(); Collection<V> values(); Set<Map.Entry<K, V>> entrySet(); interface Entry<K, V> { K getKey(); V getValue(); V setValue(V value); boolean equals(Object o); int hashCode(); } } Map也是一个接口类，它与列表不同的是，它提供了一种键-值对的关联关系。其中，键（key）和值（value）均可以为任何对象种类。Map中的数据没有顺序，因此不提供用索引直接获取元素。Map可以用来进行迅速的搜索和获取，常用的方法包含get()、put()、remove()等等。举个例子，在实现在线商城的购物车时，可以使用Map来条目用户选择的商品信息，每个商品关联一个数量和价格，便捷地添加、移除、搜索商品，以及计算总价。

...广泛应用在网页开发、数据分析、AI等领域。它有非常功能强大的组件库和组件，可以让程序员迅速地实现功能。但是，在调用Python时，我们需要知道该如何准确地放置和调用Python组件。 在Python中，组件是一种文件，包括了Python代码和其他资源。组件通常以.py为后缀，可以包括类、函数、属性等。Python组件放置目录是指这些组件放置的位置。 Python组件放置目录可以划分为全局组件放置目录和局部组件放置目录。 全局组件放置目录是指Python系统安装后自带的组件的放置位置。这些组件通常存储在Python解释器的site-packages目录下。在Windows系统中，这个目录位于Python的安装目录下的Lib\site-packages文件夹里。在Linux系统中，这个目录位于Python的安装目录下的/usr/local/lib/pythonX.X/site-packages文件夹里。其中，X.X表示Python的版本号。 局部组件放置目录是指我们自己创建的Python组件的放置位置。我们通常会根据需要创建一些Python组件来满足特定的需求。这些组件可以存储在任何我们希望的位置，只要确保Python程序能够找到它们即可。我们可以将这些组件放置在某个目录下，然后在Python程序中调用sys.path.append()方法将这个目录添加到Python路径中就可以了。 import sys sys.path.append('/path/to/module_directory') 在这个例子中，我们向Python路径中添加了一个名为module_directory的目录。这个目录可以放置我们创建的Python组件。 总之，Python组件放置目录是Python程序员必须了解的一些知识。准确地放置和组织Python组件可以帮助我们更好地管理Python程序，提高代码重用率，降低程序开发和维护成本。

...这一领域在实际开发和数据分析中的最新应用。例如，在2023年初，GitHub上一个热门的开源项目“RegExPlus”就引入了对Python正则表达式的新颖扩展，它提供了一套易于理解和使用的API，使得开发者能够更加高效地处理复杂文本模式匹配任务。 此外，近期一篇发表于《计算机科学与技术》期刊上的学术论文探讨了如何优化Python正则表达式引擎以提升大数据环境下的搜索性能。研究团队通过深度剖析re模块的底层算法，并结合现代硬件特性进行了创新性改进，实现了显著的速度提升，这对于处理大规模文本数据具有重大意义。 同时，Python社区也在不断更新和完善其正则表达式教程资源。Python官方文档针对re模块进行了详尽更新，新增了许多实用案例和高级技巧说明，帮助开发者紧跟时代步伐，解决实际工作中遇到的各种字符串匹配难题。 对于有兴趣深入了解正则表达式理论基础的读者，推荐阅读由Jeffrey Friedl所著的《Mastering Regular Expressions》一书，该书以其丰富的示例和深入浅出的解析，被广大开发者誉为正则表达式领域的经典之作。通过研读此类资料，您不仅能深化对Python中正则表达式的掌握，还能将其应用于更多跨语言、跨平台的场景，从而提升自身在文本挖掘、数据分析等领域的专业技能。

...信息转换为可编辑、可搜索的数据的技术。在Tesseract工具中，OCR引擎是实现这一功能的核心算法模块，用户可以根据不同的任务需求选择合适的OCR引擎以提高识别效果。 卷积神经网络（CNN） , 卷积神经网络是一种深度学习模型，特别适用于处理图像数据。在本文的语境下，CNN可以用于解决文本行边界的识别问题。通过多层卷积层对输入图像进行特征提取，并结合池化层进行下采样以及全连接层进行分类识别，CNN能够自动学习并识别图像中与文本行边界相关的复杂视觉特征，从而有效且精确地定位文本行的位置和范围。

一、引言 在日常的数据处理过程中，地理位置信息是非常重要的一个部分。当我们在处理海量的地理数据时，想要迅速捞到我们需要的信息，就必须要对地理位置进行一种超级给力、高效的搜索查询才行。本文将介绍如何在MongoDB中实现高效的地理位置查询。 二、地理位置数据模型的设计 首先，我们需要设计一个好的地理位置数据模型。通常我们会将地理位置信息存储为经纬度坐标，也就是点状数据。例如： javascript { _id: ObjectId("5f6d72e83a91c798a5253d78"), location: { type: "Point", coordinates: [116.404, 39.915] } } 在这个数据模型中，location字段是一个包含经纬度坐标的JSON对象。在MongoDB这个数据库里，咱们完全可以把这个字段直接使上劲儿，用来做地理位置的查询哈，就像查地图找地点那样方便快捷。 三、地理位置查询的基本方法 在MongoDB中，我们可以通过使用$geoWithin操作符来进行地理位置查询。$geoWithin操作符可以用来查询满足某个地理位置范围内的文档。 例如，如果我们想要查询北京市的所有记录，我们可以这样做： javascript db.collection.find({ location: { $geoWithin: { $centerSphere: [[116.404, 39.915], 500] } } }) 这个查询将会返回所有距离北京中心500公里以内的记录。 四、地理位置查询的高级应用 除了基本的地理位置查询之外，MongoDB还提供了一些高级的应用功能。比如，我们能够用$near这个小工具，找出离得最近的那些文档；又或者，借助$geoIntersects这个神器，判断某个区域是否和其他区域有交集。 例如，如果我们想要查询最近的10个北京市的记录，我们可以这样做： javascript db.collection.find( { location: { $near: { $geometry: { type: "Point", coordinates: [116.404, 39.915] }, $maxDistance: 10000 } } } ) 这个查询将会返回所有距离北京中心不超过10公里的记录，并且按照距离从近到远排序。 五、结论 地理位置查询是MongoDB中的一个重要应用场景，正确使用地理位置查询可以帮助我们更高效地处理地理数据。设计一个贼棒的地理位置数据模型后，我们就能在MongoDB里轻轻松松地进行各种花式地理位置查找，就像探囊取物一样简单。而MongoDB的高级地理位置查询功能，如$near和$geoIntersects等，也可以帮助我们解决一些复杂的地理位置问题。

...r是一个开源的企业级搜索平台，基于Apache Lucene库构建。它提供了强大的全文搜索引擎功能，支持高并发、分布式索引和查询处理，常用于海量数据的实时搜索与分析场景。在本文中，Solr是出现“Unexpected response from server”错误的主要应用环境。 全文搜索引擎 , 全文搜索引擎是一种能够对大规模文档集合进行索引，并能快速响应用户以关键词形式提出的查询请求，返回相关度较高的结果的技术系统。在本文语境下，Apache Solr作为全文搜索引擎，在处理搜索请求时可能会遇到服务器返回意外响应的问题。 Kubernetes（K8s） , Kubernetes是一个开源容器管理系统，用于自动化部署、扩展和管理容器化应用程序。在现代云原生技术背景下，Solr可以部署在Kubernetes集群上，形成Solr on Kubernetes的运行模式。在这种模式下，由于容器化和微服务化的特性，可能会引入新的“Unexpected response from server”问题来源，例如网络配置、Pod重启等。 UNLOADING/STOPPED状态 , 在Apache Solr中，索引的状态包括多个阶段，如加载（LOADING）、可用（ACTIVE）、卸载中（UNLOADING）或已停止（STOPPED）等。当索引处于UNLOADING或STOPPED状态时，意味着该索引当前无法正常提供搜索服务，可能是导致“Unexpected response from server”错误的原因之一。

...as 是一个开源的元数据管理框架，它提供了一种集中化的方式来存储、搜索和分析大数据生态系统的元数据。在本文的上下文中，用户在进行系统升级时遇到了数据迁移失败的问题，而Apache Atlas正是他们用于数据管理的核心工具。 数据迁移 , 数据迁移是指将数据从一个存储位置或系统迁移到另一个新的位置或系统的过程，通常发生在软件升级、系统重构或者数据整合等场景中。在本文中，数据迁移特指在Apache Atlas系统升级过程中，将旧版本的数据成功转移到新版本的环境中的操作。 映射规则 , 映射规则是数据库设计和管理中的一个重要概念，在关系型数据库中，它定义了不同表之间的关联关系，确保数据的一致性和完整性。在本文中，映射规则指的是用户表与订单表之间通过特定字段（如用户ID或邮箱地址）建立的关联关系。当系统升级时，如果映射规则发生改变，就需要在数据迁移过程中重新调整这些关联，以确保新旧版本数据间的一致性。