[资源配置文件resourcecfg敏感信...]的搜索结果

...非常适合用于压缩单个文件，而BZIP2则在某些场景下能提供更高的压缩比。所以说嘛，官方案子虽然说了不让搞，但我们不妨大胆试试，看看这些玩意儿到底能整出啥名堂！ --- 二、理论基础 GZIP vs BZIP2 vs Hive的“规则” 在深入讨论具体操作之前，我们得先搞清楚这三个东西之间的差异。嘿，先说个大家可能都知道的小秘密——GZIP可是个超火的压缩“神器”呢！它最大的特点就是又快又好用，压缩文件的速度嗖一下就搞定了，效果也还行，妥妥的性价比之王！而BZIP2则是另一种高级压缩算法，虽然压缩比更高，但速度相对较慢。相比之下，Hive好像更喜欢找那种“全能型选手”，就像Snappy这种，又快又能省资源，简直两全其美！ 现在问题来了：既然Hive有自己的偏好，那我们为什么要挑战它的权威呢？答案很简单：现实世界中的需求往往比理想模型复杂得多。比如说啊，有时候我们有一堆小文件，东一个西一个的，看着就头疼，想把它们整整齐齐地打包成一个大文件存起来，这时候用GZIP就很方便啦！但要是你手头的数据量超级大，比如几百万张高清图片那种，而且你还特别在意压缩效果，希望能榨干每一丢丢空间，那BZIP2就更适合你了，它在这方面可是个狠角色！ 当然，这一切的前提是我们能够绕过Hive对这些格式的限制。接下来，我们就来看看具体的解决方案。 --- 三、实践篇 如何让Hive接受GZIP和BZIP2？ 3.1 GZIP的逆袭之路 让我们从GZIP开始说起。想象一下，你有个文件夹，专门用来存各种日志文件，里面的文件可多啦！不过呢，这些文件都特别小巧，大概就几百KB的样子，像是些小纸条，记录着各种小事。哎呀，要是直接把一堆小文件一股脑儿塞进HDFS里，那可就麻烦了！这么多小文件堆在一起，系统就会变得特别卡，整体性能直线下降，简直像路上突然挤满了慢吞吞的小汽车，堵得不行！要解决这个问题嘛，咱们可以先把文件用GZIP压缩一下，弄个小“压缩包”，然后再把它丢进Hive里头去。 下面是一段示例代码，展示了如何创建一个支持GZIP格式的外部表： sql -- 创建数据库 CREATE DATABASE IF NOT EXISTS log_db; -- 切换到数据库 USE log_db; -- 创建外部表并指定GZIP格式 CREATE EXTERNAL TABLE IF NOT EXISTS logs ( id STRING, timestamp STRING, message STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE -- 注意这里使用TEXTFILE而不是默认的SEQUENCEFILE LOCATION '/path/to/gzipped/files'; 看到这里，你可能会问：“为什么这里要用TEXTFILE而不是SEQUENCEFILE？”这是因为Hive默认不支持直接读取GZIP格式的数据，所以我们需要手动调整存储格式。此外，还需要确保你的Hadoop集群已经启用了GZIP解压功能。 3.2 BZIP2的高阶玩法 接下来轮到BZIP2登场了。相比于GZIP，BZIP2的压缩比更高，但它也有一个明显的缺点：解压速度较慢。因此，BZIP2更适合用于那些访问频率较低的大规模静态数据集。 下面这段代码展示了如何创建一个支持BZIP2格式的分区表： sql -- 创建数据库 CREATE DATABASE IF NOT EXISTS archive_db; -- 切换到数据库 USE archive_db; -- 创建分区表并指定BZIP2格式 CREATE TABLE IF NOT EXISTS archives ( file_name STRING, content STRING ) PARTITIONED BY (year INT, month INT) STORED AS RCFILE -- RCFILE支持BZIP2压缩 TBLPROPERTIES ("orc.compress"="BZIP2"); 需要注意的是，在这种情况下，你需要确保Hive的配置文件中启用了BZIP2支持，并且相关的JAR包已经正确安装。 --- 四、实战经验分享 踩过的坑与学到的东西 在这个过程中，我遇到了不少挫折。比如说吧，有次我正打算把一个GZIP文件塞进Hive里，结果系统直接给我整了个报错，说啥解码器找不着。折腾了半天才发现，哎呀，原来是服务器上那个GZIP工具的老版本太不给劲了，跟最新的Hadoop配不上，闹起了脾气！于是，我赶紧联系运维团队升级了相关依赖，这才顺利解决问题。 还有一个教训是关于文件命名规范的。一开始啊，我老是忘了在压缩完的文件后面加“.gz”或者“.bz2”这种后缀名，搞得 Hive 一脸懵逼，根本分不清文件是啥类型的，直接就报错不认账了。后来我才明白，那些后缀名可不只是个摆设啊，它们其实是给文件贴标签的，告诉你这个文件是啥玩意儿，是图片、音乐，还是什么乱七八糟的东西。 --- 五、总结与展望 总的来说，虽然Hive对GZIP和BZIP2的支持有限，但这并不意味着我们不能利用它们的优势。相反，只要掌握了正确的技巧，我们完全可以在这两者之间找到平衡点，满足不同的业务需求。 最后，我想说的是，作为一名数据工程师，我们不应该被工具的限制束缚住手脚。相反，我们应该敢于尝试新事物，勇于突破常规。毕竟，正是这种探索精神，推动着整个行业不断向前发展！ 好了，今天的分享就到这里啦。如果你也有类似的经历或者想法，欢迎随时跟我交流哦~再见啦！

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 容器编排技术 -- Kubernetes 给容器和Pod分配内存资源 1 Before you begin 2 创建一个命名空间 3 配置内存申请和限制 4 超出容器的内存限制 5 配置超出节点能力范围的内存申请 6 内存单位 7 如果不配置内存限制 8 内存申请和限制的原因 9 清理 这篇教程指导如何给容器分配申请的内存和内存限制。我们保证让容器获得足够的内存 资源，但是不允许它使用超过限制的资源。 Before you begin You need to have a Kubernetes cluster, and the kubectl command-line tool must be configured to communicate with your cluster. If you do not already have a cluster, you can create one by using Minikube. 你的集群里每个节点至少必须拥有300M的内存。 这个教程里有几个步骤要求Heapster ， 但是如果你没有Heapster的话，也可以完成大部分的实验，就算跳过这些Heapster 步骤，也不会有什么问题。 检查看Heapster服务是否运行，执行命令： kubectl get services --namespace=kube-system 如果Heapster服务正在运行，会有如下输出： NAMESPACE NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGEkube-system heapster 10.11.240.9 <none> 80/TCP 6d 创建一个命名空间 创建命名空间，以便你在实验中创建的资源可以从集群的资源中隔离出来。 kubectl create namespace mem-example 配置内存申请和限制 给容器配置内存申请，只要在容器的配置文件里添加resources:requests就可以了。配置限制的话， 则是添加resources:limits。 本实验，我们创建包含一个容器的Pod，这个容器申请100M的内存，并且内存限制设置为200M，下面 是配置文件： memory-request-limit.yaml apiVersion: v1kind: Podmetadata:name: memory-demospec:containers:- name: memory-demo-ctrimage: vish/stressresources:limits:memory: "200Mi"requests:memory: "100Mi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 在这个配置文件里，args代码段提供了容器所需的参数。-mem-total 150Mi告诉容器尝试申请150M 的内存。 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit.yaml --namespace=mem-example 验证Pod的容器是否正常运行: kubectl get pod memory-demo --namespace=mem-example 查看Pod的详细信息: kubectl get pod memory-demo --output=yaml --namespace=mem-example 这个输出显示了Pod里的容器申请了100M的内存和200M的内存限制。 ...resources:limits:memory: 200Mirequests:memory: 100Mi... 启动proxy以便我们可以访问Heapster服务： kubectl proxy 在另外一个命令行窗口，从Heapster服务获取内存使用情况： curl http://localhost:8001/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/mem-example/pods/memory-demo/metrics/memory/usage 这个输出显示了Pod正在使用162,900,000字节的内存，大概就是150M。这很明显超过了申请 的100M,但是还没达到200M的限制。 {"timestamp": "2017-06-20T18:54:00Z","value": 162856960} 删除Pod: kubectl delete pod memory-demo --namespace=mem-example 超出容器的内存限制 只要节点有足够的内存资源，那容器就可以使用超过其申请的内存，但是不允许容器使用超过其限制的 资源。如果容器分配了超过限制的内存，这个容器将会被优先结束。如果容器持续使用超过限制的内存， 这个容器就会被终结。如果一个结束的容器允许重启，kubelet就会重启他，但是会出现其他类型的运行错误。 本实验，我们创建一个Pod尝试分配超过其限制的内存，下面的这个Pod的配置文档，它申请50M的内存， 内存限制设置为100M。 memory-request-limit-2.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-2spec:containers:- name: memory-demo-2-ctrimage: vish/stressresources:requests:memory: 50Milimits:memory: "100Mi"args:- -mem-total- 250Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 在配置文件里的args段里，可以看到容器尝试分配250M的内存，超过了限制的100M。 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-2.yaml --namespace=mem-example 查看Pod的详细信息: kubectl get pod memory-demo-2 --namespace=mem-example 这时候，容器可能会运行，也可能会被杀掉。如果容器还没被杀掉，重复之前的命令直至 你看到这个容器被杀掉： NAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 24s 查看容器更详细的信息: kubectl get pod memory-demo-2 --output=yaml --namespace=mem-example 这个输出显示了容器被杀掉因为超出了内存限制。 lastState:terminated:containerID: docker://65183c1877aaec2e8427bc95609cc52677a454b56fcb24340dbd22917c23b10fexitCode: 137finishedAt: 2017-06-20T20:52:19Zreason: OOMKilledstartedAt: null 本实验里的容器可以自动重启，因此kubelet会再去启动它。输入多几次这个命令看看它是怎么 被杀掉又被启动的： kubectl get pod memory-demo-2 --namespace=mem-example 这个输出显示了容器被杀掉，被启动，又被杀掉，又被启动的过程： stevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 37sstevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 1/1 Running 2 40s 查看Pod的历史详细信息: kubectl describe pod memory-demo-2 --namespace=mem-example 这个输出显示了Pod一直重复着被杀掉又被启动的过程: ... Normal Created Created container with id 66a3a20aa7980e61be4922780bf9d24d1a1d8b7395c09861225b0eba1b1f8511... Warning BackOff Back-off restarting failed container 查看集群里节点的详细信息： kubectl describe nodes 输出里面记录了容器被杀掉是因为一个超出内存的状况出现： Warning OOMKilling Memory cgroup out of memory: Kill process 4481 (stress) score 1994 or sacrifice child 删除Pod: kubectl delete pod memory-demo-2 --namespace=mem-example 配置超出节点能力范围的内存申请 内存的申请和限制是针对容器本身的，但是认为Pod也有容器的申请和限制是一个很有帮助的想法。 Pod申请的内存就是Pod里容器申请的内存总和，类似的，Pod的内存限制就是Pod里所有容器的 内存限制的总和。 Pod的调度策略是基于请求的，只有当节点满足Pod的内存申请时，才会将Pod调度到合适的节点上。 在这个实验里，我们创建一个申请超大内存的Pod，超过了集群里任何一个节点的可用内存资源。 这个容器申请了1000G的内存，这个应该会超过你集群里能提供的数量。 memory-request-limit-3.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-3spec:containers:- name: memory-demo-3-ctrimage: vish/stressresources:limits:memory: "1000Gi"requests:memory: "1000Gi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-3.yaml --namespace=mem-example 查看Pod的状态: kubectl get pod memory-demo-3 --namespace=mem-example 输出显示Pod的状态是Pending，因为Pod不会被调度到任何节点，所有它会一直保持在Pending状态下。 kubectl get pod memory-demo-3 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-3 0/1 Pending 0 25s 查看Pod的详细信息包括事件记录 kubectl describe pod memory-demo-3 --namespace=mem-example 这个输出显示容器不会被调度因为节点上没有足够的内存： Events:... Reason Message------ -------... FailedScheduling No nodes are available that match all of the following predicates:: Insufficient memory (3). 内存单位 内存资源是以字节为单位的，可以表示为纯整数或者固定的十进制数字，后缀可以是E, P, T, G, M, K, Ei, Pi, Ti, Gi, Mi, Ki.比如，下面几种写法表示相同的数值：alue: 128974848, 129e6, 129M , 123Mi 删除Pod: kubectl delete pod memory-demo-3 --namespace=mem-example 如果不配置内存限制 如果不给容器配置内存限制，那下面的任意一种情况可能会出现： 容器使用内存资源没有上限，容器可以使用当前节点上所有可用的内存资源。 容器所运行的命名空间有默认内存限制，容器会自动继承默认的限制。集群管理员可以使用这个文档 LimitRange来配置默认的内存限制。 内存申请和限制的原因 通过配置容器的内存申请和限制，你可以更加有效充分的使用集群里内存资源。配置较少的内存申请， 可以让Pod跟任意被调度。设置超过内存申请的限制，可以达到以下效果： Pod可以在负载高峰时更加充分利用内存。 可以将Pod的内存使用限制在比较合理的范围。 清理 删除命名空间，这会顺便删除命名空间里的Pod。 kubectl delete namespace mem-example 译者：NickSu86 原文链接 本篇文章为转载内容。原文链接：https://blog.csdn.net/Aria_Miazzy/article/details/99694937。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 2. MySQL 2.1. 快速参考 维护者：Docker 社区和 MySQL 团队 从哪里获得帮助：Docker 社区论坛、Docker 社区 Slack 或 Stack Overflow 2.2. 支持的标签和各自的 Dockerfile 链接 8.0.28, 8.0, 8, latest 5.7.37, 5.7, 5 2.3. 快速参考（续） 在哪里提交问题：https://github.com/docker-library/mysql/issues 支持的架构：（更多信息）amd64 发布的镜像工件详情：repo-info repo 的 repos/mysql/ 目录（历史）（镜像元数据、传输大小等） 镜像更新：official-images repo 的 library/mysql 标签 官方图像 repo 的库/mysql 文件（历史） 此描述的来源：docs repo 的 mysql/ 目录（历史） 2.4. 如何使用镜像 2.4.1. 启动一个mysql服务器实例 启动 MySQL 实例很简单： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 其中 some-mysql 是您要分配给容器的名称， my-secret-pw 是要为 MySQL root 用户设置的密码，而 tag 是指定您想要的 MySQL 版本的标签。 有关相关标签，请参见上面的列表。 以下是示例（通常要设置时区），注意-v 这里是挂载磁盘，请提前创建目录/var/mysql/data，/var/lib/mysql是容器里的原持久化目录： docker run --name mysql202201 -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -v /var/mysql/data:/var/lib/mysql -d mysql:5.7 2.4.2. 从 MySQL 命令行客户端连接到 MySQL 以下命令启动另一个 mysql 容器实例并针对您的原始 mysql 容器运行 mysql 命令行客户端，允许您针对您的数据库实例执行 SQL 语句： $ docker run -it --network some-network --rm mysql mysql -hsome-mysql -uexample-user -p 其中 some-mysql 是原始 mysql 容器的名称（连接到 some-network Docker 网络）。 此镜像也可以用作非 Docker 或远程实例的客户端： $ docker run -it --rm mysql mysql -hsome.mysql.host -usome-mysql-user -p 有关 MySQL 命令行客户端的更多信息，请参阅 MySQL 文档。 2.4.3. 容器外访问和查看 MySQL 日志 docker exec 命令允许您在 Docker 容器内运行命令。 以下命令行将为您提供 mysql 容器内的 bash shell： $ docker exec -it some-mysql bash 第一次启动一个MySQL容器后，需要对账户进行授权，否则无法远程访问，请先使用上面的命令进入容器内，然后使用以下命令连接到mysql服务： mysql -uroot -p 输入密码回车，进入mysql命令界面mysql> 接着授权root远程访问权限： mysql> GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY '123456'; 然后就可以远程用MySQL客户端连接到MySQL容器了。 日志可通过 Docker 的容器日志获得： $ docker logs some-mysql 2.4.4. 使用自定义 MySQL 配置文件 MySQL 的默认配置可以在 /etc/mysql/my.cnf 中找到，其中可能包含额外的目录，例如 /etc/mysql/conf.d 或 /etc/mysql/mysql.conf.d。 请检查 mysql 映像本身中的相关文件和目录以获取更多详细信息。 如果 /my/custom/config-file.cnf 是你的自定义配置文件的路径和名称，你可以这样启动你的 mysql 容器（注意这个命令只使用了自定义配置文件的目录路径）： $ docker run --name some-mysql -v /my/custom:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 这将启动一个新容器 some-mysql，其中 MySQL 实例使用来自 /etc/mysql/my.cnf 和 /etc/mysql/conf.d/config-file.cnf 的组合启动设置，后者的设置优先 . 没有 cnf 文件的配置 许多配置选项可以作为标志传递给 mysqld。 这将使您可以灵活地自定义容器，而无需 cnf 文件。 例如，如果要将所有表的默认编码和排序规则更改为使用 UTF-8 (utf8mb4)，只需运行以下命令： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci 如果您想查看可用选项的完整列表，只需运行： $ docker run -it --rm mysql:tag --verbose --help 2.4.5. 环境变量 启动 mysql 镜像时，可以通过在 docker run 命令行中传递一个或多个环境变量来调整 MySQL 实例的配置。 请注意，如果您使用已包含数据库的数据目录启动容器，则以下任何变量都不会产生任何影响：任何预先存在的数据库在容器启动时将始终保持不变。 另请参阅 https://dev.mysql.com/doc/refman/5.7/en/environment-variables.html 以获取 MySQL 的环境变量的文档（尤其是 MYSQL_HOST 等变量，已知与此镜像一起使用时会导致问题）。 MYSQL_ROOT_PASSWORD 此变量是必需的，并指定将为 MySQL root 超级用户帐户设置的密码。 在上面的示例中，它被设置为 my-secret-pw。 MYSQL_DATABASE 此变量是可选的，允许您指定要在映像启动时创建的数据库的名称。 如果提供了用户/密码（见下文），则该用户将被授予对此数据库的超级用户访问权限（对应于 GRANT ALL）。 MYSQL_USER、MYSQL_PASSWORD 这些变量是可选的，用于创建新用户和设置该用户的密码。 该用户将被授予对 MYSQL_DATABASE 变量指定的数据库的超级用户权限（见上文）。 要创建用户，这两个变量都是必需的。 请注意，不需要使用此机制来创建超级用户超级用户，默认情况下会使用 MYSQL_ROOT_PASSWORD 变量指定的密码创建该用户。 MYSQL_ALLOW_EMPTY_PASSWORD 这是一个可选变量。 设置为非空值，例如 yes，以允许使用 root 用户的空白密码启动容器。 注意：除非您真的知道自己在做什么，否则不建议将此变量设置为 yes，因为这将使您的 MySQL 实例完全不受保护，从而允许任何人获得完全的超级用户访问权限。 MYSQL_RANDOM_ROOT_PASSWORD 这是一个可选变量。 设置为非空值，如 yes，为 root 用户生成随机初始密码（使用 pwgen）。 生成的根密码将打印到标准输出（生成的根密码：…）。 MYSQL_ONETIME_PASSWORD 一旦初始化完成，将 root（不是 MYSQL_USER 中指定的用户！）用户设置为过期，强制在第一次登录时更改密码。 任何非空值都将激活此设置。 注意：此功能仅在 MySQL 5.6+ 上受支持。 在 MySQL 5.5 上使用此选项将在初始化期间引发适当的错误。 MYSQL_INITDB_SKIP_TZINFO 默认情况下，入口点脚本会自动加载 CONVERT_TZ() 函数所需的时区数据。 如果不需要，任何非空值都会禁用时区加载。 2.4.6. Docker Secrets 作为通过环境变量传递敏感信息的替代方法，_FILE 可以附加到先前列出的环境变量中，从而导致初始化脚本从容器中存在的文件中加载这些变量的值。 特别是，这可用于从存储在 /run/secrets/<secret_name> 文件中的 Docker 机密中加载密码。 例如： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD_FILE=/run/secrets/mysql-root -d mysql:tag 目前，这仅支持 MYSQL_ROOT_PASSWORD、MYSQL_ROOT_HOST、MYSQL_DATABASE、MYSQL_USER和 MYSQL_PASSWORD。 2.4.7. 初始化一个新实例 首次启动容器时，将使用提供的配置变量创建并初始化具有指定名称的新数据库。 此外，它将执行 /docker-entrypoint-initdb.d 中的扩展名为 .sh、.sql 和 .sql.gz 的文件。 文件将按字母顺序执行。 您可以通过将 SQL 转储安装到该目录并提供带有贡献数据的自定义镜像来轻松填充您的 mysql 服务。 SQL 文件将默认导入到 MYSQL_DATABASE 变量指定的数据库中。 2.5. 注意事项 2.5.1. 在哪里存储数据 重要提示：有几种方法可以存储在 Docker 容器中运行的应用程序使用的数据。 我们鼓励 mysql 映像的用户熟悉可用的选项，包括： 让 Docker 通过使用自己的内部卷管理将数据库文件写入主机系统上的磁盘来管理数据库数据的存储。 这是默认设置，对用户来说简单且相当透明。 缺点是对于直接在主机系统（即外部容器）上运行的工具和应用程序，可能很难找到这些文件。 在主机系统（容器外部）上创建一个数据目录，并将其挂载到容器内部可见的目录。 这会将数据库文件放置在主机系统上的已知位置，并使主机系统上的工具和应用程序可以轻松访问这些文件。 缺点是用户需要确保目录存在，例如主机系统上的目录权限和其他安全机制设置正确。 Docker 文档是了解不同存储选项和变体的一个很好的起点，并且有多个博客和论坛帖子在该领域讨论和提供建议。 我们将在这里简单地展示上面后一个选项的基本过程： 在主机系统上的合适卷上创建数据目录，例如 /my/own/datadir。 像这样启动你的 mysql 容器： $ docker run --name some-mysql -v /my/own/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 命令的 -v /my/own/datadir:/var/lib/mysql 部分将底层主机系统中的 /my/own/datadir 目录挂载为容器内的 /var/lib/mysql ，默认情况下 MySQL 将 写入其数据文件。 2.5.2. 在 MySQL 初始化完成之前没有连接 如果容器启动时没有初始化数据库，则会创建一个默认数据库。 虽然这是预期的行为，但这意味着在初始化完成之前它不会接受传入的连接。 在使用同时启动多个容器的自动化工具（例如 docker-compose）时，这可能会导致问题。 如果您尝试连接到 MySQL 的应用程序没有处理 MySQL 停机时间或等待 MySQL 正常启动，那么在服务启动之前放置一个连接重试循环可能是必要的。 有关官方图像中此类实现的示例，请参阅 WordPress 或 Bonita。 2.5.3. 针对现有数据库的使用 如果您使用已经包含数据库的数据目录（特别是 mysql 子目录）启动 mysql 容器实例，则应该从运行命令行中省略 $MYSQL_ROOT_PASSWORD 变量； 在任何情况下都将被忽略，并且不会以任何方式更改预先存在的数据库。 2.5.4. 以任意用户身份运行 如果你知道你的目录的权限已经被适当地设置了（例如对一个现有的数据库运行，如上所述）或者你需要使用特定的 UID/GID 运行 mysqld，那么可以使用 --user 调用这个镜像设置为任何值（root/0 除外）以实现所需的访问/配置： $ mkdir data$ ls -lnd datadrwxr-xr-x 2 1000 1000 4096 Aug 27 15:54 data$ docker run -v "$PWD/data":/var/lib/mysql --user 1000:1000 --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 2.5.5. 创建数据库转储 大多数普通工具都可以工作，尽管在某些情况下它们的使用可能有点复杂，以确保它们可以访问 mysqld 服务器。 确保这一点的一种简单方法是使用 docker exec 并从同一容器运行该工具，类似于以下内容： $ docker exec some-mysql sh -c 'exec mysqldump --all-databases -uroot -p"$MYSQL_ROOT_PASSWORD"' > /some/path/on/your/host/all-databases.sql 2.5.6. 从转储文件恢复数据 用于恢复数据。 您可以使用带有 -i 标志的 docker exec 命令，类似于以下内容： $ docker exec -i some-mysql sh -c 'exec mysql -uroot -p"$MYSQL_ROOT_PASSWORD"' < /some/path/on/your/host/all-databases.sql 备注 docker安装完MySQL，后面就是MySQL容器在跑，基本上就是当MySQL服务去操作，以前MySQL怎么做现在还是一样怎么做，只是个别操作因为docker包了一层，麻烦一点。 有需要的话，我们也可以基于MySQL官方镜像去定制我们自己的镜像，就比如主从镜像之类的。 本篇文章为转载内容。原文链接：https://blog.csdn.net/muluo7fen/article/details/122731852。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 主流的嵌入式处理器家族有三个：arm ，intel_x86，MIPS。 arm主要面向手机、平板，功耗低 arm和x86的运算力、性能好，MIPS相对较弱 嵌入式常用的非易失存储包括：nor flash，nand flash，emmc nand flash：价低，速快，有坏块 nor flash：价高，速慢，无坏块 emmc：相当于nand 和 nor的结合，内置坏块管理系统；价高 USB四线接口简单介绍 开发电脑选择：核心越多越好，主频越高越好----->编译工程快 设置ubuntu系统ip的方法：右上角找到设置图标，选择network，点齿轮图标号，在ipv4下面设置地址192.168.1.x，子网掩码255.255.255.0，网关192.168.1.1（必须要使windows，ubuntu，开发板处于同一网段，能互相ping通） U盘连接到主机和UBUNTU相互转换：虚拟机右下角，右键连接or断开 shell常用指令 ls -a：显示所有目录，文件夹，隐藏文件/目录 ls -l：显示文件的权限、修改时间等 ls -al：上面两个结合 ls 目录：显示该目录下的文件 – cd /：进入linux根目录 cd ~：/home/jl – uname ：查看系统信息 uname -a ：查看全部系统信息 – cat 文件名：显示某文件内容 – sudo ：临时切换root用户 sudo apt-get install 软件名 ：装某软件 sudo su：直接切换root用户（少用） sudo su jl：切换回普通用户 – touch 文件名：创建文件 rm -r 目录/文件：删除文件/目录及它包含的所有内容 rm -f 文件：直接删除，无需确认 rm -i 文件：删除文件，会逐一询问是否删除 rmdir 目录：专门删除目录 mv ：可以用来移动文件/目录，也可以用来重命名 – ifconfig：显示网络配置信息（lo：本地回环测试） ifconfig -a：显示所有网卡（上面只显示工作的，本条显示所有工作和未工作的） ifconfig eth0 up：打开eth0这个网卡 ifconfig eth0 down:关闭eth0这个网卡（0一般要sudo来执行） ifconfig eth0 你想设置的地址：重设eth0的ip地址 – 命令 --help：看看这个命令的帮助信息 reboot：重启 – sync：数据同步写入磁盘命令（一般来说，用户写的内容先保存在一个缓冲区，系统是隔一定时间像磁盘写入缓冲区内写入磁盘），用sync立刻写入 grep ”“ -i ：搜索时忽略大小写 grep 默认是匹配字符， -w 选项默认匹配一个单词 例如我想匹配 “like”， 不加 -w 就会匹配到 “liker”， 加 -w 就不会匹配到 du 目录/文件 -sh ： 查看某一文件/目录的大小，也可以到一个目录下du -sh，查看这个目录的大小 目录下使用du -sh 查看目录总的大小 du 文件名 -sh 查看指定文件的大小 df：检查linux服务器的文件系统磁盘空间占用情况，默认以kb为单位 gedit 文件：使用gedit软件打开一个文件（类似于windows下面的记事本） ps：查看您当前系统有哪些进程，ubuntu（多用户）下是ps -aux，嵌入式linux（单用户）下面是ps top：进程实时运行状态查询 file 文件名：查看文件类型 ubuntu的fs cd / ：根目录，一切都是从根目录发散开来的 /bin：存放二进制可执行文件，比如一些命令 /boot：ubuntu的内核与启动文件 /cdrom：有光盘是存放光盘文件 /dev：存放设备驱动文件 /etc：存放配置文件，如账号和密码文件（加密后的） /home：系统默认的用户主文件夹 /lib：存放库文件 /lib64：存放库文件，. so时linux下面的动态库文件 /media：存放可插拔设备，如sd，u盘就是挂载到这个文件下面 /mnt：用户可使用的挂载点，和media类似，可以手动让可插拔设备挂载到/mnt /opt：可选的文件和程序存放目录，给第三方软件放置的目录 /proc：存放系统的运行信息，实在内存上的不是在flash上，如cat /proc/cpuinfo /root：系统管理员目录，root用户才能访问的文件 /sbin：和bin类似，存放一些二进制可执行文件，sbin下面一般是系统开机过程中所需要的命令 /srv：服务相关的目录，如网络服务 /sys：记录内核信息，是虚拟文件系统 /tmp：临时目录 /usr：不是user的缩写，而是UNIX Software Resource的缩写，存放系统用户有关的文件，占很大空间 /var：存放变化的文件，如日志文件 – 移植就是移植上面这些文件 磁盘管理 linux开发一定要选用FAT32格式的U盘或者SD卡 u盘在/dev中的名字是sd,要确定是哪个，拔了看少了哪个。就是哪个 /dev/sdb表示U盘，/dev/sdb1表示U盘的第一个分区，一般U盘 sd卡只有一个分区 df：显示linux系统的磁盘占用情况 在一个目录里使用du -sh：查看这个目录里面所有内容所占用的资源 du 文件名 -sh：一般用来看单个文件/目录的大小 du -h --max-depth=n:显示n级目录的大小 – 磁盘的挂载与取消挂载： mount 和 umount sudo mount /dev/sdb1 /media/jl/udisk sudo umount /media/jl/u盘名 （-f 强制取消挂载），如果u盘正在使用，如被另一个终端打开，那么该指令无效 mount挂载后中文显示乱码的解决方法 sudo mount -o iocharset=utf8 /dev/sdb1 udisk – 磁盘的分区和格式化 sudo fdisk -l /dev/sdb 查看所有分区信息（–help查看别的用法） sudo fdisk /dev/sdb1 ----> m ( 进入帮助 ) ----> d 删除该分区 ----> wq 保存并退出 mkfs -t vfat /dev/sdb1 mkfs -t vfat /dev/sdb2 mkfs -t vfat /dev/sdb3 给分区1，2，3分别格式化，完成后能在图形界面看见三个u盘图标 格式化u盘之前一定要先卸载u盘已经挂载的系统。 – 压缩和解压缩 linux下常用的压缩扩展名： .tar .tar.bz2 .tar.gz 后两个linux常用 windows下面用7zip软件 右键选中文件，选择7zip，添加到压缩包，压缩格式选择tar，仅存储 生成tar文件，这里只是打包，没有压缩 右键上面的tar文件，选择7zip，添加到压缩包，压缩格式选择bzip2，确定 生成.tar.bz2文件，把它放到ubuntu解压 ubuntu也支持解压.tar和.zip，但后面两个常用 – ubuntu下面的压缩工具时gzip 压缩文件 gzip 文件名：压缩文件，变成 原文件名.gz，原来的文件就不见了 解压缩文件 gzip -d .gz：还原 文件 gzip -r 目录：递归，将该目录里的各个文件压缩，不提供打包服务 – bzip2工具负责压缩和解压缩.bz2格式的压缩包 bzip2 -z 文件名，压缩成 文件名.bz2 bzip2 -d 文件名.bz2，解压缩成 文件名 bzip2不能压缩/解压缩 目录 – 打包工具 tar 常用参数 -f：使用归档文件（必须要在所有选项后面） -c：创建一个新归档 -x：从归档中解出文件 -j：使用bzip2压缩格式 -z：使用gzip压缩格式 -v：打印出命令执行过程 如以bzip2格式压缩，打包 tar -vcjf 目录名.tar.bz2 目录名 如将上面的压缩包解包 tar -vxjf 目录名.tar.bz2 – 其他压缩工具 rar工具 sudo apt-get install rar（用dhcp连不上阿里云的镜像） rar a test.rar test 把test压缩成test.rar rar x test.rar 把test.rar解压缩成test – zip工具 压缩 zip -rv test.zip test 解压缩 unzip test.zip – ubuntu的用户和用户组 linux是多用户的os，不同的用户有不同的权限，可以查看和操作不同的文件 有三种用户 1、初次用户 2、root用户 3、普通用户 root用户可以创建普通用户 linux用户记录在/etc/passwd这个文件内 linux用户密码记录在/etc/shadow这个文件内，不是以明文记录的 每个用户都有一个id，叫做UID – linux用户组 为了方便管理，将用户进行分组，每个用户可以属于多个组 可以设置非本组人员不能访问一些文件 用户和用户组的存在就是为了控制文件的访问权限的 每个用户组都有一个ID，叫做GID 用户组信息存储在/etc/group中 passwd 用户名：修改该用户的密码 – ubuntu文件权限 ls -al 文件名 如以b开头： -brwx - rwx - rwx -：b表示 块文件，设备文件里面可供存储的周边设备 以d开头是目录 以b是块设备文件 以-开头是普通文件 以 l 开头表示软连接文件 以c开头是设备文件里的串行端口设备 -rwx - rwx - rwx -：用户权限，用户组内其他成员，其它组用户 数字 1 表示链接数，包括软链接和硬链接 第三列 jl 表示文件的拥有者 第四列 jl 表示文件的用户组 第五列 3517 表示这个文件的大小，单位是字节 ls -l 显示的文件大小单位是字节 ls -lh 现实的文件大小单位是 M / G 第六七八列是最近修改时间 最后一列是文件名 – 修改文件权限命令 chmod 777 文件名 修改文件所属用户 sudo chown root 文件 修改文件用户组 sudo chown .root 文件 同时修改文件用户和用户组 sudo chown jl.jl 文件 修改目录的用户/用户组 sudo chown -r jl.jl 目录（ root.root ） – linux连接文件 1、硬连接 2、符号连接（软连接） linux有两种连接文件，软连接/符号连接，硬连接 符号连接类似于windows下面的快捷方式 硬连接通过文件系统的inode连接来产生新文件名，而不是产生新文件 inode：记录文件属性，一个文件对应一个inode， inode相当于文件ID 查找文件要先找到inode，然后才能读到文件内容 – ln 命令用于创建连接文件 ln 【选项】源文件 目标文件 不加选项就是默认创建硬连接 -s 创建软连接 -f 强制创建连接文件，如果目标存在，就先删掉目标文件，再创建连接文件 – 硬连接：多个文件都指向同一个inode 具有向inode的多个文件互为硬连接文件，创建硬连接相当于文件实体多了入口 只有删除了源文件、和它所有的硬连接文件，晚间实体才会被删除 可以给文件创建硬连接来防止文件误删除 改了源文件还是硬连接文件，另一个文件的数据都会被改变 硬连接不能跨文件系统（另一个格式的u盘中的文件） 硬连接不能连接到目录 出于以上原因，硬连接不常用 ls -li：此时第一列显示的就是每个文件的inode – 软连接/符号连接 类似windows下面的快捷方式 使用较多 软连接相当于串联里一个独立的文件，该文件会让数据读取指向它连接的文件 ln -s 源文件 目标文件 特点： 可以连接到目录 可以跨文件系统 删除源文件，软连接文件也打不开了 软连接文件通过 “ -> ” 来指示具体的连接文件（ls -l） 创建软连接的时候，源文件一定要使用绝对路径给出，（硬连接无此要求） 软连接文件直接用cp复制到别的目录下，软连接文件就会变成实体文件，就算你把源文件删掉，该文件还是有效 正确的复制、移动软连接的用法是：cp -d 如果不用绝对路径，cp -d 软连接文件到别的目录，该软连接文件就会变红，失效 如果用了绝对路径，cp -d 软连接文件到别的目录，该软连接文件还是有效的，还是软连接文件 不用绝对路径，一拷贝就会出问题 – 软连接一个目录，也是可以用cp -d复制到其他位置的 – gedit 是基于图形界面的 vim有三种模式： 1、一般模式：默认模式，用vim打开一个文件就自动进入这个模式 2、编辑模式：按 i，a等进入，按esc回到一般模式 3、命令行/底行模式：在一般模式下输入：/ ？可进入命令行模式 ，按esc回到一般模式 一般模式下，dd删除光标所在的一整行； ndd，删除掉光标所在行和下面的一共n行 点 . 重复上一个操作 yy复制光标所在行 小p复制到光标下一行 大p复制到光标上一行n nyy复制光标所在往下n行 设置vim里的tab是四个空格：在/etc/vim/vimrc里面添加：set ts=4 设置vim中显示行号：在上面那个文件里添加：set nu – vscode是编辑器 gcc能编译汇编，c，cpp 电脑上的ubuntu自带的gcc用来编译x86架构的程序，而嵌入式设备的code要用针对于该芯片架构如arm的gcc编译器，又叫做交叉编译器（在一种架构的电脑上编译成另一种架构的代码） gcc -c 源文件:只编译不链接，编译成.o文件 -o 输出文件名（ 默认名是 .out ） -O 对程序进行优化编译，这样产生的可执行文件执行效率更高 -O2：比-O幅度更大的优化，但编译速度会很慢 -v：显示编译的过程 gcc main.c 输出main.out的可执行文件 预处理 --> 编译 --> 汇编 --> 链接 – makefile里第一个目标默认是终极目标 其他目标的顺序可以变 makefile中的变量都是字符串 变量的引用方法 ： $ （ 变量名 ） – Makefile中执行shell命令默认会把命令本身打印出来 如果在shell命令前加 @ ，那么shell’命令本身就不会被打印 – 赋值符：= 变量的有效值取决于他最后一次被赋值的值 ： = 赋值时右边的值只是用前面已经定义好的，不会使用后面的 ？= 如果左边的前面没有被赋值，那么在这里赋值，佛则就用前面的赋值 + = 左边前面已经复制了一些字串，在这里添加右边的内容，用空格隔开 – 模式规则 % . o : % . c %在这里意思是通配符，只能用于模式规则 依赖中 % 的内容取决于目标 % 的内容 – CFLAGS:指定头文件的位置 LDFLAGS：用于优化参数，指定库文件的位置 LIBS：告诉链接器要链接哪些库文件 VPATH：特殊变量，指定源文件的位置，冒号隔开，按序查找源文件 vpath：关键字，三种模式，指定、清除 – 自动化变量 $ @ 规则中的目标集合 $ % 当目标是函数库的时候，表示规则中的目标成员名 $ < 依赖文件集合中的第一个文件，如果依赖文件是以 % 定义的，那么 $ < 就是符合模式的一系列文件的集合 $ ? 所有比目标新的依赖文件的集合，以空格分开 $ ^ 所有依赖文件的集合，用空格分开，如果有重复的依赖文件，只保留一次 $ + 和 $ ^ 类似，但有多少重复文件都会保留 $ 表明目标模式中 % 及其以前的部分 如果目标是 test/a.test.c，目标模式是 a.%.c，那么 $ 就表示 test/a.test – 常用的是 $@ , $< , $^ – Makefile的伪目标 不生成目标文件，只是执行它下面的命令 如果被错认为是文件，由于伪目标一般没有依赖，那么目标就被认为是最新的，那么它下面的命令就不会执行 。 如果目录下有同名文件，伪目标错认为是该文件，由于没有依赖，伪目标下面的指令不会被执行 伪目标声明方法 .PHONY : clean 那么就算目录下有伪目标同名文件，伪目标也同样会执行 – 条件判断 ifeq ifneq ifdef ifndef – makefile函数使用 shell脚本 类似于windoes的批处理文件 将连续执行的命令写成一个文件 shell脚本可以提供数组，循环，条件判断等功能 开头必须是：!/bin/bash 表示使用bash 脚本的扩展名：.sh – 交互式shell 有输入有输出 输入：read 第三行 name在这里作为变量，read输入这个变量 下一行使用这个变量直接是 $name，不用像 Makefile 里面那样子加括号 read -p “读取前你想打印的内容” 变量1 变量2 变量3… – 数值计算 第五行等于号两边不能有空格 右边计算的时候是 $( ( ) )，注意要两个括号 – test 测试命令 文件状态查询，字符、数字比较 && cmd1 && cmd2 当cmd1执行完并且正确，那么cmd2也执行 当cmd2执行完并且错误，那么cmd2不执行 || cmd1 || cmd2 当cmd1执行完并且正确，那么cmd2不执行 当cmd2执行完并且错误，那么cmd2也执行 查看一个文件是否存在 – 测试两个字符串是否相等 ==两边必须要有空格，如果不加空格，test这句就一直是对的。 – 中括号判断符 [ ] 作用和test类似 里面只能输入 == 或者 ！= 四个箭头所指必须用空格隔开 而且如果变量是字符串的话，一定要加双引号 – 默认变量 $0——shell脚本本身的命令 $——最后一个参数的标号（1，2，3，4…） $@——表示 $1 , $2 , $3 … $1 $2 $3 – shell 脚本的条件判断 if [ 条件判断 ];then //do something fi 红点处都要加空格 exit 0——表示退出 – if 条件判断;then //do something elif 条件判断;them //do something else //do something fi 红线处要加空格 – case 语句 case $var in “第一个变量的内容”) //do something ;; “第二个变量的内容”) // do something ;; . . . “第n个变量的内容”) //do something ;; esac 不能用 “”，否则就不是通配符的意思，而是表示字符 – shell 脚本函数 function fname(){ //函数代码段 } 其中function可以写也可以不写 调用函数的时候不要加括号 shell 脚本函数传参方式 – shell 循环 while[条件] //括号内的状态是判断式 do //循环代码段 done – until [条件] do //循环代码段 done – for循环，使用该循环可以知道有循环次数 for var con1 con2 con3 … … do //循环代码段 done – for 循环数值处理 for((初始值；限制值；执行步长)) do //循环代码段 done – 红点处必须要加空格！！ loop 环 – – 注意变量有的地方用了 $ ，有的地方不需要 $ 这里的赋值号两边都不用加 空格 $(())数值运算 本篇文章为转载内容。原文链接：https://blog.csdn.net/engineer0/article/details/107965908。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 😎 知识点概览 为了方便后续回顾该项目时能够清晰的知道本章节讲了哪些内容，并且能够从该章节的笔记中得到一些帮助，所以在完成本章节的学习后在此对本章节所涉及到的知识点进行总结概述。 本章节为【学成在线】项目的 day15 的内容 根据 课程ID 搜索该课程已发布的课程信息，并返回该课程的所有课程计划信息。 将指定课程 发布时 所的课程计划的媒资信息保存到 teachplan_media_publish 表中， 根据 课程计划id 搜索该课程计划所对应的媒资信息，需要用到的是该课程计划对应的 m3u8 地址，用于在线播放视频，该接口在课程管理服务中开发，供学习服务进行远程调用。 在学习服务中远程调用 课程计划媒资信息查询接口，获取该课程计划的视频播放的 m3u8 url地址，并返回给前端，前端使用该 url 进行视频的在线播放。 在线学习完整的测试流程：媒资信息的上传、选择、发布到前端门户、搜索门户测试，在线学习的播放视频。 目录 内容会比较多，小伙伴门可以根据目录进行按需查阅。 文章目录 😎 知识点概览 目录 一、学习页面：查询课程计划 0x01 需求分析 0x02 Api接口 0x03 服务端开发 Controller Service 测试 0x04 前端开发 配置NGINX虚拟主机 前端 API 方法 前端 API 方法调用 测试 二、学习页面：获取视频播放地址 0x01 需求分析 0x02 课程发布：储存媒资信息 需求分析 数据模型 Dao Service 测试 0x03 Logstash：扫描课程计划媒资 创建索引 创建模板文件 配置 mysql.conf 启动 logstash.bat Logstash多实例运行 0x04 搜素服务：查询课程媒资接口 需求分析 Api接口定义 Service Controller 测试 三、在线学习：接口开发 0x01 需求分析 0x02 搭建开发环境 0x03 Api接口 0x04 服务端开发 需求分析 搜索服务注册Eureka 搜索服务客户端 自定义错误代码 Service Controller 测试 0x05 前端开发 需求分析 api方法 配置代理 视频播放页面 简单的测试 完整的测试 1、上传文件 一些问题 ~~方案1：删除本地分块文件重新尝试上传~~ 方案2：检查前端提交的MD5值是否正确 2、为课程计划选择媒资信息 3、前端门户测试 四、待完善的一些功能 😁 认识作者 一、学习页面：查询课程计划 0x01 需求分析 到目前为止，我们已可以编辑课程计划信息并上传课程视频，下一步我们要实现在线学习页面动态读取章节对应的视频并进行播放。在线学习页面所需要的信息有两类： 课程计划信息 课程学习信息（视频地址、学习进度等） 如下图： 在线学习集成媒资管理的需求如下： 1、在线学习页面显示课程计划 2、点击课程计划播放该课程计划对应的视频 本章节实现学习页面动态显示课程计划，进入不同课程的学习页面右侧动态显示当前课程的课程计划。 0x02 Api接口 课程计划信息从哪里获取？ 在课程发布完成后会自动发布到一个 course_pub 的表中，logstash 会自动将课程发布后的信息自动采集到 ES 索引库中，这些信息也包含课程计划信息。 所以考虑性能要求，课程发布后对课程的查询统一从 ES 索引库中查询。 前端通过请求 搜索服务 获取课程信息，需要单独在 搜索服务 中定义课程信息查询接口。 本接口接收课程id，查询课程所有信息返回给前端。 我们在搜素服务 API 下添加以下方法 @ApiOperation("根据id搜索课程发布信息")public Map<String,CoursePub> getdetail(String id); 返回的课程信息为 json 结构：key 为课程id，value 为课程内容。 0x03 服务端开发 在搜索服务中开发查询课程信息接口。 Controller 在搜素服务下添加以下方法 / 根据id搜索课程发布信息 @param id 课程id @return JSON数据/@Override@GetMapping("/getdetail/{id}")public Map<String, CoursePub> getdetail(@PathVariable("id")String id) {return esCourseService.getdetail(id);} Service / 根据id搜索课程发布信息 @param id 课程id @return JSON数据/public Map<String, CoursePub> getdetail(String id) {//设置索引SearchRequest searchRequest = new SearchRequest(es_index);//设置类型searchRequest.types(es_type);//创建搜索源对象SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();//设置查询条件,根据id进行查询searchSourceBuilder.query(QueryBuilders.termQuery("id",id));//这里不使用source的原字段过滤,查询所有字段// searchSourceBuilder.fetchSource(new String[]{"name", "grade", "charge","pic"}, newString[]{});//设置搜索源对象searchRequest.source(searchSourceBuilder);//执行搜索SearchResponse searchResponse = null;try {searchResponse = restHighLevelClient.search(searchRequest);} catch (IOException e) {e.printStackTrace();}//获取搜索结果SearchHits hits = searchResponse.getHits();SearchHit[] searchHits = hits.getHits(); //获取最优结果Map<String,CoursePub> map = new HashMap<>();for (SearchHit hit: searchHits) {//从搜索结果中取值并添加到coursePub对象Map<String, Object> sourceAsMap = hit.getSourceAsMap();String courseId = (String) sourceAsMap.get("id");String name = (String) sourceAsMap.get("name");String grade = (String) sourceAsMap.get("grade");String charge = (String) sourceAsMap.get("charge");String pic = (String) sourceAsMap.get("pic");String description = (String) sourceAsMap.get("description");String teachplan = (String) sourceAsMap.get("teachplan");CoursePub coursePub = new CoursePub();coursePub.setId(courseId);coursePub.setName(name);coursePub.setPic(pic);coursePub.setGrade(grade);coursePub.setTeachplan(teachplan);coursePub.setDescription(description);//设置map对象map.put(courseId,coursePub);}return map;} 测试 使用 swagger-ui 或 postman 测试查询课程信息接口。 0x04 前端开发 配置NGINX虚拟主机 学习中心的二级域名为 ucenter.xuecheng.com ，我们在 nginx 中配置 ucenter 虚拟主机。 学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;} } 前端ucenterupstream ucenter_server_pool{server 127.0.0.1:7081 weight=10;server 127.0.0.1:13000 weight=10;} 在学习中心要调用搜索的 API，使用 Nginx 解决代理，如下图： 在 ucenter 虚拟主机下配置搜索 Api 代理路径 后台搜索（公开api）upstream search_server_pool{server 127.0.0.1:40100 weight=10;} 学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;}后端搜索服务location /openapi/search/ {proxy_pass http://search_server_pool/search/;} } 前端 API 方法 在学习中心 xc-ui-pc-leanring 对课程信息的查询属于基础常用功能，所以我们将课程查询的 api 方法定义在base 模块下，如下图： 在system.js 中定义课程查询方法： import http from './public'export const course_view = id => {return http.requestGet('/openapi/search/course/getdetail/'+id);} 前端 API 方法调用 在 learning_video.vue 页面中调用课程信息查询接口得到课程计划，将课程计划json 串转成对象。 xc-ui-pc-leanring/src/module/course/page/learning_video.vue 1、定义视图 课程计划 <!--课程计划部分代码--><div class="navCont"><div class="course-weeklist"><div class="nav nav-stacked" v-for="(teachplan_first, index) in teachplanList"><div class="tit nav-justified text-center"><i class="pull-left glyphicon glyphicon-th-list"></i>{ {teachplan_first.pname} }<i class="pull-right"></i></div><li v-if="teachplan_first.children!=null" v-for="(teachplan_second, index) in teachplan_first.children"><i class="glyphicon glyphicon-check"></i><a :href="url" @click="study(teachplan_second.id)">{ {teachplan_second.pname} }</a></li><!-- <div class="tit nav-justified text-center"><i class="pull-left glyphicon glyphicon-th-list"></i>第一章<i class="pull-right"></i></div><li ><i class="glyphicon glyphicon-check"></i><a :href="url" >第一节</a></li>--><!--<li><i class="glyphicon glyphicon-unchecked"></i>为什么分为A、B、C部分</li>--></div></div></div> 课程名称 <div class="top text-center">{ {coursename} }</div> 定义数据对象 data() {return {url:'',//当前urlcourseId:'',//课程idchapter:'',//章节Idcoursename:'',//课程名称coursepic:'',//课程图片teachplanList:[],//课程计划playerOptions: {//播放参数autoplay: false,controls: true,sources: [{type: "application/x-mpegURL",src: ''}]},} } 在 created 钩子方法中获取课程信息 created(){//当前请求的urlthis.url = window.location//课程idthis.courseId = this.$route.params.courseId//章节idthis.chapter = this.$route.params.chapter//查询课程信息systemApi.course_view(this.courseId).then((view_course)=>{if(!view_course || !view_course[this.courseId]){this.$message.error("获取课程信息失败，请重新进入此页面！")return ;} let courseInfo = view_course[this.courseId]console.log(courseInfo)this.coursename = courseInfo.nameif(courseInfo.teachplan){let teachplan = JSON.parse(courseInfo.teachplan);this.teachplanList = teachplan.children;} })}, 测试 在浏览器请求：http://ucenter.xuecheng.com//learning/4028e581617f945f01617f9dabc40000/0 4028e581617f945f01617f9dabc40000：第一个参数为课程 id，测试时从 ES索引库找一个课程 id 0：第二个参数为课程计划 id，此参数用于点击课程计划播放视频。 如果出现跨域问题，但是确定已经配置了跨域，请尝试结束所以 nginx.exe 的进程 和 清空浏览器缓存。 如果还没有解决？重启电脑试试。 二、学习页面：获取视频播放地址 0x01 需求分析 用户进入在线学习页面，点击课程计划将播放该课程计划对应的教学视频。 业务流程如下： 业务流程说明： 1、用户进入在线学习页面，页面请求搜索服务获取课程信息（包括课程计划信息）并且在页面展示。 2、在线学习请求学习服务获取视频播放地址。 3、学习服务校验当前用户是否有权限学习，如果没有权限学习则提示用户。 4、学习服务校验通过，请求搜索服务获取课程媒资信息。 5、搜索服务请求ElasticSearch获取课程媒资信息。 为什么要请求 ElasticSearch 查询课程媒资信息？ 出于性能的考虑，公开查询课程信息从搜索服务查询，分摊 mysql 数据库的访问压力。 什么时候将课程媒资信息存储到 ElasticSearch 中？ 课程媒资信息是在课程发布的时候存入 ElasticSearch，因为课程发布后课程信息将基本不再修改。 0x02 课程发布：储存媒资信息 需求分析 课程媒资信息是在课程发布的时候存入 ElasticSearch 索引库，因为课程发布后课程信息将基本不再修改，具体的业务流程如下。 1、课程发布，向课程媒资信息表写入数据。 1）根据课程 id 删除 teachplanMediaPub 中的数据 2）根据课程 id 查询 teachplanMedia 数据 3）将查询到的 teachplanMedia 数据插入到 teachplanMediaPub 中 2、Logstash 定时扫描课程媒资信息表，并将课程媒资信息写入索引库。 数据模型 在 xc_course 数据库创建课程计划媒资发布表： CREATE TABLE teachplan_media_pub (teachplan_id varchar(32) NOT NULL COMMENT '课程计划id',media_id varchar(32) NOT NULL COMMENT '媒资文件id',media_fileoriginalname varchar(128) NOT NULL COMMENT '媒资文件的原始名称',media_url varchar(256) NOT NULL COMMENT '媒资文件访问地址',courseid varchar(32) NOT NULL COMMENT '课程Id',timestamp timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT'logstash使用',PRIMARY KEY (teachplan_id)) ENGINE=InnoDB DEFAULT CHARSET=utf8 数据模型类如下： package com.xuecheng.framework.domain.course;import lombok.Data;import lombok.ToString;import org.hibernate.annotations.GenericGenerator;import javax.persistence.;import java.io.Serializable;import java.util.Date;@Data@ToString@Entity@Table(name="teachplan_media_pub")@GenericGenerator(name = "jpa-assigned", strategy = "assigned")public class TeachplanMediaPub implements Serializable {private static final long serialVersionUID = -916357110051689485L;@Id@GeneratedValue(generator = "jpa-assigned")@Column(name="teachplan_id")private String teachplanId;@Column(name="media_id")private String mediaId;@Column(name="media_fileoriginalname")private String mediaFileOriginalName;@Column(name="media_url")private String mediaUrl;@Column(name="courseid")private String courseId;@Column(name="timestamp")private Date timestamp;//时间戳} Dao 创建 TeachplanMediaPub 表的 Dao，向 TeachplanMediaPub 存储信息采用先删除该课程的媒资信息，再添加该课程的媒资信息，所以这里定义根据课程 id 删除课程计划媒资方法： public interface TeachplanMediaPubRepository extends JpaRepository<TeachplanMediaPub, String> {//根据课程id删除课程计划媒资信息long deleteByCourseId(String courseId);} 从TeachplanMedia查询课程计划媒资信息 //从TeachplanMedia查询课程计划媒资信息public interface TeachplanMediaRepository extends JpaRepository<TeachplanMedia, String> {List<TeachplanMedia> findByCourseId(String courseId);} Service 编写保存课程计划媒资信息方法，并在课程发布时调用此方法。 1、保存课程计划媒资信息方法 本方法采用先删除该课程的媒资信息，再添加该课程的媒资信息，在 CourseService 下定义该方法 //保存课程计划媒资信息private void saveTeachplanMediaPub(String courseId){//查询课程媒资信息List<TeachplanMedia> byCourseId = teachplanMediaRepository.findByCourseId(courseId);if(byCourseId == null) return; //没有查询到媒资数据则直接结束该方法//将课程计划媒资信息储存到待索引表//删除原有的索引信息teachplanMediaPubRepository.deleteByCourseId(courseId);//一个课程可能会有多个媒资信息,遍历并使用list进行储存List<TeachplanMediaPub> teachplanMediaPubList = new ArrayList<>();for (TeachplanMedia teachplanMedia: byCourseId) {TeachplanMediaPub teachplanMediaPub = new TeachplanMediaPub();BeanUtils.copyProperties(teachplanMedia, teachplanMediaPub);teachplanMediaPubList.add(teachplanMediaPub);}//保存所有信息teachplanMediaPubRepository.saveAll(teachplanMediaPubList);} 2、课程发布时调用此方法 修改课程发布的 coursePublish 方法： ....//保存课程计划媒资信息到待索引表saveTeachplanMediaPub(courseId);//页面urlString pageUrl = cmsPostPageResult.getPageUrl();return new CoursePublishResult(CommonCode.SUCCESS,pageUrl);..... 测试 测试课程发布后是否成功将课程媒资信息存储到 teachplan_media_pub 中，测试流程如下： 1、指定一个课程 2、为课程计划添加课程媒资 3、执行课程发布 4、观察课程计划媒资信息是否存储至 teachplan_media_pub 中 注意：由于此测试仅用于测试发布课程计划媒资信息的功能，可暂时将 cms页面发布的功能暂时屏蔽，提高测试效率。 测试结果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vrzs5589-1595567273126)(https://qnoss.codeyee.com/20200704_15/image7)] 0x03 Logstash：扫描课程计划媒资 Logstash 定时扫描课程媒资信息表，并将课程媒资信息写入索引库。 创建索引 1、创建 xc_course_media 索引 2、并向此索引创建如下映射 POST: http://localhost:9200/xc_course_media/doc/_mapping {"properties" : {"courseid" : {"type" : "keyword"},"teachplan_id" : {"type" : "keyword"},"media_id" : {"type" : "keyword"},"media_url" : {"index" : false,"type" : "text"},"media_fileoriginalname" : {"index" : false,"type" : "text"} }} 索引创建成功 创建模板文件 在 logstach 的 config 目录文件 xc_course_media_template.json 文件路径为 %ES_ROOT_DIR%/logstash6.8.8/config/xc_course_media_template.json %ES_ROOT_DIR% 为 ElasticSearch 和 logstash 的安装目录 内容如下： {"mappings" : {"doc" : {"properties" : {"courseid" : {"type" : "keyword"},"teachplan_id" : {"type" : "keyword"},"media_id" : {"type" : "keyword"},"media_url" : {"index" : false,"type" : "text"},"media_fileoriginalname" : {"index" : false,"type" : "text"} }},"template" : "xc_course_media"} } 配置 mysql.conf 在logstash的 config 目录下配置 mysql_course_media.conf 文件供 logstash 使用，logstash 会根据 mysql_course_media.conf 文件的配置的地址从 MySQL 中读取数据向 ES 中写入索引。 参考https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html 配置输入数据源和输出数据源。 input {stdin {} jdbc {jdbc_connection_string => "jdbc:mysql://localhost:3306/xc_course?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC" 数据库信息jdbc_user => "root"jdbc_password => "123123" MYSQL 驱动地址,修改为maven仓库对应的位置jdbc_driver_library => "D:/soft/apache-maven-3.5.4/repository/mysql/mysql-connector-java/5.1.40/mysql-connector-java-5.1.40.jar" the name of the driver class for mysqljdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"要执行的sql文件statement_filepath => "/conf/course.sql"statement => "select from teachplan_media_pub where timestamp > date_add(:sql_last_value,INTERVAL 8 HOUR)"定时配置schedule => " "record_last_run => truelast_run_metadata_path => "D:/soft/elasticsearch/logstash-6.8.8/config/xc_course_media_metadata"} } output {elasticsearch {ES的ip地址和端口hosts => "localhost:9200"hosts => ["localhost:9200","localhost:9202","localhost:9203"]ES索引库名称index => "xc_course_media"document_id => "%{teachplan_id}"document_type => "doc"template => "D:/soft/elasticsearch/logstash-6.8.8/config/xc_course_media_template.json"template_name =>"xc_course_media"template_overwrite =>"true"} stdout {日志输出codec => json_lines} } 启动 logstash.bat 启动 logstash.bat 采集 teachplan_media_pub 中的数据，向 ES 写入索引。 logstash.bat -f ../config/mysql_course_media.conf 课程发布成功后，Logstash 会自动参加 teachplan_media_pub 表中新增的数据，效果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ILPBxfXi-1595567273134)(https://qnoss.codeyee.com/20200704_15/image10)] Logstash多实例运行 由于之前我们还启动了一个 Logstash 对课程的发布信息进行采集，所以如果想两个 logstash 实例同时运行，因为每个实例都有一个.lock文件，所以不能使用同一个目录来存放数据，所以我们需要使用 --path.data= 为每个实例指定单独的数据目录，具体的代码如下： 该配置是在windows下进行的 课程发布实例 logstash_start_course_pub.bat @title logstash in course_publogstash.bat -f ..\config\mysql.conf --path.data=../data/course_pub 课程计划媒体发布实例 logstash_start_teachplan_media.bat @title logstash i n teachplan_media_publogstash.bat -f ../config/mysql_course_media.conf --path.data=../data/teachplan_media/ 同时运行效果如下 0x04 搜素服务：查询课程媒资接口 需求分析 搜索服务 提供查询课程媒资接口，此接口供学习服务调用。 Api接口定义 @ApiOperation("根据课程计划查询媒资信息")public TeachplanMediaPub getmedia(String teachplanId); Service 1、配置课程计划媒资索引库等信息 在 application.yml 中配置 xuecheng:elasticsearch:hostlist: ${eshostlist:127.0.0.1:9200} 多个结点中间用逗号分隔course:index: xc_coursetype: docsource_field: id,name,grade,mt,st,charge,valid,pic,qq,price,price_old,status,studymodel,teachmode,expires,pub_time,start_time,end_timemedia:index: xc_course_mediatype: docsource_field: courseid,media_id,media_url,teachplan_id,media_fileoriginalname 2、service 方法开发 在 课程搜索服务 中定义课程媒资查询接口，为了适应后续需求，service 参数定义为数组，可一次查询多个课程计划的媒资信息。 / 根据一个或者多个课程计划id查询媒资信息 @param teachplanIds 课程id @return QueryResponseResult/public QueryResponseResult<TeachplanMediaPub> getmedia(String [] teachplanIds){//设置索引SearchRequest searchRequest = new SearchRequest(media_index);//设置类型searchRequest.types(media_type);//创建搜索源对象SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();//源字段过滤String[] media_index_arr = media_field.split(",");searchSourceBuilder.fetchSource(media_index_arr, new String[]{});//查询条件,根据课程计划id查询(可以传入多个课程计划id)searchSourceBuilder.query(QueryBuilders.termsQuery("teachplan_id", teachplanIds));searchRequest.source(searchSourceBuilder);SearchResponse searchResponse = null;try {searchResponse = restHighLevelClient.search(searchRequest);} catch (IOException e) {e.printStackTrace();}//获取结果SearchHits hits = searchResponse.getHits();long totalHits = hits.getTotalHits();SearchHit[] searchHits = hits.getHits();//数据列表List<TeachplanMediaPub> teachplanMediaPubList = new ArrayList<>();for(SearchHit hit:searchHits){TeachplanMediaPub teachplanMediaPub =new TeachplanMediaPub();Map<String, Object> sourceAsMap = hit.getSourceAsMap();//取出课程计划媒资信息String courseid = (String) sourceAsMap.get("courseid");String media_id = (String) sourceAsMap.get("media_id");String media_url = (String) sourceAsMap.get("media_url");String teachplan_id = (String) sourceAsMap.get("teachplan_id");String media_fileoriginalname = (String) sourceAsMap.get("media_fileoriginalname");teachplanMediaPub.setCourseId(courseid);teachplanMediaPub.setMediaUrl(media_url);teachplanMediaPub.setMediaFileOriginalName(media_fileoriginalname);teachplanMediaPub.setMediaId(media_id);teachplanMediaPub.setTeachplanId(teachplan_id);//将对象加入到列表中teachplanMediaPubList.add(teachplanMediaPub);}//构建返回课程媒资信息对象QueryResult<TeachplanMediaPub> queryResult = new QueryResult<>();queryResult.setList(teachplanMediaPubList);queryResult.setTotal(totalHits);return new QueryResponseResult<TeachplanMediaPub>(CommonCode.SUCCESS,queryResult);} Controller / 根据课程计划id搜索发布后的媒资信息 @param teachplanId @return/@GetMapping(value="/getmedia/{teachplanId}")@Overridepublic TeachplanMediaPub getmedia(@PathVariable("teachplanId") String teachplanId) {//为了service的拓展性,所以我们service接收的是数组作为参数,以便后续开发查询多个ID的接口String[] teachplanIds = new String[]{teachplanId};//通过service查询ES获取课程媒资信息QueryResponseResult<TeachplanMediaPub> mediaPubQueryResponseResult = esCourseService.getmedia(teachplanIds);QueryResult<TeachplanMediaPub> queryResult = mediaPubQueryResponseResult.getQueryResult();if(queryResult!=null&& queryResult.getList()!=null&& queryResult.getList().size()>0){//返回课程计划对应课程媒资return queryResult.getList().get(0);} return new TeachplanMediaPub();} 测试 使用 swagger-ui 和 postman 测试课程媒资查询接口。 三、在线学习：接口开发 0x01 需求分析 根据下边的业务流程，本章节完成前端学习页面请求学习服务获取课程视频地址，并自动播放视频。 0x02 搭建开发环境 1、创建数据库 创建 xc_learning 数据库，学习数据库将记录学生的选课信息、学习信息。 导入：资料/xc_learning.sql 2、创建学习服务工程 参考课程管理服务工程结构，创建学习服务工程： 导入：资料/xc-service-learning.zip 项目工程结构如下 0x03 Api接口 此 api 接口是课程学习页面请求学习服务获取课程学习地址。 定义返回值类型： package com.xuecheng.framework.domain.learning.response;import com.xuecheng.framework.model.response.ResponseResult;import com.xuecheng.framework.model.response.ResultCode;import lombok.Data;import lombok.NoArgsConstructor;import lombok.ToString;@Data@ToString@NoArgsConstructorpublic class GetMediaResult extends ResponseResult {public GetMediaResult(ResultCode resultCode, String fileUrl) {super(resultCode);this.fileUrl = fileUrl;}//媒资文件播放地址private String fileUrl;} 定义接口，学习服务根据传入课程 ID、章节 Id(课程计划 ID)来取学习地址。 @Api(value = "录播课程学习管理",description = "录播课程学习管理")public interface CourseLearningControllerApi {@ApiOperation("获取课程学习地址")public GetMediaResult getMediaPlayUrl(String courseId,String teachplanId);} 0x04 服务端开发 需求分析 学习服务根据传入课程ID、章节Id(课程计划ID)请求搜索服务获取学习地址。 搜索服务注册Eureka 学习服务要调用搜索服务查询课程媒资信息，所以需要将搜索服务注册到 eureka 中。 1、查看服务名称是否为 xc-service-search 注意修改application.xml中的服务名称：spring:application:name: xc‐service‐search 2、配置搜索服务的配置文件 application.yml，加入 Eureka 配置 如下： eureka:client:registerWithEureka: true 服务注册开关fetchRegistry: true 服务发现开关serviceUrl: Eureka客户端与Eureka服务端进行交互的地址，多个中间用逗号分隔defaultZone: ${EUREKA_SERVER:http://localhost:50101/eureka/,http://localhost:50102/eureka/}instance:prefer-ip-address: true 将自己的ip地址注册到Eureka服务中ip-address: ${IP_ADDRESS:127.0.0.1}instance-id: ${spring.application.name}:${server.port} 指定实例idribbon:MaxAutoRetries: 2 最大重试次数，当Eureka中可以找到服务，但是服务连不上时将会重试，如果eureka中找不到服务则直接走断路器MaxAutoRetriesNextServer: 3 切换实例的重试次数OkToRetryOnAllOperations: false 对所有操作请求都进行重试，如果是get则可以，如果是post，put等操作没有实现幂等的情况下是很危险的,所以设置为falseConnectTimeout: 5000 请求连接的超时时间ReadTimeout: 6000 请求处理的超时时间 3、添加 eureka 依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring‐cloud‐starter‐netflix‐eureka‐client</artifactId></dependency> 4、修改启动类，在class上添加如下注解： @EnableDiscoveryClient 搜索服务客户端 在 学习服务 创建搜索服务的客户端接口，此接口会生成代理对象，调用搜索服务： package com.xuecheng.learning.client;import com.xuecheng.framework.domain.course.TeachplanMediaPub;import org.springframework.cloud.openfeign.FeignClient;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.PathVariable;@FeignClient(value = "xc‐service‐search")public interface CourseSearchClient {@GetMapping(value="/getmedia/{teachplanId}")public TeachplanMediaPub getmedia(@PathVariable("teachplanId") String teachplanId);} 自定义错误代码 我们在 com.xuecheng.framework.domain.learning.response 包下自定义一个错误消息模型 package com.xuecheng.framework.domain.learning.response;import com.xuecheng.framework.model.response.ResultCode;import lombok.ToString;@ToStringpublic enum LearningCode implements ResultCode {LEARNING_GET_MEDIA_ERROR(false,23001,"学习中心获取媒资信息错误！");//操作代码boolean success;//操作代码int code;//提示信息String message;private LearningCode(boolean success, int code, String message){this.success = success;this.code = code;this.message = message;}@Overridepublic boolean success() {return success;}@Overridepublic int code() {return code;}@Overridepublic String message() {return message;} } 该消息模型基于 ResultCode 来实现，代码如下 package com.xuecheng.framework.model.response;/ Created by mrt on 2018/3/5. 10000-- 通用错误代码 22000-- 媒资错误代码 23000-- 用户中心错误代码 24000-- cms错误代码 25000-- 文件系统/public interface ResultCode {//操作是否成功,true为成功，false操作失败boolean success();//操作代码int code();//提示信息String message(); 从 ResultCode 中我们可以看出，我们约定了用户中心的错误代码使用 23000，所以我们定义的一些错误信息的代码就从 23000 开始计数。 Service 在学习服务中定义 service 方法，此方法远程请求课程管理服务、媒资管理服务获取课程学习地址。 package com.xuecheng.learning.service.impl;import com.netflix.discovery.converters.Auto;import com.xuecheng.framework.domain.course.TeachplanMediaPub;import com.xuecheng.framework.domain.learning.response.GetMediaResult;import com.xuecheng.framework.exception.ExceptionCast;import com.xuecheng.framework.model.response.CommonCode;import com.xuecheng.learning.client.CourseSearchClient;import com.xuecheng.learning.service.LearningService;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;@Servicepublic class LearningServiceImpl implements LearningService {@AutowiredCourseSearchClient courseSearchClient;/ 远程调用搜索服务获取已发布媒体信息中的url @param courseId 课程id @param teachplanId 媒体信息id @return/@Overridepublic GetMediaResult getMediaPlayUrl(String courseId, String teachplanId) {//校验学生权限,是否已付费等//远程调用搜索服务进行查询媒体信息TeachplanMediaPub mediaPub = courseSearchClient.getmedia(teachplanId);if(mediaPub == null) ExceptionCast.cast(CommonCode.FAIL);return new GetMediaResult(CommonCode.SUCCESS, mediaPub.getMediaUrl());} } Controller 调用 service 根据课程计划 id 查询视频播放地址： @RestController@RequestMapping("/learning/course")public class CourseLearningController implements CourseLearningControllerApi {@AutowiredLearningService learningService;@Override@GetMapping("/getmedia/{courseId}/{teachplanId}")public GetMediaResult getMediaPlayUrl(@PathVariable String courseId, @PathVariable String teachplanId) {//获取课程学习地址return learningService.getMedia(courseId, teachplanId);} } 测试 使用 swagger-ui 或postman 测试学习服务查询课程视频地址接口。 0x05 前端开发 需求分析 需要在学习中心前端页面需要完成如下功能： 1、进入课程学习页面需要带上 课程 Id参数及课程计划Id的参数，其中 课程 Id 参数必带，课程计划 Id 可以为空。 2、进入页面根据 课程 Id 取出该课程的课程计划显示在右侧。 3、进入页面后判断如果请求参数中有课程计划 Id 则播放该章节的视频。 4、进入页面后判断如果 课程计划id 为0则需要取出本课程第一个 课程计划的Id，并播放第一个课程计划的视频。 进入到模块 xc-ui-pc-leanring/src/module/course api方法 let sysConfig = require('@/../config/sysConfig')let apiUrl = sysConfig.xcApiUrlPre;/获取播放地址/export const get_media = (courseId,chapter) => {return http.requestGet(apiUrl+'/api/learning/course/getmedia/'+courseId+'/'+chapter);} 配置代理 在 Nginx 中的 ucenter.xuecheng.com 虚拟主机中配置 /api/learning/ 的路径转发，此url 请转发到学习服务。 学习服务upstream learning_server_pool{server 127.0.0.1:40600 weight=10;}学成网用户中心server {listen 80;server_name ucenter.xuecheng.com;个人中心location / {proxy_pass http://ucenter_server_pool;}后端搜索服务location /openapi/search/ {proxy_pass http://search_server_pool/search/; }学习服务location ^~ /api/learning/ {proxy_pass http://learning_server_pool/learning/;} } 视频播放页面 1、如果传入的课程计划id为0则取出第一个课程计划id 在 created 钩子方法中完成 created(){//当前请求的urlthis.url = window.location//课程idthis.courseId = this.$route.params.courseId//章节idthis.chapter = this.$route.params.chapter//查询课程信息systemApi.course_view(this.courseId).then((view_course)=>{if(!view_course || !view_course[this.courseId]){this.$message.error("获取课程信息失败，请重新进入此页面！")return ;}let courseInfo = view_course[this.courseId]console.log(courseInfo)this.coursename = courseInfo.nameif(courseInfo.teachplan){console.log("准备开始播放视频")let teachplan = JSON.parse(courseInfo.teachplan);this.teachplanList = teachplan.children;//开始学习if(this.chapter == "0" || !this.chapter){//取出第一个教学计划this.chapter = this.getFirstTeachplan();console.log("第一个教学计划id为 ",this.chapter);this.study(this.chapter);}else{this.study(this.chapter);} }})}, 取出第一个章节 id，用户未输入课程计划 id 或者输入为 0 时，播放第一个。 //取出第一个章节getFirstTeachplan(){for(var i=0;i<this.teachplanList.length;i++){let firstTeachplan = this.teachplanList[i];//如果当前children存在，则取出第一个返回if(firstTeachplan.children && firstTeachplan.children.length>0){let secondTeachplan = firstTeachplan.children[0];return secondTeachplan.id;} }return ;}, 开始学习： //开始学习study(chapter){// 获取播放地址courseApi.get_media(this.courseId,chapter).then((res)=>{if(res.success){let fileUrl = sysConfig.videoUrl + res.fileUrl//播放视频this.playvideo(fileUrl)}else if(res.message){this.$message.error(res.message)}else{this.$message.error("播放视频失败，请刷新页面重试")} }).catch(res=>{this.$message.error("播放视频失败，请刷新页面重试")});}, 2、点击右侧课程章节切换播放 在原有代码基础上添加 click 事件，点击调用开始学习方法（study）。 <li v‐if="teachplan_first.children!=null" v‐for="(teachplan_second, index) inteachplan_first.children"><i class="glyphicon glyphicon‐check"></i><a :href="url" @click="study(teachplan_second.id)">{ {teachplan_second.pname} }</a></li> 3、地址栏路由url变更 这里需要注意一个问题，在用户点击课程章节切换播放时，地址栏的 url 也应该同步改变为当前所选择的课程计划 id 4、在线学习按钮 将 learnstatus 默认更改为 1，这样就能显示出马上学习的按钮，方便我们后续的集成测试。 文件路径为 xc-ui-pc-static-portal/include/course_detail_dynamic.html 部分代码块如下 <script>var body= new Vue({ //创建一个Vue的实例el: "body", //挂载点是id="app"的地方data: {editLoading: false,title:'测试',courseId:'',charge:'',//203001免费,203002收费learnstatus: 1 ,//课程状态，1：马上学习，2：立即报名、3：立即购买course:{},companyId:'template',company_stat:[],course_stat:{"s601001":"","s601002":"","s601003":""} }, 简单的测试 访问在线学习页面：http://ucenter.xuecheng.com//learning/课程id/课程计划id 通过 url 传入两个参数：课程id 和 课程计划id 如果没有课程计划则传入0 测试项目如下： 1、传入正确的课程id、课程计划id，自动播放本章节的视频 2、传入正确的课程id、课程计划id传入0，自动播放第一个视频 3、传入错误的课程id 或 课程计划id，提示错误信息。 4、通过右侧章节目录切换章节及播放视频。 访问： http://ucenter.xuecheng.com//learning/4028e58161bcf7f40161bcf8b77c0000/4028e58161bd18ea0161bd1f73190008 传入正确的课程id、课程计划id，自动播放本章节的视频 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ef0xxym7-1595567273153)(https://qnoss.codeyee.com/20200704_15/image17)] 传入正确的课程id、课程计划id传入0，自动播放第一个视频 访问 http://ucenter.xuecheng.com//learning/4028e58161bcf7f40161bcf8b77c0000/0 识别出第一个课程计划的 id 需要注意的是这里的 chapter 参数是我自己在 study 函数里加上去的，可以忽略。 传入错误的课程id或课程计划id，提示错误信息。 通过右侧章节目录切换章节及播放视频。 点击章节即可播放，但是点击制定章节后 url 没有发生改变，这个问题暂时还没有解决，关注笔记后面的内容。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TOGdxwb4-1595567273158)(https://qnoss.codeyee.com/20200704_15/image20)] 完整的测试 准备工作 启动 RabbitMQ，启动 Logstash、ElasticSearch 建议把所有后端服务都开起来 启动 前端静态门户、启动 nginx 、启动课程管理前端 我们整理一下测试的流程 上传两个媒资视频文件，用于测试 进入到课程管理，为课程计划选择媒资信息 发布课程，等待 logstash 将数据采集到 ElasticSearch 的索引库中 进入学成网主页，点击课程，进入到搜索门户页面 搜索课程，进入到课程详情页面 点击开始学习，进入到课程学习页面，选择课程计划中的一个章节进行学习。 1、上传文件 首先我们使用之前开发的媒资管理模块，上传两个视频文件用于测试。 第一个文件上传成功 一些问题 在上传第二个文件时，发生了错误，我们来检查一下问题出在了哪里 在媒体服务的控制台中可以看到，在 mergeChunks 方法在校验文件 md5 时候抛出了异常 我们在 MD5 校验这里打个断点，重新上传文件，分析一下问题所在。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OpEMZGI8-1595567273166)(https://qnoss.codeyee.com/20200704_15/image23)] 单步调试后发现，合并文件后的MD5值与用户上传的源文件值不相等 方案1：删除本地分块文件重新尝试上传 考虑到可能是在用户上传完 视频的分块文件时发生了一些问题，导致合并文件后与源文件的大小不等，导致MD5也不相同，这里我们把这个视频上传到本地的文件全部删除，在媒资上传页面重新上传文件。 对比所有分块文件的字节大小和本地源文件的大小，完全是相等的 删除所有文件后重新上传，md5值还是不等，考虑从调试一下文件合并的代码。 方案2：检查前端提交的MD5值是否正确 在查阅是否有其他的MD5值获取方案时，发现了一个使用 windows 本地命令获取文件MD5值的方法 certutil -hashfile .\19-在线学习接口-集成测试.avi md5 惊奇的发现，TM的原来是前端那边转换的MD5值不正确，后端这边是没有问题的。 从前面的图可以看出，本地和后端转换的都是以一个 f6f0 开头的MD5值 那么问题就出现在前端了，还需要花一些时间去分析一下，这里暂时就先告一段落，因为上传了几个文件测试中只有这一个文件出现了问题。 2、为课程计划选择媒资信息 进入到一个课程的管理页面 http://localhost:12000//course/manage/baseinfo/4028e58161bcf7f40161bcf8b77c0000 将刚才我们上传的媒资文件的信息和课程计划绑定 选择效果如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-epKaqzCD-1595567273178)(https://qnoss.codeyee.com/20200704_15/image29)] 2、发布课程，等待 logstash 从 course_pub 以及 teachplan_media_pub 表中采集数据到 ElasticSearch 当中 发布成功后，我们可以从 teachplan_media_pub 表中看到刚才我们发布的媒资信息 再观察 Logstash 的控制台，发现两个 Logstash 的实例都对更新的课程发布信息进行了采集 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hTUve2ik-1595567273183)(https://qnoss.codeyee.com/20200704_15/image32)] 3、前端门户测试 打开我们的门户主站 http://www.xuecheng.com/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4wZe9R84-1595567273185)(https://qnoss.codeyee.com/20200704_15/image33)] 点击导航栏的课程，进入到我们的搜索门户页面 如果无法进入到搜索门户，请检查你的 xc-ui-pc-portal 前端工程是否已经启动 进入到搜索门户后，可以看到一些初始化时搜索的课程数据，默认是搜索第一页的数据，每页2个课程。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BJ1AKoJb-1595567273187)(https://qnoss.codeyee.com/20200704_15/image34)] 我们可以测试搜索一下前面我们选择媒资信息时所用的课程 点击课程，进入到课程详情页面，然后再点击开始学习。 点击马上学习后，会进入到该课程的在线学习页面，默认自动播放我们第一个课程计划中的视频。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tcuLWnf2-1595567273193)(https://qnoss.codeyee.com/20200704_15/image37)] 我们可以在右侧的目录中选择第二个课程计划，会自动播放所选的课程计划所对应的媒资视频播放地址，该 播放地址正是我们刚才通过 Logstash 自动采集到 ElasticSearch 的索引信息，效果图如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cvi9Dr0Y-1595567273195)(https://qnoss.codeyee.com/20200704_15/image38)] 四、待完善的一些功能 课程发布前，校验课程计划里面是否包含二级课程计划 课程发布前，校验课程计划信息里面是否全部包含媒资信息 删除媒资信息，并且同步删除ES中的索引 在获取该课程的播放地址时校验用户的合法、 在线学习页面，点击右侧目录中的课程计划同时改变url中的课程计划地址 视频文件 19-在线学习接口-集成测试.avi 前端上传时提交的MD5值不正确 😁 认识作者 作者：👦 LCyee ，全干型代码🐕 自建博客：https://www.codeyee.com 记录学习以及项目开发过程中的笔记与心得，记录认知迭代的过程，分享想法与观点。 CSDN 博客：https://blog.csdn.net/codeyee 记录和分享一些开发过程中遇到的问题以及解决的思路。 欢迎加入微服务练习生的队伍，一起交流项目学习过程中的一些问题、分享学习心得等，不定期组织一起刷题、刷项目，共同见证成长。 本篇文章为转载内容。原文链接：https://blog.csdn.net/codeyee/article/details/107558901。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...用开发以及企业级数据存储场景中。在本文上下文中，MySQL 提供了丰富的系统变量设置功能，允许用户根据实际需求调整数据库的运行参数，以优化性能和资源使用。 系统变量 , 在 MySQL 中，系统变量是指由数据库服务器维护的一系列配置项，这些变量可以影响数据库的行为和性能特征，例如连接数上限（max_connections）、缓冲池大小（innodb_buffer_pool_size）等。用户可以根据不同的业务需求来查看、修改这些系统变量，以达到调优数据库的目的。 my.cnf , my.cnf 是 MySQL 数据库的主要配置文件，用于存储全局级别的配置选项和系统变量设定。当 MySQL 服务启动时，会读取并应用该文件中的配置信息。通过编辑 my.cnf 文件并更改系统变量的默认值，用户可以实现永久性地改变 MySQL 服务的运行参数，确保即使在重启服务后，新的系统变量值仍能生效。

...用于Web服务接口、配置文件、数据存储等领域中，实现不同系统间的数据交换。 Python字典 , 在Python编程语言中，字典是一种可变容器模型，且可存储任意类型对象（如字符串、数字、元组等）的无序集合。每个项由一个唯一的键和与之关联的值组成，键和值之间通过冒号分隔，各对键值之间用逗号分隔，并放在花括号内。在处理JSON数据时，JSON对象通常会被转换为Python字典，以便在Python程序内部进行操作和处理。 JSON注入 , 类似于SQL注入，JSON注入是一种安全漏洞，攻击者通过向应用提交恶意构造的JSON数据，利用目标应用程序未能有效验证或清理用户输入的问题，进而影响服务器端JSON解析器的行为，以达到篡改数据、执行非预期操作或获取敏感信息的目的。在Python中使用json.loads()方法解析JSON字符串时，应结合严格的数据验证和清理措施来防止JSON注入攻击。

...及其依赖环境（如库、配置文件等）打包成独立的、可移植的单元——容器。在Docker这样的容器化平台上，每个容器都运行在宿主机操作系统上，但拥有隔离的用户空间，从而实现轻量级的资源隔离和部署。这意味着开发者可以将应用及其所有依赖项封装在一个容器中，在任何支持Docker的环境中，只需简单命令即可启动并运行该应用，确保了跨环境的一致性和便捷性。 Docker Hub , Docker Hub是Docker官方提供的镜像仓库服务，类似于软件开发中的代码仓库，但它存储的是Docker镜像。开发者可以在Docker Hub上查找、下载、分享和管理自己的Docker镜像，极大地简化了镜像分发与复用的过程。例如，通过docker run hello-world命令就能从Docker Hub拉取并运行hello-world镜像，体现了Docker Hub作为中心化镜像仓库的核心价值。 镜像 , 在Docker环境下，镜像是创建和运行容器的基础模板，包含了应用程序及其运行所需的所有文件和配置信息。镜像以层式结构构建，每层代表应用程序的一个修改或添加，从而使得镜像具有高效存储和快速分发的特点。例如，使用docker build -t myapp .命令基于当前目录下的Dockerfile构建一个名为myapp的新镜像，然后通过docker run -p 80:80 myapp命令使用这个新镜像启动一个容器，并映射端口以便外部访问。这样，无论何时何地，只要有了这个镜像，就可以快速且一致地创建出能够运行特定应用程序的容器实例。

...它包含了数据库引擎、配置信息、数据文件等内容。在多实例或多服务器环境下，每个MySQL实例都是一个独立的服务进程，具有各自的系统资源和数据库内容。 basedir , 在MySQL中，basedir（基础目录）是一个配置变量，用于指定MySQL软件的安装根目录。通过查询basedir，可以得知MySQL所有主要程序、库文件、配置文件以及数据目录等关键路径的位置，这对于进行MySQL维护、故障排查以及管理非常重要。 root用户 , 在MySQL数据库系统中，root用户是预定义的超级管理员账户，拥有对MySQL服务器的最高权限。它可以执行包括创建新用户、修改数据库结构、备份与恢复数据等在内的所有数据库操作。为了保障数据库安全，通常需要为root用户设置强密码，并谨慎使用其权限。 SHOW VARIABLES , SHOW VARIABLES是MySQL提供的一种系统状态查看语句，用于显示当前MySQL会话或全局范围内的系统变量值。在本文情境中，通过执行SHOW VARIABLES WHERE Variable_Name LIKE %basedir ;命令，可以获取MySQL实例的安装基础目录信息。

...oot后的hosts文件进行修改以适应多环境调试需求后，延伸阅读的内容可以进一步深入到网络安全、域名解析原理以及Android系统权限管理等相关领域。 近期，网络安全专家提醒开发者，在操作过程中需谨慎对待hosts文件的修改。由于hosts文件直接影响系统的域名解析过程，恶意篡改可能导致用户访问钓鱼网站或其他不安全资源，因此在实际操作中务必确保所指向服务器的安全性，并建议定期备份原始hosts文件以便恢复。 与此同时，随着Android 12系统对于隐私和权限控制的强化，对于系统文件如/etc/hosts的直接编辑可能会受到更严格的限制。谷歌正在推动 Scoped Storage 政策，要求应用遵循更加细致的存储访问规则。这意味着未来在处理类似hosts文件这样的系统关键文件时，可能需要采用更为复杂的API调用或用户授权流程。 此外，针对开发者的另一篇深度解读文章指出，除了传统的本地hosts文件修改方法外，还可以利用DNS over HTTPS（DoH）等现代网络技术实现更灵活且安全的域名重定向。这种方式不仅能够满足多环境切换的需求，而且通过加密传输提高了域名解析的安全性和隐私保护能力。 综上所述，虽然本文介绍了基于ADB的hosts文件修改方法，但在实际操作中应充分考虑安全性、权限问题及新技术的应用，以应对不断发展的Android生态系统所带来的挑战与机遇。

...凑，采用键值对的形式存储信息，广泛应用于前后端数据交互、配置文件存储、API接口设计等多个领域。 RESTful API , Representational State Transfer（表述性状态转移）风格的Web服务应用程序编程接口。RESTful API遵循HTTP协议规范，通过定义一套资源标识符以及与之对应的HTTP方法（GET、POST、PUT、DELETE等），实现对资源的操作和管理。在文章语境中，JSON作为主流的数据交换格式，在RESTful API设计中扮演重要角色，使得数据传输简洁高效，接口易用性增强。 NoSQL数据库 , Not Only SQL，泛指非关系型数据库，相较于传统的关系型数据库，NoSQL数据库更适合处理大规模分布式环境下的海量数据存储与查询问题。文中提到MongoDB就是一种NoSQL数据库，它可以原生支持JSON格式数据的存储和查询，利用JSON文档模型的优势，简化了数据操作流程，提高了开发效率。

...er Daemon的配置文件路径根据不同运行模式（root模式和rootless模式）有所不同，默认位于\ /etc/docker/daemon.json\ 或用户主目录下的\ ~/.docker/daemon.json\ 。 TLS (Transport Layer Security) 模式 , TLS是一种用于网络通信加密的安全协议，确保在互联网上数据传输的安全性和私密性。在Docker环境中，启用TLS模式可以对Docker守护进程与客户端之间的通信进行加密，防止敏感信息被窃取或篡改。当Docker Daemon需要使用到TLS证书时，会按照特定顺序查找这些证书文件，例如优先检查命令行参数指定的证书路径，其次考虑环境变量DOCKER_CERT_PATH等。 containerd Socket (sock) , containerd是一个独立于Docker Daemon的高性能容器运行时，提供了容器的生命周期管理功能。在Docker生态系统中，containerd.sock是一个Unix Domain Socket，它作为containerd与Docker以及其他组件之间进行通信的重要接口。在文中提到的\ /run/containerd/containerd.sock\ 即为containerd服务监听的通信端点，Docker通过连接这个socket与containerd进行交互，执行如创建、启动和停止容器等操作。

...（如Git）也能通过配置CNTLM，间接访问受保护的外部资源（如GitHub）。用户需要在CNTLM的配置文件中输入其网络认证所需的用户名、域和密码信息，并启动CNTLM服务后，应用程序就可以通过指向CNTLM运行时监听地址（默认为127.0.0.1:3128）的代理设置，成功地通过公司内部的NTLM代理进行身份验证并访问互联网。 NTLM代理认证 , NTLM（NT LAN Manager）是一种由微软开发的身份验证协议，常用于Windows网络环境下的身份验证过程。NTLM代理认证是指在网络代理服务器上启用NTLM协议进行用户身份验证的过程。当客户端尝试通过代理服务器访问外部网络资源时，代理服务器会要求客户端使用NTLM协议提供有效的身份凭证（如用户名、域和加密后的密码），完成身份验证后，客户端才能继续访问目标资源。 GitHub , GitHub是一个全球最大的开源代码托管平台，同时也是开发者社区，基于Git分布式版本控制系统构建。在公司内部网络环境下，由于网络安全策略限制或防火墙设置，可能需要通过代理服务器访问外部网络资源，而某些工具（如Git）并不直接支持NTLM代理认证，这时就需要借助CNTLM这类工具实现透明的身份验证转发，使用户能够在遵守公司安全政策的前提下，正常地使用GitHub等外部服务进行代码存储、协作与管理。

...的运行时环境（如库、配置文件等），可以在任何支持Docker的系统上运行，彼此之间互不影响且资源隔离。在Docker中，容器是基于镜像创建的，用于封装应用服务，确保其在开发、测试和生产环境中的无缝迁移与一致性。 apt-get , apt-get是一个在Debian、Ubuntu等基于Debian的Linux发行版中广泛使用的包管理工具，它可以自动处理软件包之间的依赖关系，并提供安装、更新、卸载软件包等功能。在本文中，用户通过运行特定的apt-get命令来卸载和安装Docker及相关组件。 systemctl , systemctl是Systemd系统和服务管理器的一部分，用于管理系统上的各项服务。在本文的上下文中，用户通过执行“sudo systemctl stop docker”命令停止Docker服务，这是在卸载Docker前必须进行的关键步骤之一，确保系统中与Docker相关的所有进程和服务已完全关闭。 Docker Engine , Docker Engine是Docker的核心组件，它负责管理和运行Docker容器，包括构建、运行、分发和编排容器等操作。在文章中提到的“sudo apt-get remove docker-engine”命令即用于从系统中移除Docker Engine软件包，完成Docker的彻底卸载。 Docker.io , Docker.io是Debian和Ubuntu系统中Docker的一个早期软件包名称，用于安装Docker。现在虽然官方推荐使用\ Docker Engine\ 或\ Docker Community Edition\ 这样的名称，但在某些旧版本或特定场景下，仍然可以通过安装docker.io来获取Docker功能。 hello-world , 在Docker语境中，“hello-world”是一个基础的Docker镜像，通常用于验证Docker是否正确安装并能够成功运行容器。当用户执行“sudo docker run hello-world”命令后，如果能输出相应的问候信息，则说明Docker已经成功挂载并在系统上运行正常。

...件如何互相调用并交换信息。在本文中，Kibana内部API指的是Kibana系统内部用于获取、处理和展示Elasticsearch中数据的一系列接口。如果这些API调用失败，将直接影响到Kibana的数据展现和分析功能。 配置文件（kibana.yml） , 在Kibana中，kibana.yml是一个核心配置文件，用于存储和管理Kibana的各种设置参数，如Elasticsearch服务地址、网络配置、安全性设置等。当此文件中的配置错误，特别是与API访问权限或URL路径相关的设置有误时，可能会导致Kibana无法正确调用内部API。 Role-Based Access Control (RBAC) , 角色基于访问控制，是一种常见的授权机制，用于根据用户的角色分配不同级别的系统资源访问权限。在Elasticsearch中，通过实现RBAC可以精细控制不同用户对Elasticsearch API的访问权限，防止因权限设置不当引发的API调用失败问题。

...Cloud的世界里，配置文件就像是船只的罗盘，指引着微服务架构的航向。哎呀，就像生活中偶尔的突发小状况，有时候配置文件不见了或者搞错了，这可真是让咱们的应用程序跑不起来，卡壳了呢。接下来，咱们一起踏上探索之旅，深入挖掘这个问题的奥秘，顺便给你几招独家秘籍，保证你的SpringCloud之路畅通无阻，轻松愉快！ 二、配置文件的重要性 1.1 什么是SpringCloud配置？ SpringCloud配置主要是通过Spring Cloud Config来管理应用的外部配置，允许你将配置存储在一个集中式的服务器上，而不是直接写在代码中，这样便于维护和版本控制。 java @ConfigurationProperties(prefix = "app") public class AppConfig { private String name; private int port; // getters and setters... } 2.2 配置文件的常见位置 通常，SpringCloud会从application.properties或application.yml文件中读取配置，这些文件位于项目的src/main/resources目录下。 三、配置文件丢失或错误的后果 3.1 丢失：如果配置文件丢失，应用可能无法找到必要的设置，如数据库连接信息、API地址等，导致启动失败或者运行异常。 3.2 错误：配置文件中的语法错误、键值对不匹配等问题，同样会导致应用无法正常运行，甚至引发难以追踪的运行时错误。 四、如何识别和解决配置问题 4.1 使用Spring Cloud Config客户端检查 Spring Cloud Config客户端提供了命令行工具，如spring-cloud-config-client，可以帮助我们查看当前应用正在尝试使用的配置。 bash $ curl http://localhost:8888/master/configprops 4.2 日志分析 查看应用日志是发现配置错误的重要手段。SpringCloud会记录关于配置加载的详细信息，包括错误堆栈和尝试过的配置项。 4.3 使用IDEA或IntelliJ的Spring Boot插件 这些集成开发环境的插件能实时检查配置文件，帮助我们快速定位问题。 五、配置错误的修复策略 5.1 重新创建或恢复配置文件 确保配置文件存在且内容正确。如果是初次配置，参考官方文档或项目文档创建。 5.2 修正配置语法 检查配置文件的格式，确保所有键值对都是正确的，没有遗漏或多余的部分。 5.3 更新配置属性 如果配置项更改，需要更新到应用的配置服务器，然后重启应用以应用新的配置。 六、预防措施与最佳实践 6.1 版本控制 将配置文件纳入版本控制系统，确保每次代码提交都有相应的配置备份。 6.2 使用环境变量 对于敏感信息，可以考虑使用环境变量替代配置文件，提高安全性。 7. 结语 面对SpringCloud配置文件的丢失或错误，我们需要保持冷静，运用合适的工具和方法，一步步找出问题并修复。记住，无论何时，良好的配置管理都是微服务架构稳定运行的关键。希望这篇文章能帮你解决遇到的问题，让你在SpringCloud的世界里更加游刃有余。

...一套开源的数据收集、存储、分析和可视化工具集合，由Elastic公司开发。它包括Elasticsearch（用于实时全文搜索和数据分析）、Logstash（用于数据处理管道，支持从各种来源收集数据并转发到多个目的地）、Kibana（提供基于Web的图形化界面，便于对Elasticsearch中的数据进行搜索、分析和可视化展示）以及Beats（轻量级数据采集器，负责从服务器、容器等源头收集日志、指标等数据）。在本文中，Elastic Stack被用来监控Nginx Web服务器性能和稳定性。 Beats , Beats是Elastic Stack家族的一部分，主要功能是作为数据收集代理，负责从分布式系统中的各个节点收集不同类型的数据源信息，如系统日志、网络流量、应用性能数据等，并将这些数据高效地发送至Elasticsearch进行存储和进一步分析。文中提到使用Beats中的Filebeat模块来专门收集和传输Nginx Web服务器的日志文件。 Nginx Web服务器 , Nginx是一款高性能、高并发、稳定可靠的Web服务器和反向代理服务器软件。相较于传统的Apache等服务器，Nginx以其低内存消耗、高并发处理能力和灵活的配置机制而受到广泛青睐。在本文语境下，Nginx Web服务器是企业IT基础设施的重要组成部分，通过部署Elastic Stack中的Beats对其日志进行监控，能够及时发现和解决潜在问题，保障业务服务的稳定性和性能表现。

...doop那个叫分布式文件系统的家伙(HDFS)里的时候。本文将深入探讨HDFS Quota exceeded的原因，并提供一些解决方案。 2. 什么是HDFS Quota exceeded？ 首先，我们需要了解什么是HDFS Quota exceeded。简单来说，"HDFS Quota exceeded"这个状况就像是你家的硬盘突然告诉你：“喂，老兄，我这里已经塞得满满当当了，没地儿再放下新的数据啦！”这就是Hadoop系统在跟你打小报告，说你的HDFS存储空间告急，快撑不住了。这个错误，其实多半是因为你想写入的数据量太大了，把分配给你的磁盘空间塞得满满的，就像一个已经装满东西的柜子，再往里塞就挤不下了，所以才会出现这种情况。 3. HDFS Quota exceeded的原因 HDFS Quota exceeded的主要原因是你的HDFS空间不足以存储更多的数据。这可能是由于以下原因之一： a. 没有足够的磁盘空间 b. 分配给你的HDFS空间不足 c. 存储的数据量过大 d. 文件系统的命名空间限制 4. 如何解决HDFS Quota exceeded？ 一旦出现HDFS Quota exceeded错误，你可以通过以下方式来解决它： a. 增加磁盘空间 你可以添加更多的硬盘来增加HDFS的空间。然而，这可能需要购买额外的硬件设备并将其安装到集群中。 b. 调整HDFS空间分配 你可以在Hadoop配置文件中调整HDFS空间分配。比如，你可以在hdfs-site.xml这个配置文件里头，给dfs.namenode.fs-limits.max-size这个属性设置个值，这样一来，就能轻松调整HDFS的最大存储容量啦！ bash dfs.namenode.fs-limits.max-size 100GB c. 清理不需要的数据 你还可以删除不需要的数据来释放空间。可以使用Hadoop命令hdfs dfs -rm /path/to/file来删除文件，或者使用hadoop dfsadmin -ls来查看所有存储在HDFS中的文件，并手动选择要删除的文件。 d. 提高HDFS命名空间限额 最后，如果以上方法都不能解决问题，你可能需要提高HDFS的命名空间限额。你可以通过以下步骤来做到这一点： - 首先，你需要确定当前的命名空间限额是多少。你可以在Hadoop配置文件中找到此信息。例如，你可以在hdfs-site.xml文件中找到dfs.namenode.dfs.quota.user.root属性。 - 然后，你需要编辑hdfs-site.xml文件并将dfs.namenode.dfs.quota.user.root值修改为你想要的新值。请注意，新值必须大于现有值。 - 最后，你需要重启Hadoop服务才能使更改生效。 5. 结论 总的来说，HDFS Quota exceeded是一个常见的Hadoop错误，但是可以通过增加磁盘空间、调整HDFS空间分配、清理不需要的数据以及提高HDFS命名空间限额等方式来解决。希望这篇文章能够帮助你更好地理解和处理HDFS Quota exceeded错误。

...发送大量请求，导致其资源耗尽而无法响应合法用户的请求。在Node.js应用中，防火墙可通过阻止特定IP地址的请求来防止此类攻击。 HTTPS协议 , HTTPS（全称Hyper Text Transfer Protocol Secure）是一种安全的超文本传输协议，它在HTTP的基础上加入SSL/TLS协议以提供加密处理和服务器身份认证功能。在Node.js应用开发中，使用HTTPS协议可以确保敏感信息（如密码）在网络传输过程中不被窃取或篡改，提高通信的安全性。 防篡改工具 , 防篡改工具是一种用于保护源代码或配置文件不被未经授权修改的技术手段，在Node.js环境里，Git hooks便是一个例子，它可以设置在特定操作前自动执行验证或检查任务，从而防止恶意代码对项目进行非法改动。 静态代码分析工具 , 静态代码分析工具是一种软件质量保障工具，它能够在不实际运行代码的情况下，通过对源代码进行扫描和解析，检测出潜在的安全漏洞、代码质量问题以及不符合规范的地方。在Node.js应用开发中，这类工具能够帮助开发者在编码阶段就发现并修复可能导致安全风险的问题。

...它们就没办法好好分享信息，那整个任务可能就搞砸了。 但是，别灰心，Flink提供了一些机制来应对网络分区问题。比如，通过检查点（Checkpoint）和保存点（Savepoint）来保证数据的一致性和任务的可恢复性。下面，我会展示如何使用这些机制来确保我们的任务能够顺利运行。 3 3. 如何应对网络分区 现在我们来看看如何在Flink中处理网络分区问题。首先，我们需要启用检查点。在Flink里，有一个超实用的功能叫检查点。它会定时把你的工作状态保存起来，存到一个安全的地方。万一出了问题，你就可以从最近保存的那个状态重新开始，完全不会耽误事儿。 java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000); // 每隔5秒创建一次检查点 上面这段代码展示了如何在Flink中启用检查点，并设置每5秒创建一次检查点。这样，即使发生网络分区，任务也能够从最近的检查点恢复。 除了检查点，Flink还支持保存点。保存点与检查点类似，但它们是在用户主动触发的情况下创建的。你可以手动创建保存点，然后在需要的时候恢复任务。 java env.setStateBackend(new FsStateBackend("hdfs://namenode:8020/flink-checkpoints")); env.saveCheckpoint(12345, "hdfs://namenode:8020/flink-checkpoints/my-savepoint"); 这段代码展示了如何设置状态后端并创建保存点。通过这种方式，我们可以更加灵活地管理任务的状态。 3 4. 实践中的经验分享 最后，我想分享一些我在实际工作中遇到的问题以及解决方案。有一次，我在部署一个实时数据分析任务时，遇到了网络分区的问题。那时候，我们正忙着执行任务，突然间就卡住了。一查日志，发现原来是网络出了问题，分成了几个小块儿，导致任务没法继续进行。 我第一时间想到的是启用检查点和保存点。我调整了一下配置文件，打开了检查点功能，并设定了一个合适的间隔时间。然后，我又创建了一个保存点，以便在需要时可以快速恢复任务。 经过这些调整后，任务果然变得更加稳定了。虽然网络分区的问题依然存在，但至少我们现在有了应对措施。这也让我深刻体会到，Flink的检查点和保存点是多么的重要。 结语 好了，今天的分享就到这里。虽然网络分区会带来一些麻烦，但只要我们手握合适的工具和技术，就能很好地搞定它。希望大家在使用Flink的过程中也能遇到并解决类似的问题。如果你有任何疑问或建议，欢迎随时交流讨论。让我们一起享受编程的乐趣吧！

...灵活和安全的用户数据存储方案。此外，针对定时任务调度crontab的安全性和易用性，有开发者提出新的项目如cronio，旨在提供可视化管理和更精细的权限控制。 在文件管理系统方面，Btrfs和ZFS等高级文件系统凭借其数据完整性检查、快照功能和高效的存储池管理机制吸引了更多关注。同时，随着容器技术的发展，Linux在Docker和Kubernetes等容器编排平台上的应用也催生出许多针对容器环境的文件管理策略和最佳实践。 在信息安全层面，除了传统的防火墙配置和SSL/TLS加密设置，新近发布的eBPF（Extended Berkeley Packet Filter）技术正逐渐被用于实现更细粒度的网络监控和防护。此外，为应对日益严峻的网络安全挑战，Linux基金会发起了“开源软件供应链点亮计划”，旨在提升开源软件从开发到部署整个生命周期的安全性。 至于包管理方面，虽然RPM和Yum仍然是Red Hat系列Linux发行版的核心组件，但Debian和Ubuntu家族的APT以及Arch Linux的Pacman等包管理系统也在不断演进，以适应现代软件生态快速迭代的需求。同时，像Flatpak和Snap这样的跨Linux发行版的通用包格式也正在改变软件分发格局。 总之，Linux世界日新月异，无论是系统架构、核心服务还是外围工具都在不断创新和完善。对于Linux的学习者而言，跟踪最新发展动态，结合经典理论知识，方能与时俱进地提升自己的运维能力和技术水平。

...心组件之一，通过加载配置文件（如hibernate.cfg.xml）获取数据库连接、实体映射等信息，并基于这些信息构建出能够执行持久化操作的Session实例。SessionFactory在整个应用生命周期内通常只需创建一次，且线程安全，可为多个线程提供Session实例。 对象关系映射（ORM, Object-Relational Mapping） , 在Java开发领域，尤其是数据库编程中，对象关系映射是一种程序技术，用于将对象模型表示的对象与数据库中的关系数据表结构进行转换和对应。Hibernate作为一款强大的ORM框架，实现了Java对象与数据库记录之间的自动映射，使得开发者可以使用面向对象的方式来操作数据库，极大地简化了数据库操作的复杂性。 持久化（Persistence） , 在计算机科学中，特别是数据库系统和企业级应用开发中，持久化是指将程序运行时的状态或数据转化为可在系统重启后继续存在的存储形式的过程。在Hibernate框架中，Session对象负责处理所有的持久化操作，例如保存、更新、删除和查询对象状态到数据库中，从而实现对象的持久化存储。