前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[主机多容器资源共享管理]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
Docker
...r 是一种开源的应用容器引擎,它通过将应用程序及其依赖环境打包成可移植的镜像,实现在不同操作系统和基础设施上的一致、高效的部署。在本文中,Docker 被用于创建并管理运行应用服务(如 Nginx)的独立容器实例,其中包含一个完整的文件系统、网络配置以及运行时所需的全部资源。 数据卷(Data Volume) , 在 Docker 中,数据卷是一种特殊的目录或文件,其设计目的是持久化存储容器中的数据,并实现容器间的数据共享。当容器停止、重启或删除时,与数据卷关联的数据能够得到保留。在文章中,通过 -v 参数挂载数据卷,将主机系统的本地目录映射到容器内部的目录,从而确保应用状态的持久性和多个容器之间的数据交互。 只读文件系统(Readonly file system) , 在 Docker 容器运行时,可以通过设置选项使容器内的文件系统变为只读模式。这意味着在该模式下,容器内所有文件和目录都无法进行任何写入操作,以增强安全性或满足特定场景需求。在本文中,当用户尝试在一个使用了 --read-only 选项启动的 Docker 容器内对挂载的数据卷进行写入操作时,会遇到 \ Readonly file system\ 的错误提示,因为在这种情况下,容器不允许对任何包括挂载目录在内的文件系统进行修改。
2023-01-13 17:03:08
524
逻辑鬼才
Docker
...ocker的世界中,容器运行时的数据持久化是一个至关重要的议题。一般来说,Docker这家伙干活的时候,默认会把容器里的数据藏在它自己的小秘密空间里。不过你可得注意了,一旦这个容器被停止运行或者干脆被删掉,那么这些数据也就跟着玩完了,彻底消失不见啦。不过,在真实操作场景里,我们常常得把容器里面的文件系统路径,像变魔术一样映射到宿主机上。这样一来,既能保证数据能长久保存,又能轻松实现容器内外的资源共享,让大家都能方便地“互通有无”。今天,咱们要聊的话题接地气点,就是怎么捣鼓Docker的存储路径,再给它来个路径映射的小魔术,让大伙儿用起来更顺手。 2. Docker数据卷的基础理解 在深入讨论映射路径之前,我们需要先理解Docker中的一个重要概念——数据卷(Data Volumes)。数据卷这个小东西,就像一个独立的存储空间,它实实在在地存在于你的电脑(也就是宿主机)上。然后,当你启动一个Docker容器时,会把这个存储空间“搬”到容器内部的一个特定目录里。神奇的是,这个数据卷的生命周期完全不受容器的影响,也就是说,哪怕你把容器整个删掉了,这个数据卷里的所有数据都还会好好地保存着,一点儿都不会丢失! bash 创建一个使用数据卷的nginx容器 docker run -d --name web-server -v /webapp:/usr/share/nginx/html nginx 上述命令中 -v /webapp:/usr/share/nginx/html 就创建了一个从宿主机 /webapp 映射到容器内 /usr/share/nginx/html 的数据卷。这样,容器内的网页文件实际上会存储在宿主机的 /webapp 目录下。 3. 修改Docker默认存储路径 Docker的默认存储路径通常位于 /var/lib/docker,如果这个位置的空间不足或者出于管理上的需求,我们可以对其进行修改: 3.1 Linux系统 在Linux系统中,可以通过修改Docker守护进程启动参数来改变数据存储路径: bash 停止Docker服务 sudo systemctl stop docker 编辑Docker配置文件(通常是/etc/docker/daemon.json) sudo nano /etc/docker/daemon.json 添加如下内容(假设新的存储路径为 /mnt/docker) { "data-root": "/mnt/docker" } 重启Docker服务并检查新路径是否生效 sudo systemctl start docker sudo docker info | grep "Root Dir" 3.2 Windows和Mac (Docker Desktop) 对于Windows和Mac用户,通过Docker Desktop可以更方便地更改Docker数据盘的位置: - 打开Docker Desktop应用 - 进入“Preferences”或“Settings” - 在“Resources”选项卡中找到“Disk image location”,点击“Move”按钮选择新的存储路径 - 点击“Apply & Restart”以应用更改 4. 多路径映射与复杂场景 在某些情况下,我们可能需要映射多个路径,甚至自定义路径模式。例如,下面的命令展示了如何映射多个宿主机目录到容器的不同路径: bash docker run -d \ --name my-app \ -v /host/path/config:/app/config \ -v /host/path/data:/app/data \ your-image-name 这里,我们把宿主机上的 /host/path/config 和 /host/path/data 分别映射到了容器的 /app/config 和 /app/data。 总结起来,理解和掌握Docker映射路径及修改存储路径的技术,不仅可以帮助我们更好地管理和利用资源,还能有效保证容器数据的安全性和持久性。在这个过程中,我们可没闲着,一直在热火朝天地摸索、捣鼓和实战Docker技术。亲身体验到它的神奇魅力,也实实在在地深化了对虚拟化和容器化技术的理解,收获颇丰!
2023-09-10 14:02:30
541
繁华落尽_
转载文章
...接登录云端,通过云端管理也比我自己本地操作安全,一旦我本地误删除或误操作,服务器就会出问题。 所以仔细研究了下国内的主流面板厂家,结尾我会推荐一款我觉得比较好的linux面板,大家可以试试,感觉一下各厂家之间的差别。 1:宝塔面板 作为这两年比较流行的面板,我就不细说,很多站长基本第一次操作linux面板就是这几个,其中宝塔宣传力度大。 网址:www.bt.cn 缺点:必须服务器安装才能使用,利用服务器运行面板,耗费性能,价格不便宜。 说好的免费版,随便一个网站防火墙,一年就要几百元,其他就不说了。 2、WDCP 国内的老牌子linux面板,这几年后劲不足已经停止更新,很可惜。我最早用的就是这款面板,现在已经不再做更新维护。 网址:www.wdlinux.cn/wdcp 缺点:软件已经不再更新,我遇到最大的问题就是数据库方面不够完善,经常数据库出问题,逼迫我不得不长手动备份还原数据库,它和宝塔面板一样都采用单机安装,缺点不少。 价格方面基本专业版,个人用不起,小企业还得考虑合适不。 3、APPNODE 获过大奖的linux面板,时间比较长,很多人没听过这个牌子,其实正常,因为这个面板面向专业运维人员,面板布局和设计很多人看后晕乎乎的,我使用过一次,看着很专业,但是实在玩不了,不得不删除。 网址:www.appnode.com 价格虽然便宜一些,但对于个人还是高。提倡的也是集群管理概念,但是必须通过一个服务器去管理另外的,还是不够云端化。 4、旗鱼云梯 旗鱼云梯属于新的概念,不同于国内其他厂商linux面板,它把运维管理服务器,在云端完成,服务器只需要安装加密探针,不需要安装其他页面多余端口页面,耗费服务器资源的东西,通过云端运维服务器,属于最新的解决办法。 网址:www.marlinos.com 价格实惠,是国内最便宜的面板,购买主机令牌添加服务器管理,首月使用优惠劵后只需1元,一年只需要60元,国内其他linux面板厂商收费的插件工具,旗鱼云梯自带免费,可以无限制添加自己的服务器,没有数量限制,集群化做的非常好,推荐使用,对于SEO网站有大量的优化工具可以使用。 缺点:刚发布时间不长,急需不断升级添加新功能。 网站管理功能简单实用,比较适合小白站长,一目了然。 总结:国内的linux面板即将迎来变革,云端化管理服务器将是趋势,现在百度、阿里、腾讯都在推动云端管理服务器,但是很多工具都是企业级,针对个人和小企业云端管理服务器,旗鱼云梯走出了关键的一步,推荐站长和企业运维人员使用。 本篇文章为转载内容。原文链接:https://blog.csdn.net/leo12036okokok/article/details/88531285。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-10-25 12:23:09
517
转载
转载文章
...供服务 云计算是一种资源通过网络交互的一种模式,同时这个资源要具有弹性扩展、按需付费等特性. 四、什么是KVM KVM是内核级虚拟化技术 KVM全称Kernel-based Virtual Machine 最上面是我们的PC的形式; 在实际的服务器上一个物理机会有多个虚拟操作系统公用这些物理资源; 然后组合成群后,就是最下面的形式; 五、虚拟化分类 1.硬件虚拟化 硬件虚拟化代表:KVM 2.软件虚拟化 软件虚拟化代表:Qemu 硬件虚拟化是需要CPU支持,如果CPU不支持将无法创建KVM虚拟机 六、虚拟化技术 全虚拟化:全虚拟化代表有:KVM 半虚拟化:半虚拟化代表有Hypervisor 针对IO层面半虚拟化要比全虚拟化要好,因为磁盘IO多一层必定会慢。一般说IO就是网络IO和磁盘IO 因为这两个相对而言是比较慢的 ; 提示: Qemu和KVM的最大区别就是,如果一台物理机内存直接4G,创建一个vm虚拟机分配内存分4G,在创建一个还可以分4G。支持超配,但是Qemu不支持; 七、虚拟化使用场景分类 服务器虚拟化:解决资源利用率低的问题 桌面虚拟化:有一些弊端,图形显示层面会有问题 应用虚拟化:没接触过,公司比较穷买不起,基本上只有银行等国企才会用Xenapp ICA 八、虚拟化工具KVM介绍 KVM 全称:Kernel-based Virtual Machine(内核级虚拟化机器) 原本由以色列人创建,现在被红帽收购 ESXI 虚拟套件,现在是免费使用 VMware vSphere Hypervisor – 安装和配置 提示:一台服务器首选ESXI 九、KVM安装 调整虚拟机 虚拟化Intel使用的是Intel VT-X ; 虚拟化AMD使用的是AMD-V 创建虚拟机步骤 1.准备虚拟机硬盘 2.需要系统iso镜像3.需要安装一个vnc的客户端来连接 查看系统环境 [root@linux-node1 ~] cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) [root@linux-node1 ~] uname -r 3.10.0-327.36.2.el7.x86_64 检查是否有vmx或者svm [root@linux-node1 ~] grep -E '(vmx|svm)' /proc/cpuinfo 安装kvm用户态模块 [root@linux-node1 ~] yum list|grep kvm libvirt-daemon-kvm.x86_64 1.2.17-13.el7_2.5 updates pcp-pmda-kvm.x86_64 3.10.6-2.el7 base qemu-kvm.x86_64 10:1.5.3-105.el7_2.7 updates qemu-kvm-common.x86_64 10:1.5.3-105.el7_2.7 updates qemu-kvm-tools.x86_64 10:1.5.3-105.el7_2.7 updates [root@linux-node1 ~] yum install qemu-kvm qemu-kvm-tools libvirt -y libvirt 用来管理kvm kvm属于内核态,不需要安装。但是需要一些类似于依赖的 kvm属于内核态,不需要安装。但是需要安装一些类似于依赖的东西 启动 [root@linux-node1 ~] systemctl start libvirtd.service [root@linux-node1 ~] systemctl enable libvirtd.service 启动之后我们可以使用ifconfig进行查看,libvirtd已经为我们安装了一个桥接网卡 libvirtd为我们启动了一个dnsmasqp,这个主要是用来dhcp连接的,这个工具会给我们的虚拟机分配IP地址 [root@linux-node1 ~] ps -ef|grep dns nobody 5233 1 0 14:27 ? 00:00:00 /sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelper root 5234 5233 0 14:27 ? 00:00:00 /sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/libexec/libvirt_leaseshelperoot 5310 2783 0 14:31 pts/0 00:00:00 grep --color=auto dns 查看磁盘空间大小 最好是20G以上 [root@linux-node1 tmp] df -h 上传镜像 提示:如果使用rz上传镜像可能会出现错误,所以我们使用dd命令,复制系统的镜像。只需要挂载上光盘即可 [root@linux-node1 opt] dd if=/dev/cdrom of=/opt/CentOS-7.2.iso [root@linux-node1 opt] ll total 33792 -rw-r--r-- 1 root root 34603008 Jun 12 18:18 CentOS-7.2-x86_64-DVD-1511.iso 下载VNC 下载地址:http://www.tightvnc.com/download/2.8.5/tightvnc-2.8.5-gpl-setup-64bit.msi 安装完VNC如下图 创建磁盘 提示: qemu-img软件包是我们安装qemu-kvm-tools 依赖给安装上的 [root@linux-node1 opt] qemu-img create -f raw /opt/CentOS-7.2-x86_64.raw 10GFormatting '/opt/Centos-7-x86_64.raw', fmt=raw size=10737418240 [root@linux-node1 opt] [root@linux-node1 opt] ll /opt/Centos-7-x86_64.raw -rw-r--r-- 1 root root 10737418240 Oct 26 14:53 /opt/Centos-7-x86_64.raw-f 制定虚拟机格式,raw是裸磁盘/opt/Centos 存放路径 10G 代表镜像大小 安装启动虚拟机的包 [root@linux-node1 tmp] yum install -y virt-install 安装虚拟机 [root@linux-node1 tmp] virt-install --help 我们可以指定虚拟机的CPU、磁盘、内存等 [root@linux-node1 opt] virt-install --name CentOS-7.2-x86_64 --virt-type kvm --ram 1024 --cdrom=/opt/CentOS-7.2.iso --disk path=/opt/CentOS-7.2-x86_64.raw --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole --name = 给虚拟机起个名字 --ram = 内存大小 --cdrom = 镜像位置,就是我们上传iso镜像的位置,我放在/tmp下了 --disk path = 指定磁盘--network network= 网络配置 default 就会用我们刚刚ifconfig里面桥接的网卡--graphics vnc,listen= 监听vnc, 分区说明 提示:我们不分交换分区,因为公有云上的云主机都是没有交换分区的 十、Libvirt介绍 libvirt是一个开源免费管理工具,可以管理KVM、VMware等 他需要起一个后台的进程,它提供了API。像openstack就是通过libvirt API来管理虚拟机 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vcp4lgAZ-1596980494935)(libvirt.jpg)] 二、KVM虚拟机和VMware区别 虚拟机监控程序(KVM)是虚拟化平台的根基。从传统供应商到各种开源替代品,可供选择的虚拟机监控程序有很多。 VMware 是一款实现虚拟化的热门产品,可以提供 ESXi 虚拟机监控程序和 vSphere 虚拟化平台。 基于内核的虚拟机(KVM)则是 Linux® 系统上的一种开源解决方案。 VMware vSphere 与 VMware ESXi VMware 可以提供 ESXi 虚拟机监控程序和 vSphere 虚拟化平台。VMware ESXi 是一个能够直接安装到物理服务器上的裸机虚拟机监控程序,可以帮你整合硬件。你可以用 VMware 的虚拟化技术来创建和部署虚拟机(VM),从而现代化改造自己的基础架构,来交付和管理各种新旧应用。 选用 VMware vSphere 后,你需要使用 VMware 的控制堆栈来管理虚拟机,而且有多个许可证授权级别可供使用。 KVM 开源虚拟化技术 KVM 是一种开源虚拟化技术,能将 Linux 内核转变成可以实现虚拟化的虚拟机监控程序,而且可以替代专有的虚拟化技术(比如 VMware 提供的专有虚拟化技术)。 迁移到基于 KVM 的虚拟化平台,你就可以检查、修改和完善虚拟机监控程序背后的源代码。能够访问源代码,就如同掌握了开启无限可能的钥匙,能够让你虚拟化传统工作负载和应用,并为云原生和基于容器的工作负载奠定基础。由于 KVM 内置于 Linux 内核中,所以使用和部署起来非常方便。 KVM 虚拟机和 VMware vSphere 的主要区别 VMware 可以提供一个完善稳定的虚拟机监控程序,以及出色的性能和多样化的功能。但是,专有虚拟化会阻碍你获得开展云、容器和自动化投资所需的资源。解除供应商锁定,你就可以任享自由、灵活与丰富的资源,从而为未来的云原生和容器化环境打下基础。 生产就绪型的 KVM 具有支持物理和虚拟基础架构的功能,可以让你以更低的运营成本为企业工作负载提供支持。相比使用 VMware vSphere 等其他解决方案,选用基于 KVM 的虚拟化选项能够带来很多优势。 开源Linux KVM的优势: 更低的总拥有成本,从而省下运营预算,用来探索现代化创新技术。 不再受供应商捆绑。无需为不用的产品付费,也不会受到软件选择限制。 跨平台互操作性:KVM 可以在 Linux 和 Windows 平台上运行,所以你可以充分利用现有的基础架构投资。 出色简便性:可以通过单个虚拟化平台,在数百个其他硬件或软件上创建、启动、停止、暂停、迁移和模板化数百个虚拟机。 卓越性能:应用在 KVM 上的运行速度比其他虚拟机监控程序都快。 开源优势:不但能访问源代码,还能灵活地与各种产品集成。 享受 Linux 操作系统的现有功能: 安全防护功能 内存管理 进程调度器 设备驱动程序 网络堆栈 红帽 KVM 企业级虚拟化的优势 选择红帽® 虚拟化,就等于选择了 KVM。红帽虚拟化是一款适用于虚拟化服务器和技术工作站的完整基础架构解决方案。红帽虚拟化基于强大的红帽企业 Linux® 平台和 KVM 构建而成,能让你轻松、敏捷、安全地使用资源密集型虚拟化工作负载。红帽虚拟化可凭借更加优越的性能、具有竞争力的价格和值得信赖的红帽环境,帮助企业优化 IT 基础架构。 红帽的虚拟化产品快速、经济、高效,能够帮助你从容应对当前的挑战,并为未来的技术发展奠定基础。VMware 等供应商提供的纵向扩展虚拟化解决方案不但成本高昂,而且无法帮助企业完成所需的转型,因而难以支持在混合云中运行云原生应用。要转而部署混合云环境,第一步要做的就是摆脱专有虚拟化。 红帽虚拟化包含 sVirt 和安全增强型 Linux(SELinux),是红帽企业 Linux 专为检测和预防当前 IT 环境中的复杂安全隐患而开发的技术。 业完成所需的转型,因而难以支持在混合云中运行云原生应用。要转而部署混合云环境,第一步要做的就是摆脱专有虚拟化。 红帽虚拟化包含 sVirt 和安全增强型 Linux(SELinux),是红帽企业 Linux 专为检测和预防当前 IT 环境中的复杂安全隐患而开发的技术。 借助红帽虚拟化,你可以尽享开源虚拟机监控程序的所有优势,还能获得企业级技术支持、更新和补丁,使你的环境保持最新状态,持续安心运行。开源和 RESTful API,以及 Microsoft Windows 的认证,可帮你实现跨平台的互操作性。提供的 API 和软件开发工具包(SDK)则有助于将我们的解决方案扩展至你现有和首选管理工具,并提供相关支持。 本篇文章为转载内容。原文链接:https://blog.csdn.net/qq_34799070/article/details/107900861。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-04-06 08:58:59
121
转载
转载文章
...删除相应内容。 随着容器技术越来越火热,各种大会上标杆企业分享容器化收益,带动其他还未实施容器的企业也在考虑实施容器化。不过真要在自己企业实践容器的时候,会认识到容器化不是一个简单工程,甚至会有一种茫然不知从何入手的感觉。 本文总结了通用的企业容器化实施线路图,主要针对企业有存量系统改造为容器,或者部分新开发的系统使用容器技术的场景。不包含企业系统从0开始全新构建的场景,这种场景相对简单。 容器实践路线图 企业着手实践容器的路线,建议从3个维度评估,然后根据评估结果落地实施。3个评估维度为:商业目标,技术选型,团队配合。 商业目标是重中之重,需要回答为何要容器化,这个也是牵引团队在容器实践路上不断前行的动力,是遇到问题是解决问题的方向指引,最重要的是让决策者认同商业目标,并能了解到支持商业目标的技术原理,上下目标对齐才好办事。 商业目标确定之后,需要确定容器相关的技术选型,容器是一种轻量化的虚拟化技术,与传统虚拟机比较有优点也有缺点,要找出这些差异点识别出对基础设施与应用的影响,提前识别风险并采取应对措施。 技术选型明确之后,在公司或部门内部推广与评审,让开发人员、架构师、测试人员、运维人员相关人员与团队理解与认同方案,听取他们意见,他们是直接使用容器的客户,不要让他们有抱怨。 最后是落地策略,一般是选取一些辅助业务先试点,在实践过程中不断总结经验。 商业目标 容器技术是以应用为中心的轻量级虚拟化技术,而传统的Xen与KVM是以资源为中心的虚拟化技术,这是两者的本质差异。以应用为中心是容器技术演进的指导原则,正是在这个原则指导下,容器技术相对于传统虚拟化有几个特点:打包既部署、镜像分层、应用资源调度。 打包即部署:打包即部署是指在容器镜像制作过程包含了传统软件包部署的过程(安装依赖的操作系统库或工具、创建用户、创建运行目录、解压、设置文件权限等等),这么做的好处是把应用及其依赖封装到了一个相对封闭的环境,减少了应用对外部环境的依赖,增强了应用在各种不同环境下的行为一致性,同时也减少了应用部署时间。 镜像分层:容器镜像包是分层结构,同一个主机上的镜像层是可以在多个容器之间共享的,这个机制可以极大减少镜像更新时候拉取镜像包的时间,通常应用程序更新升级都只是更新业务层(如Java程序的jar包),而镜像中的操作系统Lib层、运行时(如Jre)层等文件不会频繁更新。因此新版本镜像实质有变化的只有很小的一部分,在更新升级时候也只会从镜像仓库拉取很小的文件,所以速度很快。 应用资源调度:资源(计算/存储/网络)都是以应用为中心的,中心体现在资源分配是按照应用粒度分配资源、资源随应用迁移。 基于上述容器技术特点,可以推导出容器技术的3大使用场景:CI/CD、提升资源利用率、弹性伸缩。这3个使用场景自然推导出通用的商业层面收益:CI/CD提升研发效率、提升资源利用率降低成本、按需弹性伸缩在体验与成本之间达成平衡。 当然,除了商业目标之外,可能还有其他一些考虑因素,如基于容器技术实现计算任务调度平台、保持团队技术先进性等。 CI/CD提升研发效率 为什么容器技术适合CI/CD CI/CD是DevOps的关键组成部分,DevOps是一套软件工程的流程,用于持续提升软件开发效率与软件交付质量。DevOps流程来源于制造业的精益生产理念,在这个领域的领头羊是丰田公司,《丰田套路》这本书总结丰田公司如何通过PDCA(Plan-Do-Check-Act)方法实施持续改进。PDCA通常也称为PDCA循环,PDCA实施过程简要描述为:确定目标状态、分析当前状态、找出与目标状态的差距、制定实施计划、实施并总结、开始下一个PDCA过程。 DevOps基本也是这么一个PDCA流程循环,很容易认知到PDCA过程中效率是关键,同一时间段内,实施更多数量的PDCA过程,收益越高。在软件开发领域的DevOps流程中,各种等待(等待编译、等待打包、等待部署等)、各种中断(部署失败、机器故障)是影响DevOps流程效率的重要因素。 容器技术出来之后,将容器技术应用到DevOps场景下,可以从技术手段消除DevOps流程中的部分等待与中断,从而大幅度提升DevOps流程中CI/CD的效率。 容器的OCI标准定义了容器镜像规范,容器镜像包与传统的压缩包(zip/tgz等)相比有两个关键区别点:1)分层存储;2)打包即部署。 分层存储可以极大减少镜像更新时候拉取镜像包的时间,通常应用程序更新升级都只是更新业务层(如Java程序的jar包),而镜像中的操作系统Lib层、运行时(如Jre)层等文件不会频繁更新。因此新版本镜像实质有变化的只有很小的一部分,在更新升级时候也只会从镜像仓库拉取很小的文件,所以速度很快。 打包即部署是指在容器镜像制作过程包含了传统软件包部署的过程(安装依赖的操作系统库或工具、创建用户、创建运行目录、解压、设置文件权限等等),这么做的好处是把应用及其依赖封装到了一个相对封闭的环境,减少了应用对外部环境的依赖,增强了应用在各种不同环境下的行为一致性,同时也减少了应用部署时间。 基于容器镜像的这些优势,容器镜像用到CI/CD场景下,可以减少CI/CD过程中的等待时间,减少因环境差异而导致的部署中断,从而提升CI/CD的效率,提升整体研发效率。 CI/CD的关键诉求与挑战 快 开发人员本地开发调试完成后,提交代码,执行构建与部署,等待部署完成后验证功能。这个等待的过程尽可能短,否则开发人员工作容易被打断,造成后果就是效率降低。如果提交代码后几秒钟就能够完成部署,那么开发人员几乎不用等待,工作也不会被打断;如果需要好几分钟或十几分钟,那么可以想象,这十几分钟就是浪费了,这时候很容易做点别的事情,那么思路又被打断了。 所以构建CI/CD环境时候,快是第一个需要考虑的因素。要达到快,除了有足够的机器资源免除排队等待,引入并行编译技术也是常用做法,如Maven3支持多核并行构建。 自定义流程 不同行业存在不同的行业规范、监管要求,各个企业有一套内部质量规范,这些要求都对软件交付流程有定制需求,如要求使用商用的代码扫描工具做安全扫描,如构建结果与企业内部通信系统对接发送消息。 在团队协同方面,不同的公司,对DevOps流程在不同团队之间分工有差异,典型的有开发者负责代码编写构建出构建物(如jar包),而部署模板、配置由运维人员负责;有的企业开发人员负责构建并部署到测试环境;有的企业开发人员直接可以部署到生产环境。这些不同的场景,对CI/CD的流程、权限管控都有定制需求。 提升资源利用率 OCI标准包含容器镜像标准与容器运行时标准两部分,容器运行时标准聚焦在定义如何将镜像包从镜像仓库拉取到本地并更新、如何隔离运行时资源这些方面。得益于分层存储与打包即部署的特性,容器镜像从到镜像仓库拉取到本地运行速度非常快(通常小于30秒,依赖镜像本身大小等因素),基于此可以实现按需分配容器运行时资源(cpu与内存),并限定单个容器资源用量;然后根据容器进程资源使用率设定弹性伸缩规则,实现自动的弹性伸缩。 这种方式相对于传统的按峰值配置资源方式,可以提升资源利用率。 按需弹性伸缩在体验与成本之间达成平衡 联动弹性伸缩 应用运行到容器,按需分配资源之后,理想情况下,Kubernetes的池子里没有空闲的资源。这时候扩容应用实例数,新扩容的实例会因资源不足调度失败。这时候需要资源池能自动扩容,加入新的虚拟机,调度新扩容的应用。 由于应用对资源的配比与Flavor有要求,因此新加入的虚拟机,应当是与应用所需要的资源配比与Flavor一致的。缩容也是类似。 弹性伸缩还有一个诉求点是“平滑”,对业务做到不感知,也称为“优雅”扩容/缩容。 请求风暴 上面提到的弹性伸缩一般是有计划或缓慢增压的场景,存在另外一种无法预期的请求风暴场景,这种场景的特征是无法预测、突然请求量增大数倍或数十倍、持续时间短。典型的例子如行情交易系统,当行情突变的时候,用户访问量徒增,持续几十分钟或一个小时。 这种场景的弹性诉求,要求短时间内能将资源池扩大数倍,关键是速度要快(秒级),否则会来不及扩容,系统已经被冲垮(如果无限流的话)。 目前基于 Virtual Kubelet 与云厂家的 Serverless 容器,理论上可以提供应对请求风暴的方案。不过在具体实施时候,需要考虑传统托管式Kubernetes容器管理平台与Serverless容器之间互通的问题,需要基于具体厂家提供的能力来评估。 基于容器技术实现计算调度平台 计算(大数据/AI训练等)场景的特征是短时间内需要大量算力,算完即释放。容器的环境一致性以及调度便利性适合这种场景。 技术选型 容器技术是属于基础设施范围,但是与传统虚拟化技术(Xen/KVM)比较,容器技术是应用虚拟化,不是纯粹的资源虚拟化,与传统虚拟化存在差异。在容器技术选型时候,需要结合当前团队在应用管理与资源管理的现状,对照容器技术与虚拟化技术的差异,选择最合适的容器技术栈。 什么是容器技术 (1)容器是一种轻量化的应用虚拟化技术。 在讨论具体的容器技术栈的时候,先介绍目前几种常用的应用虚拟化技术,当前有3种主流的应用虚拟化技术: LXC,MicroVM,UniKernel(LibOS)。 LXC: Linux Container,通过 Linux的 namespace/cgroups/chroot 等技术隔离进程资源,目前应用最广的docker就是基于LXC实现应用虚拟化的。 MicroVM: MicroVM 介于 传统的VM 与 LXC之间,隔离性比LXC好,但是比传统的VM要轻量,轻量体现在体积小(几M到几十M)、启动快(小于1s)。 AWS Firecracker 就是一种MicroVM的实现,用于AWS的Serverless计算领域,Serverless要求启动快,租户之间隔离性好。 UniKernel: 是一种专用的(特定编程语言技术栈专用)、单地址空间、使用 library OS 构建出来的镜像。UniKernel要解决的问题是减少应用软件的技术栈层次,现代软件层次太多导致越来越臃肿:硬件+HostOS+虚拟化模拟+GuestOS+APP。UniKernel目标是:硬件+HostOS+虚拟化模拟+APP-with-libos。 三种技术对比表: 开销 体积 启动速度 隔离/安全 生态 LXC 低(几乎为0) 小 快(等同进程启动) 差(内核共享) 好 MicroVM 高 大 慢(小于1s) 好 中(Kata项目) UniKernel 中 中 中 好 差 根据上述对比来看,LXC是应用虚拟化首选的技术,如果LXC无法满足隔离性要,则可以考虑MicroVM这种技术。当前社区已经在着手融合LXC与MicroVM这两种技术,从应用打包/发布调度/运行层面统一规范,Kubernetes集成Kata支持混合应用调度特性可以了解一下。 UniKernel 在应用生态方面相对比较落后,目前在追赶中,目前通过 linuxkit 工具可以在UniKernel应用镜像中使用docker镜像。这种方式笔者还未验证过,另外docker镜像运行起来之后,如何监控目前还未知。 从上述三种应用虚拟化技术对比,可以得出结论: (2)容器技术与传统虚拟化技术不断融合中。 再从规范视角来看容器技术,可以将容器技术定义为: (3)容器=OCI+CRI+辅助工具。 OCI规范包含两部分,镜像规范与运行时规范。简要的说,要实现一个OCI的规范,需要能够下载镜像并解压镜像到文件系统上组成成一个文件目录结构,运行时工具能够理解这个目录结构并基于此目录结构管理(创建/启动/停止/删除)进程。 容器(container)的技术构成就是实现OCI规范的技术集合。 对于不同的操作系统(Linux/Windows),OCI规范的实现技术不同,当前docker的实现,支持Windows与Linux与MacOS操作系统。当前使用最广的是Linux系统,OCI的实现,在Linux上组成容器的主要技术: chroot: 通过分层文件系统堆叠出容器进程的rootfs,然后通过chroot设置容器进程的根文件系统为堆叠出的rootfs。 cgroups: 通过cgroups技术隔离容器进程的cpu/内存资源。 namesapce: 通过pid, uts, mount, network, user namesapce 分别隔离容器进程的进程ID,时间,文件系统挂载,网络,用户资源。 网络虚拟化: 容器进程被放置到独立的网络命名空间,通过Linux网络虚拟化veth, macvlan, bridge等技术连接主机网络与容器虚拟网络。 存储驱动: 本地文件系统,使用容器镜像分层文件堆叠的各种实现驱动,当前推荐的是overlay2。 广义的容器还包含容器编排,即当下很火热的Kubernetes。Kubernetes为了把控容器调度的生态,发布了CRI规范,通过CRI规范解耦Kubelet与容器,只要实现了CRI接口,都可以与Kubelet交互,从而被Kubernetes调度。OCI规范的容器实现与CRI标准接口对接的实现是CRI-O。 辅助工具用户构建镜像,验证镜像签名,管理存储卷等。 容器定义 容器是一种轻量化的应用虚拟化技术。 容器=OCI+CRI+辅助工具。 容器技术与传统虚拟化技术不断融合中。 什么是容器编排与调度 选择了应用虚拟化技术之后,还需要应用调度编排,当前Kubernetes是容器领域内编排的事实标准,不管使用何种应用虚拟化技术,都已经纳入到了Kubernetes治理框架中。 Kubernetes 通过 CRI 接口规范,将应用编排与应用虚拟化实现解耦:不管使用何种应用虚拟化技术(LXC, MicroVM, LibOS),都能够通过Kubernetes统一编排。 当前使用最多的是docker,其次是cri-o。docker与crio结合kata-runtime都能够支持多种应用虚拟化技术混合编排的场景,如LXC与MicroVM混合编排。 docker(now): Moby 公司贡献的 docker 相关部件,当前主流使用的模式。 docker(daemon) 提供对外访问的API与CLI(docker client) containerd 提供与 kubelet 对接的 CRI 接口实现 shim负责将Pod桥接到Host namespace。 cri-o: 由 RedHat/Intel/SUSE/IBM/Hyper 公司贡献的实现了CRI接口的符合OCI规范的运行时,当前包括 runc 与 kata-runtime ,也就是说使用 cir-o 可以同时运行LXC容器与MicroVM容器,具体在Kata介绍中有详细说明。 CRI-O: 实现了CRI接口的进程,与 kubelet 交互 crictl: 类似 docker 的命令行工具 conmon: Pod监控进程 other cri runtimes: 其他的一些cri实现,目前没有大规模应用到生产环境。 容器与传统虚拟化差异 容器(container)的技术构成 前面主要讲到的是容器与编排,包括CRI接口的各种实现,我们把容器领域的规范归纳为南向与北向两部分,CRI属于北向接口规范,对接编排系统,OCI就属于南向接口规范,实现应用虚拟化。 简单来讲,可以这么定义容器: 容器(container) ~= 应用打包(build) + 应用分发(ship) + 应用运行/资源隔离(run)。 build-ship-run 的内容都被定义到了OCI规范中,因此也可以这么定义容器: 容器(container) == OCI规范 OCI规范包含两部分,镜像规范与运行时规范。简要的说,要实现一个OCI的规范,需要能够下载镜像并解压镜像到文件系统上组成成一个文件目录结构,运行时工具能够理解这个目录结构并基于此目录结构管理(创建/启动/停止/删除)进程。 容器(container)的技术构成就是实现OCI规范的技术集合。 对于不同的操作系统(Linux/Windows),OCI规范的实现技术不同,当前docker的实现,支持Windows与Linux与MacOS操作系统。当前使用最广的是Linux系统,OCI的实现,在Linux上组成容器的主要技术: chroot: 通过分层文件系统堆叠出容器进程的rootfs,然后通过chroot设置容器进程的根文件系统为堆叠出的rootfs。 cgroups: 通过cgroups技术隔离容器进程的cpu/内存资源。 namesapce: 通过pid, uts, mount, network, user namesapce 分别隔离容器进程的进程ID,时间,文件系统挂载,网络,用户资源。 网络虚拟化: 容器进程被放置到独立的网络命名空间,通过Linux网络虚拟化veth, macvlan, bridge等技术连接主机网络与容器虚拟网络。 存储驱动: 本地文件系统,使用容器镜像分层文件堆叠的各种实现驱动,当前推荐的是overlay2。 广义的容器还包含容器编排,即当下很火热的Kubernetes。Kubernetes为了把控容器调度的生态,发布了CRI规范,通过CRI规范解耦Kubelet与容器,只要实现了CRI接口,都可以与Kubelet交互,从而被Kubernetes调度。OCI规范的容器实现与CRI标准接口对接的实现是CRI-O。 容器与虚拟机差异对比 容器与虚拟机的差异可以总结为2点:应用打包与分发的差异,应用资源隔离的差异。当然,导致这两点差异的根基是容器是以应用为中心来设计的,而虚拟化是以资源为中心来设计的,本文对比容器与虚拟机的差异,更多的是站在应用视角来对比。 从3个方面对比差异:资源隔离,应用打包与分发,延伸的日志/监控/DFX差异。 1.资源隔离 隔离机制差异 容器 虚拟化 mem/cpu cgroup, 使用时候设定 require 与 limit 值 QEMU, KVM network Linux网络虚拟化技术(veth,tap,bridge,macvlan,ipvlan), 跨虚拟机或出公网访问:SNAT/DNAT, service转发:iptables/ipvs, SR-IOV Linux网络虚拟化技术(veth,tap,bridge,macvlan,ipvlan), QEMU, SR-IOV storage 本地存储: 容器存储驱动 本地存储:virtio-blk 差异引入问题与实践建议 应用程序未适配 cgroup 的内存隔离导致问题: 典型的是 JVM 虚拟机,在 JVM 启动时候会根据系统内存自动设置 MaxHeapSize 值,通常是系统内存的1/4,但是 JVM 并未考虑 cgroup 场景,读系统内存时候任然读取主机的内存来设置 MaxHeapSize,这样会导致内存超过 cgroup 限制从而导致进程被 kill 。问题详细阐述与解决建议参考Java inside docker: What you must know to not FAIL。 多次网络虚拟化问题: 如果在虚拟机内使用容器,会多一层网络虚拟化,并加入了SNAT/DNAT技术, iptables/ipvs技术,对网络吞吐量与时延都有影响(具体依赖容器网络方案),对问题定位复杂度变高,同时还需要注意网络内核参数调优。 典型的网络调优参数有:转发表大小 /proc/sys/net/netfilter/nf_conntrack_max 使用iptables 作为service转发实现的时候,在转发规则较多的时候,iptables更新由于需要全量更新导致非常耗时,建议使用ipvs。详细参考[华为云在 K8S 大规模场景下的 Service 性能优化实践](https://zhuanlan.zhihu.com/p/37230013)。 容器IP地址频繁变化不固定,周边系统需要协调适配,包括基于IP地址的白名单或防火墙控制策略需要调整,CMDB记录的应用IP地址需要适配动态IP或者使用服务名替代IP地址。 存储驱动带来的性能损耗: 容器本地文件系统是通过联合文件系统方式堆叠出来的,当前主推与默认提供的是overlay2驱动,这种模式应用写本地文件系统文件或修改已有文件,使用Copy-On-Write方式,也就是会先拷贝源文件到可写层然后修改,如果这种操作非常频繁,建议使用 volume 方式。 2.应用打包与分发 应用打包/分发/调度差异 容器 虚拟化 打包 打包既部署 一般不会把应用程序与虚拟机打包在一起,通过部署系统部署应用 分发 使用镜像仓库存储与分发 使用文件存储 调度运行 使用K8S亲和/反亲和调度策略 使用部署系统的调度能力 差异引入问题与实践建议 部署提前到构建阶段,应用需要支持动态配置与静态程序分离;如果在传统部署脚本中依赖外部动态配置,这部分需要做一些调整。 打包格式发生变化,制作容器镜像需要注意安全/效率因素,可参考Dockerfile最佳实践 容器镜像存储与分发是按layer来组织的,镜像在传输过程中放篡改的方式是传统软件包有差异。 3.监控/日志/DFX 差异 容器 虚拟化 监控 cpu/mem的资源上限是cgroup定义的;containerd/shim/docker-daemon等进程的监控 传统进程监控 日志采集 stdout/stderr日志采集方式变化;日志持久化需要挂载到volume;进程会被随机调度到其他节点导致日志需要实时采集否则分散很难定位 传统日志采集 问题定位 进程down之后自动拉起会导致问题定位现场丢失;无法停止进程来定位问题因为停止即删除实例 传统问题定位手段 差异引入问题实践与建议 使用成熟的监控工具,运行在docker中的应用使用cadvisor+prometheus实现采集与警报,cadvisor中预置了常用的监控指标项 对于docker管理进程(containerd/shim/docker-daemon)也需要一并监控 使用成熟的日志采集工具,如果已有日志采集Agent,则可以考虑将日志文件挂载到volume后由Agent采集;需要注意的是stderr/stdout输出也要一并采集 如果希望容器内应用进程退出后保留现场定位问题,则可以将Pod的restartPolicy设置为never,进程退出后进程文件都还保留着(/var/lib/docker/containers)。但是这么做的话需要进程没有及时恢复,会影响业务,需要自己实现进程重拉起。 团队配合 与周边的开发团队、架构团队、测试团队、运维团队评审并交流方案,与周边团队达成一致。 落地策略与注意事项 逐步演进过程中网络互通 根据当前已经存在的基础实施情况,选择容器化落地策略。通常使用逐步演进的方式,由于容器化引入了独立的网络namespace导致容器与传统虚拟机进程网络隔离,逐步演进过程中如何打通隔离的网络是最大的挑战。 分两种场景讨论: 不同服务集群之间使用VIP模式互通: 这种模式相对简单,基于VIP做灰度发布。 不同服务集群之间使用微服务点对点模式互通(SpringCloud/ServiceComb/Dubbo都是这一类): 这种模式相对复杂,在逐步容器化过程中,要求容器网络与传统虚拟机网络能够互通(难点是在虚拟机进程内能够直接访问到容器网络的IP地址),当前解决这个问题有几种方法。 自建Kubernetes场景,可使用开源的kube-router,kube-router 使用BGP协议实现容器网络与传统虚拟机网络之间互通,要求网络交换机支持BGP协议。 使用云厂商托管Kubernetes场景,选择云厂商提供的VPC-Router互通的网络插件,如阿里云的Terway网络插件, 华为云的Underlay网络模式。 选择物理机还是虚拟机 选择物理机运行容器还是虚拟机运行容器,需要结合基础设施与业务隔离性要求综合考虑。分两种场景:自建IDC、租用公有云。 自建IDC: 理想情况是使用物理机组成一个大集群,根据业务诉求,对资源保障与安全性要求高的应用,使用MicorVM方式隔离;普通应用使用LXC方式隔离。所有物理机在一个大集群内,方便削峰填谷提升资源利用率。 租用公有云:当前公有云厂家提供的裸金属服务价格较贵且只能包周期,使用裸金属性价比并不高,使用虚拟机更合适。 集群规模与划分 选择集群时候,是多个应用共用一个大集群,还是按应用分组分成多个小集群呢?我们把节点规模数量>=1000的定义为大集群,节点数<1000的定义为小集群。 大集群的优点是资源池共享容器,方便资源调度(削峰填谷);缺点是随着节点数量与负载数量的增多,会引入管理性能问题(需要量化): DNS 解析表变大,增加/删除 Service 或 增加/删除 Endpoint 导致DNS表刷新慢 K8S Service 转发表变大,导致工作负载增加/删除刷新iptables/ipvs记录变慢 etcd 存储空间变大,如果加上ConfigMap,可能导致 etcd 访问时延增加 小集群的优点是不会有管理性能问题,缺点是会导致资源碎片化,不容易共享。共享分两种情况: 应用之间削峰填谷:目前无法实现 计算任务与应用之间削峰填谷:由于计算任务是短时任务,可以通过上层的任务调度软件,在多个集群之间分发计算任务,从而达到集群之间资源共享的目的。 选择集群规模的时候,可以参考上述分析,结合实际情况选择适合的集群划分。 Helm? Helm是为了解决K8S管理对象散碎的问题,在K8S中并没有"应用"的概念,只有一个个散的对象(Deployment, ConfigMap, Service, etc),而一个"应用"是多个对象组合起来的,且这些对象之间还可能存在一定的版本配套关系。 Helm 通过将K8S多个对象打包为一个包并标注版本号形成一个"应用",通过 Helm 管理进程部署/升级这个"应用"。这种方式解决了一些问题(应用分发更方便)同时也引入了一些问题(引入Helm增加应用发布/管理复杂度、在K8S修改了对象后如何同步到Helm)。对于是否需要使用Helm,建议如下: 在自运维模式下不使用Helm: 自运维模式下,很多场景是开发团队交付一个运行包,运维团队负责部署与配置下发,内部通过兼容性或软件包与配置版本配套清单、管理软件包与配置的配套关系。 在交付软件包模式下使用Helm: 交付软件包模式下,Helm 这种把散碎组件组装为一个应用的模式比较适合,使用Helm实现软件包分发/部署/升级场比较简单。 Reference DOCKER vs LXC vs VIRTUAL MACHINES Cgroup与LXC简介 Introducing Container Runtime Interface (CRI) in Kubernetes frakti rkt appc-spec OCI 和 runc:容器标准化和 docker Linux 容器技术史话:从 chroot 到未来 Linux Namespace和Cgroup Java inside docker: What you must know to not FAIL QEMU,KVM及QEMU-KVM介绍 kvm libvirt qemu实践系列(一)-kvm介绍 KVM 介绍(4):I/O 设备直接分配和 SR-IOV [KVM PCI/PCIe Pass-Through SR-IOV] prometheus-book 到底什么是Unikernel? The Rise and Fall of the Operating System The Design and Implementation of the Anykernel and Rump Kernels UniKernel Unikernel:从不入门到入门 OSv 京东如何打造K8s全球最大集群支撑万亿电商交易 Cloud Native App Hub 更多云最佳实践 https://best.practices.cloud 本篇文章为转载内容。原文链接:https://blog.csdn.net/sinat_33155975/article/details/118013855。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-09-17 15:03:28
225
转载
Docker
...er是一种开源的应用容器引擎,它通过将应用程序及其依赖项打包在可移植的容器中,实现了软件开发、打包和部署的一致性环境。在本文中,Docker作为一种容器化平台,使得用户能够在单一主机上运行多个相互隔离的应用程序,并能够方便地管理和优化服务器资源。 容器 , 在Docker环境下,容器是一种轻量级的虚拟化技术实现,每个容器包含一个应用程序及其所有依赖(如库、配置文件等),并在主机操作系统上以隔离的方式运行。容器与宿主机共享内核,但拥有独立的用户空间,从而实现高效、快速且资源占用少的应用部署和运行环境。 Docker run命令 , docker run是Docker CLI(命令行界面)中的一个核心命令,用于创建并启动一个新的Docker容器。当执行该命令时,用户可以指定容器使用的镜像、容器运行时的配置选项以及命名容器等信息。例如,在文中提到的docker run --name my-container docker-image命令,就是用来基于特定的docker-image创建并启动一个名为my-container的新容器。
2023-07-24 13:07:20
782
软件工程师
Docker
在Docker容器中管理文件和目录是一项基础且重要的操作。随着容器化技术的日益成熟,不仅限于将文件夹放入容器,更涉及到数据持久化、卷管理和多容器间的数据共享等复杂场景。例如,Docker提供了-v或--volume选项用于创建数据卷,实现宿主机与容器之间的数据共享和持久化存储,即使容器被删除,数据依然得以保留。 近期,Docker推出了Compose V2版本,进一步简化了多容器应用程序的部署和管理,其中就包括对多个服务间共享文件夹的优化配置。通过在docker-compose.yml文件中定义volumes关键字,可以轻松指定不同服务间的文件夹挂载关系,这对于微服务架构中的日志共享、配置同步等需求提供了极大便利。 此外,Kubernetes作为容器编排领域的领导者,其PersistentVolume(PV)和PersistentVolumeClaim(PVC)机制为在Pod间共享文件夹提供了更为强大的解决方案。用户可以根据实际需求声明存储资源,实现跨节点甚至跨集群的数据共享。 深入理解并掌握这些高级功能,不仅可以确保在开发、测试到生产环境迁移过程中数据的一致性和完整性,更能提升容器化应用的可维护性和扩展性。对于持续关注云原生技术发展的开发者来说,不断跟进学习Docker及Kubernetes在数据管理方面的最新进展是十分必要的。
2023-11-22 11:10:48
520
键盘勇士
Docker
...er是一种开源的应用容器引擎,通过提供轻量级的操作系统级别虚拟化技术,使开发者可以打包应用及其依赖包到一个可移植的容器中。在文章语境下,Docker主要被用来快速部署和管理应用程序,它将应用程序及其所有依赖环境封装在一个隔离的容器内,实现了一致、高效的运行环境。 容器化技术 , 容器化技术是一种操作系统级别的虚拟化技术,它允许在单一主机操作系统上运行多个独立、隔离的容器实例,每个容器都包含其自身的应用程序和依赖库,且能共享主机操作系统的内核。在本文中,Docker是实现容器化的主要工具,通过容器化技术,开发者能够轻松地创建、部署和管理应用服务,从而提升开发效率和资源利用率。 Kubernetes集成 , Kubernetes(简称k8s)是一个开源的容器编排系统,用于自动化容器化应用程序的部署、扩展和管理。在Docker 19.03版本的上下文中,对Kubernetes集成的优化支持意味着用户可以更方便地在Kubernetes集群环境中使用Docker容器,包括构建、分发和调度Docker容器,以实现云原生应用的高效管理和运维。
2023-05-01 12:17:30
285
算法侠
Docker
...解Docker的网络共享特性后,进一步探讨其在网络架构和云原生应用部署中的实际运用与最新进展。近年来,随着Kubernetes等容器编排系统的广泛应用,Docker容器的网络模型也在持续演进和完善。例如,在Kubernetes集群中,可以通过创建HostNetwork类型的Pod来实现类似Docker的--net=host效果,使得Pod内的应用可以直接使用宿主机的网络栈。 另外,考虑到安全性与隔离性,现代云环境更倾向于采用更精细的网络策略,如CNI(Container Network Interface)插件提供的多种网络模式,包括overlay网络、macvlan等,这些方案不仅支持容器间通信,也能够实现容器到特定主机服务的访问,同时保证了资源的有效隔离和管理。 近期,Docker和eBPF技术的结合也被广泛关注。eBPF(Extended Berkeley Packet Filter)作为一种内核级可编程技术,为容器网络提供了更细粒度的控制能力,通过eBPF可以实现在不使用--net=host的情况下,对容器的网络行为进行深度定制和优化,这一创新实践将对未来的云原生应用网络架构产生深远影响。 总的来说,Docker的网络共享功能只是其强大特性的冰山一角,随着云计算和容器技术的发展,更多先进的网络解决方案正在不断涌现,为构建高效、安全且灵活的应用部署环境提供了无限可能。对于开发者和运维人员来说,紧跟这些前沿趋势和技术动态,无疑有助于提升业务系统的技术水平和竞争力。
2023-03-28 21:41:55
589
逻辑鬼才
Docker
...er是一种开源的应用容器引擎,它使用操作系统级的虚拟化技术为应用程序创建轻量级、可移植且隔离的运行环境。在文中,Docker通过将应用程序及其所有依赖项打包成一个容器镜像,使得开发者可以便捷地构建、部署和运行应用,同时确保了跨开发、测试和生产环境的一致性。 容器 , 在Docker中,容器是一个独立运行的软件单元,它可以包含一个或多个进程。容器基于Linux内核的命名空间、控制组以及其他一些Linux特性实现资源隔离和限制,从而形成一个与主机和其他容器相隔离的运行时环境。相较于传统的虚拟机,容器更为轻量,启动更快,并能更高效地共享主机的操作系统内核。 端口映射 , 端口映射是网络连接管理中的一个重要概念,在Docker环境下尤为关键。当需要从宿主机或其他外部网络访问容器内部运行的服务时,可以通过端口映射将容器内的服务端口与宿主机的某个端口建立关联。例如,文中提到的docker run -p 8080:80 nginx命令就是将Nginx容器的80端口映射到宿主机的8080端口,这样外部客户端就可以通过访问宿主机的8080端口来访问到Nginx服务器提供的服务。
2023-06-15 13:54:04
280
编程狂人
Docker
容器化平台 , 容器化平台是一种虚拟化技术,通过将应用程序及其所有依赖项封装在独立、轻量级的可执行包(即容器)中,实现应用的隔离和便携性。在Docker这样的容器化平台上,开发者可以构建、运行和管理这些容器,确保应用程序在不同环境之间的一致性和高效部署。相较于传统的虚拟机,容器共享主机内核,因此启动更快、资源占用更少。 云原生应用程序 , 云原生应用程序是指专门为云计算环境设计、开发和优化的应用程序。这类应用程序充分利用了云服务的优势,如弹性伸缩、动态调度、微服务架构等特性。在Docker中,云原生应用程序以容器为基本单位进行构建、打包、部署和运行,具有高可用性、可移植性和自修复能力。 持续集成/持续部署(CI/CD) , 持续集成/持续部署是现代软件开发流程中的重要实践。在Docker环境下,CI/CD允许开发团队频繁地将代码更改合并到主分支,并通过自动化测试和构建过程快速验证其正确性。一旦测试通过,经过Docker打包的应用程序镜像就可以被自动部署到生产环境,实现从代码提交到上线的无缝衔接,大大提升了软件交付的速度和质量。
2024-02-25 16:17:40
343
软件工程师
Docker
...er是一种开源的应用容器引擎技术,它通过将应用程序及其依赖环境打包成一个可移植的容器镜像,实现了应用的标准化部署和运行。在本文中,Docker被用来构建和运行包含NPM环境的容器,使得开发者能够在一致、隔离且轻量级的环境中进行Node.js项目的开发、测试和部署。 NPM环境 , NPM(Node Package Manager)是Node.js的包管理器,提供了一种便捷的方式来安装、共享和管理Node.js模块及依赖关系。文中所述的“NPM环境”指的是通过Docker创建的一个预配置好的环境,其中已经包含了NPM以及可以执行和管理Node.js项目的相关工具链,为开发者提供了一个独立、一致且易于维护的开发或运行环境。 Dockerfile , Dockerfile是一个文本文件,用于定义如何构建一个Docker镜像。在文章中,用户编写了一个Dockerfile来指定基础镜像(这里是Node.js版本10)、执行命令(如全局安装npm)、设置工作目录、复制项目文件并安装依赖项等步骤,最终生成一个包含了完整NPM环境的自定义Docker镜像。通过Dockerfile,开发者能够以自动化的方式重复构建相同配置的环境,确保了环境的一致性和可移植性。 容器 , 在本文语境下,容器是一种轻量级、可执行的软件打包单元,由Docker创建和管理。容器内包含了运行应用程序所需的所有依赖和服务,与宿主机系统和其他容器之间相互隔离。文中提到的启动mynpm容器就是在运行一个包含了NPM环境的独立实例,这个容器内的环境与宿主机或其他容器互不影响,具有很高的隔离性和资源利用率。
2023-12-05 10:01:06
529
逻辑鬼才
Docker
...了如何在Docker容器中安装和运行迅雷后,我们还可以进一步探索容器化技术在现代IT环境中的广泛应用以及其带来的诸多优势。近年来,随着云原生理念的普及,Docker等容器技术已成为提升应用部署效率、优化资源利用的重要工具。例如,企业可利用Kubernetes等容器编排平台,实现对大规模Docker容器集群的自动化管理和调度,从而提高业务连续性和扩展性。 同时,对于开发者而言,通过容器化技术,可以确保开发、测试和生产环境的一致性,减少“在我机器上能运行”的问题,极大提升了软件开发与交付的效率。此外,值得注意的是,虽然迅雷等传统桌面应用程序可以在Docker中运行,但并非所有应用都适合容器化,尤其是那些对图形界面依赖度极高或需访问底层硬件的应用,可能需要借助更复杂的技术如GPU共享、设备映射等进行适配。 近期,微软Azure团队发布了一系列关于容器技术与DevOps最佳实践的文章,深入解读了如何利用Docker构建高效安全的应用生命周期管理流程,并结合实例探讨了容器技术在大数据分析、人工智能等领域的新趋势。这些内容将有助于读者深化理解Docker在实际场景中的运用,同时也揭示出容器技术未来发展的广阔前景。
2023-01-28 13:49:08
526
程序媛
Docker
...er效能降低的因素是资源争夺。当多个容器共享同一台主机时,它们会争夺中央处理器、RAM和带宽等资源。这可能会引起某些容器减速或宕机。为了防止这种情况,我们可以使用Docker Swarm集群管理工具来智能分配资源。 $ docker swarm init 第二个引起Docker效能降低的因素是大量存储卷的使用。在Docker中,存储卷是用于在容器和主机之间共享数据的一种方式。但是,如果容器数量大且每个容器都有自己的存储卷,这可能会严重干扰效能。因此,我们应该尽量减少存储卷的使用。如果必须使用存储卷,则应该考虑使用网络存储卷,例如Amazon EFS。 $ docker volume create --driver=rexray --name=myEFS 第三个引起Docker效能降低的因素是过度使用Docker镜像。当我们下载和使用大量Docker镜像时,它们会占用大量存储空间和带宽。这可能会引起容器启动时间较长。为了解决这个状况,我们应该尽可能防止不必要的镜像使用,并使用基于Dockerfile构建的自定义镜像来优化容器的启动和运行。 $ docker build -t my-image . 综上所述,我们可以通过使用Docker Swarm集群管理工具智能分配资源、减少存储卷使用和防止不必要的Docker镜像使用等方法来解决效能降低状况。
2023-04-04 23:17:36
512
算法侠
Docker
...er是一个开源的应用容器引擎,它通过操作系统级别的虚拟化技术,将应用程序及其依赖环境打包成一个可移植、自包含的容器。在容器中运行的应用程序与宿主机系统和其他容器相互隔离,但共享操作系统的内核,从而实现轻量级的虚拟化。使用Docker,开发人员可以构建、发布和运行任何应用,无论是在本地开发环境、测试环境还是生产环境,都能确保应用程序在不同环境下的一致性表现。 Dockerfile , Dockerfile是一种文本格式的配置文件,用于定义如何创建一个新的Docker镜像。在Dockerfile中,用户可以指定基础镜像、执行安装命令、设置环境变量、复制文件等一系列构建步骤。通过运行docker build命令,Docker会根据Dockerfile中的指令逐行执行,最终生成一个包含了应用程序及其所有依赖项的定制化镜像。 Kubernetes(K8s) , Kubernetes是一个开源的容器编排系统,为容器化的应用提供了部署、扩展和管理的功能。在Docker等容器技术的基础上,Kubernetes能够自动化部署、管理和运维容器化的应用,并实现了跨主机集群的资源调度、服务发现、负载均衡、自动恢复等功能,使得大规模容器化应用的部署和管理变得简单高效。在Docker生态中,Kubernetes常被用来对多个Docker容器进行集中管理和协调,以满足复杂的企业级应用需求。
2024-01-10 21:35:41
463
代码侠
Docker
...er是一个开源的应用容器引擎,它通过容器化技术将应用程序及其依赖环境打包成一个可移植、自包含的镜像,能够在不同的Linux操作系统上以一致的方式运行。在本文中,用户通过手动输入Docker命令来管理(如创建、启动、停止和进入容器)这些容器。 Docker Hub , Docker Hub是Docker官方提供的镜像仓库服务,类似于软件应用商店,其中包含了大量由社区和官方发布的预构建Docker镜像。用户可以通过docker pull命令从Docker Hub下载所需的镜像,以便快速部署和运行各种应用程序或服务。 容器 , 在Docker环境下,容器是一种轻量级、独立运行的一组进程,它们与主机和其他容器共享内核,但每个容器拥有自己独立的文件系统、网络配置和资源限制。容器提供了隔离且一致的运行环境,使得应用程序可以在不同环境中实现无缝迁移和快速部署。 端口映射 , 端口映射是在Docker容器与宿主机之间建立的一种网络通信机制,通过-p选项在docker run命令中指定。例如,-p 80:80表示将宿主机的80端口与容器内部的80端口进行映射,这样外部客户端可以通过访问宿主机的80端口来与容器内的服务进行通信。 Docker Compose , 尽管文章没有直接提到,但它是Docker生态中的一个重要工具,用于定义和运行多容器应用程序。通过编写一个YAML格式的docker-compose.yml文件,可以轻松地定义一组相关联的服务以及它们之间的依赖关系,然后使用一条命令来启动和协调所有容器的生命周期。 Kubernetes(简称K8s) , 虽然在给出的文章摘要中未详细阐述,但在现代云原生架构中,Kubernetes是一个流行的开源容器编排系统,它可以自动化容器应用的部署、扩展和管理。在文中提及的新版Docker优化了与Kubernetes的集成体验,意味着用户能够更加便捷地将基于Docker的容器部署到Kubernetes集群中,实现大规模容器集群的高效管理和调度。
2023-03-26 21:05:17
324
软件工程师
JQuery
...页面间逻辑跳转、状态管理以及用户行为追踪等功能的基础。随着前端技术的发展,除了JavaScript的window.location对象这一传统方式之外,开发者还可以利用现代浏览器提供的API来更精细地操作和解析URL。 例如,History API允许开发者在不刷新页面的情况下修改浏览器的历史记录,并能获取到详细的URL信息。通过history.pushState()方法,可以更新当前URL而不触发页面重载,同时可以通过window.history.state或history.replaceState()来获取或修改当前历史记录的状态信息,这对于SPA(Single Page Application)应用来说尤其重要。 另外,对于URL参数的解析,可以使用URLSearchParams接口,它提供了方便的方法来处理URL查询字符串。例如,new URLSearchParams(window.location.search)将返回一个可迭代对象,包含了当前URL查询字符串中的所有参数及其值。 此外,在跨域资源共享(CORS)场景下,尽管jQuery的$.get方法并不适用于获取当前页面URL,但在异步请求时,服务端可以通过HTTP头部的Referer字段获知请求来源URL,这在安全策略和日志记录等方面有其特定的应用价值。 总的来说,随着Web标准的演进与丰富,我们有了更多灵活且强大的工具来处理URL相关问题,从而更好地优化用户体验并提升应用性能。开发者应持续关注这些技术和最佳实践,以适应不断变化的Web开发环境。
2023-01-20 12:04:33
353
海阔天空_t
Nginx
...及,Docker作为容器化技术的重要代表,在解决诸如跨域问题等现代Web开发挑战中发挥着关键作用。实际上,Docker不仅可以用于部署Nginx以实现跨域解决方案,还可以与其他服务如API网关、负载均衡器等结合使用,构建更为复杂且灵活的网络架构。 近期,Docker发布了一系列更新,强化了对安全性和网络功能的支持。例如,通过改进的Docker Compose V2版本,开发者可以更便捷地管理多容器应用和服务间的网络配置,进一步简化CORS设置过程,确保不同服务之间的数据交互符合同源策略要求。 另外,随着Kubernetes在生产环境中的广泛应用,Nginx Ingress Controller成为处理跨域请求的另一种常见方案。它允许在集群入口级别集中配置CORS策略,使得跨越多个服务或命名空间的资源访问得以顺利进行。 同时,业界也在深入研究如何在遵循安全原则的前提下优化浏览器的跨域限制。例如,W3C关于CORS标准的最新讨论与修订,可能会影响未来Web应用程序跨域资源共享的最佳实践。 综上所述,理解并掌握Docker与Nginx在解决浏览器跨域问题上的应用,以及关注相关领域技术的发展动态,对于提升Web应用的开发效率与安全性具有重要意义。
2023-11-18 17:50:15
154
断桥残雪_t
Docker
...如何简化数据库部署和管理后,我们发现容器化技术正在深刻地改变现代IT架构。近期,云原生计算基金会(CNCF)的一项调查显示,Docker作为容器化领域的领头羊,在企业级应用中的采用率持续攀升。同时,随着Kubernetes等容器编排系统的普及,用户能够更加高效地管理和扩展包含数据库在内的复杂应用服务。 进一步探究,MySQL官方已全面支持在Docker环境中运行,并不断优化镜像以满足不同场景下的持久化需求和性能优化。例如,MySQL 8.0版本引入了诸多改进,使得在Docker中运行的MySQL实例具备更好的安全性、可扩展性和资源利用率。 此外,为了应对数据安全与合规问题,许多企业开始研究如何在Docker容器内实现数据库审计与加密存储。近期一篇《利用Docker安全特性保护数据库》的技术文章就深入探讨了如何结合Docker的安全特性与数据库自身的安全机制,确保即使在高度动态化的容器环境下,也能保障敏感数据的安全性与完整性。 不仅如此,随着微服务架构的发展,越来越多的企业开始关注如何在Docker容器中实现多租户数据库,以支持多个服务共享同一个数据库实例。业界专家通过分析实际案例,提出了一种基于Docker的多租户数据库设计方案,既能充分利用容器资源,又能保证各租户间的数据隔离与服务质量。 综上所述,Docker不仅简化了数据库的部署和管理,还在数据库安全、性能优化以及适应新型架构方面展现出强大的潜力。随着Docker及容器生态的不断发展和完善,未来将有更多创新实践推动数据库技术在云原生时代取得更大的突破。
2024-01-12 17:40:23
536
代码侠
Docker
...它是创建Docker容器的基础。在本文中,我们通过编写Dockerfile来定义如何构建一个特定的Java应用环境,并最终生成一个包含了Java运行时环境以及应用JAR包的Docker镜像。这个镜像可以被多次复用,每次运行时基于它启动一个新的Docker容器实例。 Docker容器 , Docker容器是基于Docker镜像创建的可执行实例,它为应用程序提供了一个独立、安全且资源隔离的运行环境。在文章中,当从包含Java应用环境和JAR包的Docker镜像启动容器时,容器会根据Dockerfile中的指令设置环境变量并执行指定命令(如运行JAR包)。容器与宿主机共享内核,但拥有自己的进程空间、网络配置和文件系统,从而实现了轻量级的虚拟化效果。 Docker Compose , Docker Compose是一款用于定义和运行多容器Docker应用的工具。在文中,用户通过编写一个YAML格式的Compose文件来描述多个服务及其依赖关系,比如构建镜像、配置端口映射等。使用Docker Compose,开发者能够以声明式的方式轻松管理和部署复杂的分布式应用,只需一条命令即可完成整个应用栈的构建和启动,极大地简化了开发和运维流程。
2023-05-01 20:23:48
246
桃李春风一杯酒-t
Docker
...er是一种开源的应用容器引擎,它通过将应用程序及其依赖环境打包到一个可移植的容器中,实现了一致且隔离的应用部署方式。在本文中,Docker被用作构建和部署应用程序的主要工具,使得开发者能够在不同环境下快速、可靠地运行应用,无需关心底层操作系统和配置差异。 容器技术 , 容器技术是现代云计算领域中的重要概念,它提供了一种轻量级的虚拟化解决方案。不同于传统的虚拟机技术,容器技术在同一操作系统内核上为每个应用程序创建一个独立的运行环境(即容器),各个容器之间共享主机的操作系统内核,但拥有各自的文件系统、资源限制和网络配置等。在本文中,Docker作为容器技术的代表,允许用户以标准化的方式打包、分发和运行应用程序。 Dockerfile , Dockerfile是一个文本文件,包含了用于生成Docker镜像的一系列指令集合。开发者在Dockerfile中定义了基础镜像、安装软件包、设置环境变量、复制文件、指定运行命令等一系列构建镜像所需步骤。在本文的示例中,通过编写Dockerfile,可以自动化完成从Ubuntu基础镜像安装Python3和相关依赖,设置工作目录、拷贝应用程序代码并最终指定启动命令的过程,从而生成一个包含完整应用程序环境的Docker镜像。
2023-05-14 18:00:01
553
软件工程师
Docker
... 是一个热门且有力的容器化平台,广泛地用于构建、运行和管理容器化应用程序。 在 Docker 中,一个镜像可以看作是一个静态的应用程序包。它包含有应用程序运行所需的所有组件依赖,并且可以用来生成任何数量的执行实例。而容器可以被看作是镜像的具体化,也就是在包的基础上运行并创建一个可运行的应用程序实例。 相较于传统的虚拟机技术,容器化平台更加轻量,因为容器共享主机的内核和其他系统资源。这意味着,容器启动和销毁的速度都很快,并且可以在同一物理主机上运行更多的容器。Docker 提供了一个强大的容器引擎,可以管理多个容器,并提供了简化容器配置、管理和扩展的工具。 这里是一个简单的 Dockerfile 示例 FROM python:3.8-slim-buster WORKDIR /app COPY . . RUN pip install --no-cache-dir -r requirements.txt EXPOSE 80 CMD ["python", "app.py"] 上面是一个例子,展示了一个 Dockerfile 镜像构建文件,它定义了包的基础镜像、工作目录、文件拷贝、必要的依赖安装、端口暴露和运行命令等构建过程。拥有 Dockerfile 的镜像可以被看作是一个单独的应用程序包,可通过 Docker 引擎构建和运行。 总的来说,Docker 技术是一个非常强大和流行的容器化平台,它可以帮助我们更好地部署和管理应用程序,并且可以简化我们的构建和运维工作。具体化是 Docker 的核心理念之一,让我们可以有效地创建和运行相同的应用程序实例。
2023-11-15 13:22:24
548
程序媛
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
dig +short myip.opendns.com @resolver1.opendns.com
- 快速获取本机公网IP地址。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"