新用户注册入口 老用户登录入口

[转载]容器编排技术 -- Kubernetes 给容器和Pod分配内存资源

文章作者:转载 更新时间:2023-12-23 12:14:07 阅读数量:493
文章标签:容器内存资源分配Pod内存限制内存申请配置
本文摘要:本文详细介绍了如何在Kubernetes集群中为Pod和容器配置内存资源申请与限制。首先,确保拥有一个运行的Kubernetes集群,并创建一个命名空间以隔离实验资源。通过在容器配置文件中设置`resources.requests.memory`和`resources.limits.memory`,可分别控制容器内存申请量和上限。教程演示了创建Pod实例,其中容器尝试分配不同级别的内存资源,包括超出其限制的情况以及超过节点可用内存范围的申请。借助Heapster服务监控内存使用情况,展示了当容器试图使用超过限制内存时会被系统自动终止并重启的过程。通过合理配置内存资源,可在Kubernetes中实现精细化的资源管理和优化。
转载文章

本篇文章为转载内容。原文链接:https://blog.csdn.net/Aria_Miazzy/article/details/99694937。

该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。

作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。

如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。

容器编排技术 -- Kubernetes 给容器和Pod分配内存资源

 

  • 1 Before you begin
  • 2 创建一个命名空间
  • 配置内存申请和限制
  • 4 超出容器的内存限制
  • 5 配置超出节点能力范围的内存申请
  • 6 内存单位
  • 7 如果不配置内存限制
  • 8 内存申请和限制的原因
  • 9 清理

这篇教程指导如何给容器分配申请的内存和内存限制。我们保证让容器获得足够的内存 资源,但是不允许它使用超过限制的资源。

 

Before you begin

You need to have a Kubernetes cluster, and the kubectl command-line tool must be configured to communicate with your cluster. If you do not already have a cluster, you can create one by using Minikube.

你的集群里每个节点至少必须拥有300M的内存。

这个教程里有几个步骤要求Heapster , 但是如果你没有Heapster的话,也可以完成大部分的实验,就算跳过这些Heapster 步骤,也不会有什么问题。

检查看Heapster服务是否运行,执行命令:

kubectl get services --namespace=kube-system

如果Heapster服务正在运行,会有如下输出:

NAMESPACE    NAME      CLUSTER-IP    EXTERNAL-IP  PORT(S)  AGE
kube-system  heapster  10.11.240.9   <none>       80/TCP   6d

 

创建一个命名空间

创建命名空间,以便你在实验中创建的资源可以从集群的资源中隔离出来。

kubectl create namespace mem-example

 

配置内存申请和限制

给容器配置内存申请,只要在容器的配置文件里添加resources:requests就可以了。配置限制的话, 则是添加resources:limits。

本实验,我们创建包含一个容器的Pod,这个容器申请100M的内存,并且内存限制设置为200M,下面 是配置文件:

memory-request-limit.yaml 
apiVersion: v1
kind: Pod
metadata:name: memory-demo
spec:containers:- name: memory-demo-ctrimage: vish/stressresources:limits:memory: "200Mi"requests:memory: "100Mi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s

在这个配置文件里,args代码段提供了容器所需的参数。-mem-total 150Mi告诉容器尝试申请150M 的内存。

创建Pod:

kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit.yaml --namespace=mem-example

验证Pod的容器是否正常运行:

kubectl get pod memory-demo --namespace=mem-example

查看Pod的详细信息:

kubectl get pod memory-demo --output=yaml --namespace=mem-example

这个输出显示了Pod里的容器申请了100M的内存和200M的内存限制。

...
resources:limits:memory: 200Mirequests:memory: 100Mi
...

启动proxy以便我们可以访问Heapster服务:

kubectl proxy

在另外一个命令行窗口,从Heapster服务获取内存使用情况:

curl http://localhost:8001/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/mem-example/pods/memory-demo/metrics/memory/usage

这个输出显示了Pod正在使用162,900,000字节的内存,大概就是150M。这很明显超过了申请 的100M,但是还没达到200M的限制。

{"timestamp": "2017-06-20T18:54:00Z","value": 162856960
}

删除Pod:

kubectl delete pod memory-demo --namespace=mem-example

 

超出容器的内存限制

只要节点有足够的内存资源,那容器就可以使用超过其申请的内存,但是不允许容器使用超过其限制的 资源。如果容器分配了超过限制的内存,这个容器将会被优先结束。如果容器持续使用超过限制的内存, 这个容器就会被终结。如果一个结束的容器允许重启,kubelet就会重启他,但是会出现其他类型的运行错误。

本实验,我们创建一个Pod尝试分配超过其限制的内存,下面的这个Pod的配置文档,它申请50M的内存, 内存限制设置为100M。

memory-request-limit-2.yaml 
apiVersion: v1
kind: Pod
metadata:name: memory-demo-2
spec:containers:- name: memory-demo-2-ctrimage: vish/stressresources:requests:memory: 50Milimits:memory: "100Mi"args:- -mem-total- 250Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s

在配置文件里的args段里,可以看到容器尝试分配250M的内存,超过了限制的100M。

创建Pod:

kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-2.yaml --namespace=mem-example

查看Pod的详细信息:

kubectl get pod memory-demo-2 --namespace=mem-example

这时候,容器可能会运行,也可能会被杀掉。如果容器还没被杀掉,重复之前的命令直至 你看到这个容器被杀掉:

NAME            READY     STATUS      RESTARTS   AGE
memory-demo-2   0/1       OOMKilled   1          24s

查看容器更详细的信息:

kubectl get pod memory-demo-2 --output=yaml --namespace=mem-example

这个输出显示了容器被杀掉因为超出了内存限制。

lastState:terminated:containerID: docker://65183c1877aaec2e8427bc95609cc52677a454b56fcb24340dbd22917c23b10fexitCode: 137finishedAt: 2017-06-20T20:52:19Zreason: OOMKilledstartedAt: null

本实验里的容器可以自动重启,因此kubelet会再去启动它。输入多几次这个命令看看它是怎么 被杀掉又被启动的:

kubectl get pod memory-demo-2 --namespace=mem-example

这个输出显示了容器被杀掉,被启动,又被杀掉,又被启动的过程:

stevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-example
NAME            READY     STATUS      RESTARTS   AGE
memory-demo-2   0/1       OOMKilled   1          37s
stevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-example
NAME            READY     STATUS    RESTARTS   AGE
memory-demo-2   1/1       Running   2          40s

查看Pod的历史详细信息:

kubectl describe pod memory-demo-2 --namespace=mem-example

这个输出显示了Pod一直重复着被杀掉又被启动的过程:

... Normal  Created   Created container with id 66a3a20aa7980e61be4922780bf9d24d1a1d8b7395c09861225b0eba1b1f8511
... Warning BackOff   Back-off restarting failed container

查看集群里节点的详细信息:

kubectl describe nodes

输出里面记录了容器被杀掉是因为一个超出内存的状况出现:

Warning OOMKilling  Memory cgroup out of memory: Kill process 4481 (stress) score 1994 or sacrifice child

删除Pod:

kubectl delete pod memory-demo-2 --namespace=mem-example

 

配置超出节点能力范围的内存申请

内存的申请和限制是针对容器本身的,但是认为Pod也有容器的申请和限制是一个很有帮助的想法。 Pod申请的内存就是Pod里容器申请的内存总和,类似的,Pod的内存限制就是Pod里所有容器的 内存限制的总和。

Pod的调度策略是基于请求的,只有当节点满足Pod的内存申请时,才会将Pod调度到合适的节点上。

在这个实验里,我们创建一个申请超大内存的Pod,超过了集群里任何一个节点的可用内存资源。 这个容器申请了1000G的内存,这个应该会超过你集群里能提供的数量。

memory-request-limit-3.yaml 
apiVersion: v1
kind: Pod
metadata:name: memory-demo-3
spec:containers:- name: memory-demo-3-ctrimage: vish/stressresources:limits:memory: "1000Gi"requests:memory: "1000Gi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s

创建Pod:

kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-3.yaml --namespace=mem-example

查看Pod的状态:

kubectl get pod memory-demo-3 --namespace=mem-example

输出显示Pod的状态是Pending,因为Pod不会被调度到任何节点,所有它会一直保持在Pending状态下。

kubectl get pod memory-demo-3 --namespace=mem-example
NAME            READY     STATUS    RESTARTS   AGE
memory-demo-3   0/1       Pending   0          25s

查看Pod的详细信息包括事件记录

kubectl describe pod memory-demo-3 --namespace=mem-example

这个输出显示容器不会被调度因为节点上没有足够的内存:

Events:...  Reason            Message------            -------...  FailedScheduling  No nodes are available that match all of the following predicates:: Insufficient memory (3).

 

内存单位

内存资源是以字节为单位的,可以表示为纯整数或者固定的十进制数字,后缀可以是E, P, T, G, M, K, Ei, Pi, Ti, Gi, Mi, Ki.比如,下面几种写法表示相同的数值:alue:

128974848, 129e6, 129M , 123Mi

删除Pod:

kubectl delete pod memory-demo-3 --namespace=mem-example

 

如果不配置内存限制

如果不给容器配置内存限制,那下面的任意一种情况可能会出现:

  • 容器使用内存资源没有上限,容器可以使用当前节点上所有可用的内存资源。
  • 容器所运行的命名空间有默认内存限制,容器会自动继承默认的限制。集群管理员可以使用这个文档 LimitRange来配置默认的内存限制。

 

内存申请和限制的原因

通过配置容器的内存申请和限制,你可以更加有效充分的使用集群里内存资源。配置较少的内存申请, 可以让Pod跟任意被调度。设置超过内存申请的限制,可以达到以下效果:

  • Pod可以在负载高峰时更加充分利用内存。
  • 可以将Pod的内存使用限制在比较合理的范围。

 

清理

删除命名空间,这会顺便删除命名空间里的Pod。

kubectl delete namespace mem-example

译者:NickSu86 原文链接

本篇文章为转载内容。原文链接:https://blog.csdn.net/Aria_Miazzy/article/details/99694937。

该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。

作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。

如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。

相关阅读
文章标题:[转载][洛谷P1082]同余方程

更新时间:2023-02-18
[转载][洛谷P1082]同余方程
文章标题:[转载]webpack优化之HappyPack实战

更新时间:2023-08-07
[转载]webpack优化之HappyPack实战
文章标题:[转载]oracle 同时更新多表,在Oracle数据库中同时更新两张表的简单方法

更新时间:2023-09-10
[转载]oracle 同时更新多表,在Oracle数据库中同时更新两张表的简单方法
文章标题:[转载][Unity] 包括场景互动与射击要素的俯视角闯关游戏Demo

更新时间:2024-03-11
[转载][Unity] 包括场景互动与射击要素的俯视角闯关游戏Demo
文章标题:[转载]程序员也分三六九等?等级差异,一个看不起一个!

更新时间:2024-05-10
[转载]程序员也分三六九等?等级差异,一个看不起一个!
文章标题:[转载]海贼王 动漫 全集目录 分章节 精彩打斗剧集

更新时间:2024-01-12
[转载]海贼王 动漫 全集目录 分章节 精彩打斗剧集
名词解释
作为当前文章的名词解释,仅对当前文章有效。
KubernetesKubernetes(通常简写为K8s)是一个开源的容器管理系统,由Google开发并捐赠给Cloud Native Computing Foundation (CNCF)。在本文中,Kubernetes被用于管理和调度集群中的容器资源,包括为Pod和容器分配内存资源、设置内存申请和限制等操作。
Pod在Kubernetes中,Pod是其基本的部署单元,它代表了集群上运行的一个应用实例或一组紧密相关的容器。每个Pod可以包含一个或多个共享存储和网络资源的容器,这些容器一起构成了完成特定任务的应用逻辑实体。文中通过创建和配置Pod来演示如何对内存资源进行管理。
HeapsterHeapster是一个已不再维护的Kubernetes监控工具,它能够收集集群中的资源使用数据,如CPU、内存等,并将这些数据发送到后端存储系统以便进一步分析和可视化。在本文的具体实验步骤中,虽然并非必需组件,但用户可以通过Heapster获取Pod的内存使用情况以验证内存资源配置是否生效。
内存请求与限制在Kubernetes中,内存请求(requests.memory)是指容器向系统声明的最低内存需求量,而内存限制(limits.memory)则是容器可使用的最大内存额度。当Kubernetes调度器决定将Pod分配到哪个节点时,会考虑每个节点剩余的内存资源以及Pod内所有容器的内存请求。同时,如果容器试图分配超过其内存限制的资源,Kubernetes会采取相应措施(例如终止容器)以防止整个系统的稳定性受到影响。
延伸阅读
作为当前文章的延伸阅读,仅对当前文章有效。
在深入理解了Kubernetes中如何为容器和Pod分配内存资源之后,进一步探索容器编排技术的最新进展与最佳实践显得尤为重要。最近,Kubernetes社区发布了1.23版本,引入了一系列优化内存管理的新特性,如改进的内存压力检测机制和更精细的QoS(服务质量)控制,使得集群能够更加智能地处理内存资源紧张的情况,确保系统稳定性和应用性能。
此外,在云原生计算基金会(CNCF)的一篇深度解读文章中,作者详细探讨了Kubernetes内存管理背后的原理,并结合实际场景分析了如何根据应用程序特性和业务需求合理设置内存请求和限制,以实现资源的有效利用和成本控制。同时,文中还引用了Google Borg论文中的经典研究,揭示了大规模分布式系统内存资源调度的复杂性及其解决方案在Kubernetes设计中的体现。
对于希望进一步提升Kubernetes集群资源管理能力的用户,可以关注一些业内知名的案例研究,例如Netflix如何借助Kubernetes进行大规模服务部署时的内存优化策略。这些实战经验不仅有助于理解理论知识,还能指导读者在实际环境中运用和调整内存配置,从而最大化资源使用效率,降低运维风险。
总之,随着Kubernetes生态系统的持续发展和容器技术的日臻完善,不断跟进最新的内存管理实践与研究动态,将助力企业和开发者更好地驾驭这一强大的容器编排工具,构建高效、稳定的云原生架构。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
grep -ir "search_text" . - 在当前目录及其子目录中递归搜索文本。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
HessianRPC在高负载下服务降级与熔断器模式保障用户体验 05-01 jQuery和TweenMax简单实用的水平手风琴特效 01-20 jquery选择国家下拉列表框插件 01-21 Sqoop在Hadoop集群中的数据传输机制及数据库迁移、收集与备份恢复应用实践 12-23 简约渔具批发牧渔企业类网站前端模板下载 11-09 基于bootstrap功能齐全的jQuery进度条插件 10-20 简约大气男性护肤产品HTML5网站模板 09-22 宽屏大气机械设备制造公司网站模板 08-13 演讲会门票销售网站模板下载 07-30 本次刷新还10个文章未展示,点击 更多查看。
经典响应式投资理财企业前端模板 06-26 基于Redis的键值对存储实现用户阅读状态跟踪与管理 06-24 Netty框架中CannotFindServerSelection异常:服务器地址配置错误与通道类型匹配详解 06-18 简洁设计公司响应式网站模板下载 05-06 绿色苗木草坪种植绿化类企业前端CMS模板下载 04-30 怎么在cmd开启mysql服务 04-15 保洁公司家庭保洁服务网站模板 03-26 SpringCloud微服务中分布式锁的死锁问题与状态一致性维护:避免循环依赖、公平锁及超时重试机制在Redisson中的实践运用 03-19 HBase性能测试与RegionServer配置、架构及数据模型调优实践:关注响应时间、并发处理能力与BlockCache优化 03-14 jquery控制radio触发事件 02-15 简约HTML5软件营销业务公司网站模板 02-09
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"