-
对于公有云上的 Kubernetes 集群,规模大了之后很容器碰到配额问题,需要提前在云平台上增大配额。 这些需要增大的配额包括:
持久化存储大小
参考gce随着node节点的增加master节点的配置:
more than 500 nodes: n1-standard-32
参考阿里云配置:
节点规模 | Master规格 |
---|---|
1-5个节点 | 4C8G(不建议2C4G) |
6-20个节点 | 4C16G |
21-100个节点 | 8C32G |
100-200个节点 | 16C64G |
增大内核选项配置 /etc/sysctl.conf:
fs.file-max=1000000
"Too many open files"或者Socket/File: Can’t open so many files等错误。
net.ipv4.neigh.default.gc_thresh1=1024
net.ipv4.neigh.default.gc_thresh2=4096
net.ipv4.neigh.default.gc_thresh3=8192
以上三个参数,当内核维护的arp表过于庞大时候,可以考虑优化
net.netfilter.nf_conntrack_max=10485760
net.netfilter.nf_conntrack_tcp_timeout_established=300
net.netfilter.nf_conntrack_buckets=655360
net.core.netdev_max_backlog=10000
关于conntrack的详细说明:https://testerhome.com/topics/7509
fs.inotify.max_user_instances=524288
fs.inotify.max_user_watches=524288
搭建高可用的etcd集群, 集群规模增大时可以自动增加etcd节点;
目前的解决方案是使用etcd operator来搭建etcd 集群,operator是CoreOS推出的旨在 简化复杂有状态应用管理的框架,它是一个感知应用状态的控制器,通过扩展Kubernetes API来自动创建、管理和配置应用实例。
etcd operator 有如下特性:
-
node节点数量 >= 3000, 推荐设置如下配置:
--max-requests-inflight=3000
--max-mutating-requests-inflight=1000
node节点数量在 1000 -- 3000, 推荐设置如下配置:
--max-requests-inflight=1500
--max-mutating-requests-inflight=500
内存配置选项和node数量的关系,单位是MB:
--target-ram-mb=node_nums * 60
对关键应用使用 nodeAffinity、podAffinity 和 podAntiAffinity 等保护,
使其调度分散到不同的node上。 比如kube-dns 配置:
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
weight: 100
labelSelector:
matchExpressions:
key: k8s-app
operator: In
values:
topologyKey: kubernetes.io/hostname
设置 --kube-api-burst=100
默认值是30
作者:薛海山
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞2
添加新评论0 条评论