etcd是一个分布式KV存储系统,在分布式系统中被广泛使用,Kubernetes就是使用了etcd存储持久化数据,包括创建的所有Pod、Deployment、Service等资源。
接下来我们看下如何读取Kubernetes存的数据。
首先如果使用kubeadm部署Kubernetes,默认会把CA根证书和签发的Server证书放在 /etc/ kubernetes / pki / etcd目录下,并且etcd Pod使用的是host网络:
因此可以直接在Master节点使用etcdctl命令:
由于新版本Kubernetes默认使用了etcd v3 API,v3版本的数据存储没有目录层级关系了,而是采用平展(flat)模式,换句话说 / a与 /a/ b并没有嵌套关系,而只是key的名称差别而已,这个和AWS S3以及OpenStack Swift对象存储一样,没有目录的概念,但是key名称支持 /字符,从而实现看起来像目录的伪目录,但是存储结构上不存在层级关系。
也就是说etcdctl无法使用类似v2的 ls命令。但是我还是习惯使用v2版本的 etcdctl ls查看etcdctl存储的内容,于是写了个性能不怎么好但是可以用的shell脚本 etcd_ls . sh:
由于Kubernetes的所有数据都以 / registry为前缀,因此首先查看 / registry:
我们发现除了 minions、 range等大多数资源都可以通过 kubectl get xxx获取,组织格式为 /registry/ { resource_name }/{ namespace }/{ resource_instance },而 minions其实就是node信息,Kubernetes之前节点叫 minion,应该还没有改过来,因此还是使用的 /registry/ minions。
range对应Service网段以及NodePort端口范围:
如上为什么需要使用 strings命令,那是因为除了 /registry/ apiregistration . k8s . io是直接存储JSON格式的,其他资源默认都不是使用JSON格式直接存储,而是通过protobuf格式存储,当然这么做的原因是为了性能,除非手动配置 -- storage - media - type = application / json,参考etcdctl v3: k8s changes its internal format to proto, and the etcdctl result is unreadable。
如果我们直接读会得到部分乱码:
使用proto提高了性能,但也导致有时排查问题时不方便直接使用etcdctl读取内容,可幸的是openshift项目已经开发了一个强大的辅助工具etcdhelper可以读取etcd内容并解码proto。
不过编译有坑,需要做如下修改:
通过如下命令进行编译安装:
编译完后就可以读取etcd解码内容了,比如读取namespace default信息:
值得注意的是存储在etcd的secret默认仅仅使用了base64编码而并没有加密:
可见 kubectl get secret一样,secret是base64编码的,secret保存着私钥证书、Docker登录信息、密码等敏感数据,因此需要严格控制etcd的访问权限,避免其他人读取。
当然更安全起见,建议配置etcd数据存储加密,参考https://kubernetes.io/docs/tasks/administer-cluster/encrypt-data/.
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞3
添加新评论0 条评论