【独家】K8S漏洞报告 | 近期bug fix解读

3月21日，Kubernetes社区通过Google Group频道Kubernetes developer/contributor discussion发布了安全漏洞CVE-2019-3874以及解决方法。

这个安全漏洞最早由红帽的工程师Matteo Croce，Natale Vinto和Andrea Spagnolo发现。当Kubernetes中的Pod以Root用户运行时，它可以绕过cgroup内存隔离，通过SCTP网络传输，创建一个潜在的DoS攻击，此问题本身与Kubernetes无关，但是涉及到Kubernetes调用的内核模块。问题的严重性被定义为中等，社区建议将SCTP内核模块列入黑名单来规避此问题。用户可以通过执行如下命令来测试是否会到此类攻击。

modprobe sctp; lsmod | grep sctp

用户可以通过执行如下命令来把SCTP列入内核模块的黑名单。

echo "install sctp /bin/true" > /etc/modprobe.d/sctp.conf

如果SCTP模块已经载入内核，则需要重启机器来从内核中卸载SCTP模块。CVE-2019-3874安全漏洞的内核补丁正在开发中，但是通过将SCTP内核模块列入黑名单可以保护用户永久免受此类攻击。

CVE-2019-3874链接：

https://access.redhat.com/security/cve/cve-2019-3874

https://github.com/kubernetes/kubernetes/pull/74672

该问题的背景是#73587这个Issue。用户在升级到v1.12.5之后，发现集群内节点上Kubelet在运行一段时间后吃掉了所有的内存，导致节点故障。使用go tool pprof发现Client Go Metrics耗费了大部分的计算时间。这些Reflector Metrics并不是必不可少，该PR移除了如下的Metrics来解决内存泄漏的问题：

• reflector_items_per_list

• reflector_items_per_watch

• reflector_last_resource_version

• reflector_list_duration_seconds

• reflector_lists_total

• reflector_short_watches_total

• reflector_watch_duration_seconds

• reflector_watches_total

https://github.com/kubernetes/kubernetes/pull/74865

该问题的初始现象是Metrics Server获取不到包含有InitContainers的Pod的Metrics。

根本原因在于退出的容器（如InitContainers）CPU和Memory都为Nil导致Metrics服务器将跳过Pod的处理。具体是removeTerminatedContainer的实现忽略了cri提供的runtimeapi.Container和cadvisor提供的cadvisorapiv2.ContainerInfo的不同。

此问题的解决方法是在原有上报Nil的情况下，修改为上报退出容器的CPU和Memory为0。

https://github.com/kubernetes/kubernetes/pull/75366

该问题的背景是#72500这个Issue。在Kubelet重启后，CSI Volume Plugin可能不会被重新注册。这些Volume Plugin未注册会相应地导致这些Plugin关联的Volume的操作无法进行。解决办法是在Kubelet重启后，单独提取一个csiClientGetter的Get()方法用于当初始化失败时，能通过延迟CSI Client初始化的方式来重新注册CSI Volume Plugin。

https://github.com/kubernetes/kubernetes/pull/75364

通常情况下大部分的Volume Plugin会去检查Mount在Pod的Volume第一层级的目录，但是对于CSI Plugin却不是这样，CSI Plugin可能会Mount在子目录上。这个PR修改了Kubelet中VolumePath和MountPath引用的逻辑，实现对CSI的优化。

分类数量和占比统计如下：

严重程度数量统计如下（横坐标5为最高，0为最低）：

如下为Kubernetes v1.13.5所有bug fix的汇总信息：