九大云原生产品之华为云CIE容器洞察引擎

课程目标

学完本课程后，您将能够:

了解容器可观测性技术现状与发展趋势

了解华为云CIE容器洞察引擎产品功能及原理

前言

在之前的运维管理课程中，为大家讲解了K8S集群可观测性相关的技术与实践，同时也简单介绍了华为云容器洞察引擎服务CIE的方案架构。今天，会更加深入的和大家探讨容器可观测性的技术现状与发展趋势，同时为大家分享CIE在容器可观测性的最佳实践。

华为云云原生基础设施产品解决方案全景图

容器洞察引擎(Container Insight Engine,CIE)是面向云原生和分布式云场景,提供容器可观测性的服务。CIE提供全托管的多云多集群普罗监控、容器洞察、istio网格洞察、容器网络洞察和集群巡检等能力，完全兼容云原生监控生态，具备开箱即用和开放生态等特性。

为什么选择容器洞察引擎

• 容器洞察引擎深度整合云原生基金会（CNCF）的监控项目Prometheus，同时遵循OpenTracing/OpenTelemetry规范。对关键指标、告警、事件、调用链等运维数据进行统一采集、存储和可视化展现，精心打造云原生应用的良好可观测性能力。
• 将云原生基础设施监控和应用负载监控进行关联，提供全栈监控、端到端链路分析，使用户能够随时随地清晰地感知基础设施和应用负载状态。
• 能够对Kubernetes集群、无状态负载（Deployment）、有状态负载（StatefulSet）、任务（Job）、容器组（Pod）等进行详细监控，对业务调用链提供端到端追踪和可视化，提供一键式的故障分析、集群健康诊断能力，大大缩短问题分析定位时间。
• 提供开箱即用的插件安装、数据采集、仪表盘监控能力， 相比基于开源产品打造的监控产品，在可靠性、高可用、安装部署便捷性上更具有竞争力， 能够更好的为您的云原生应用保驾护航。

目录

1.业界动态与发展趋势分析

2.华为云CIE容器洞察引擎产品介绍与功能演示

现代云原生应用越来越复杂

随着微服务、容器化的兴起，云原生带来的应用复杂度呈指数级上升，最近一项调查显示，86%的人认为现代云应用程序比五年前复杂得多。84%的受访者表示在单个组织中使用数百甚至数千个计算实例，并使用大量容器和微服务。83%的IT从业人员表示在高峰使用时拥有数千个容器，而其中77%的人使用数百或数千个微服务。

云原生应用的复杂度增加了系统状态可视化的难度，企业对于系统可观测能力提出更高的要求。

传统的监控工具是为单体系统设计的，观察单个应用程序实例的运行状况和行为。复杂的分布式微服务架构，如Kubernetes，不断变化，在几分钟内创建和销毁数百甚至数千个Pod。由于此环境非常动态，因此预定义的指标和日志无法有效地解决问题。传统的可观察性方法在传统的单体环境中运行良好，但不适用于Kubernetes。根据调查，90%的调查参与者认为，高度分布式的应用程序带来的监控挑战比传统监控工具所能处理的挑战高出一个数量级。因此，需要一个专为分布式微服务架构构建的可观察性解决方案，以匹配Kubernetes集群行为的不可预测性，并捕获解决问题所需的实时数据。

云原生时代可观测性变成了基础设施级的诉求

云原生应用的复杂度增加了系统状态可视化的难度，企业对于系统可观测能力提出更高的要求。根据CNCF 对近2400名CNCF 成员的调查，对于采用新的云原生架构的开发运维团队而言，他们最关心的问题是监控和可观测性。云原生时代可观测性变成了基础设施级的诉求。

Gartner 预测，到2024年，将有30%的企业会通过可观测技术来提升数字化业务的运行性能，相比2020年的10%提升了3倍。2023年，全球可观测市场规模预计将达到164.94亿美元。

可观测市场不断增长，带来的不仅是机遇，同样也带来了更多挑战。企业对于可观测的视野不再局限于应用程序，而是需要从全局的角度洞察混合IT基础设施、数据源、网络、云和边缘端的应用状况，更加主动化、自动化和智能化地提升企业运维的效率。企业不仅仅需要应用的高可用，更需要数字化转型发展所带来的用户体验升级。

云原生计算基金会(CNCF)的一项数据也显示出了可观测性的重要性，到2021年2月，云原生计算基金会(CNCF)列出了102个可观测性项目。

据调查，2021年，近75%的受访者表示使用Grafana 来实现容器技术的可观察性，其次使用最多的是Prometheus。可以看出Grafana + Prometheus依然是当今最受欢迎的容器可观测性工具组合。

OpenTelemetry的诞生给云原生可观测性带来革命性的进步，包括:

统一协议:OpenTelemetry为我们带来了Metrics.Traces、Logs(规划中)的统一标准，三者都有相同的元数据结构，可以轻松实现互相关联。

统一Agent:使用一个Agent即可完成所有可观察性数据的采集和传输，不需要为每个系统都部署各种各样的Agent，大大降低了系统的资源占用，使整体可观察性系统的架构也变的更加简单。

云原生友好: OpenTelemetry诞生在CNCF，对于各类的云原生下的系统支持更加友好，此外目前众多云厂商已经宣布支持OpenTelemetry，未来云上的使用会更加便捷。

厂商无关:此项目完全中立，不倾向于任何一家厂商，让大家可以有充分的自由来选择、更换适合自己的服务提供商，而不需要收到某些厂商的垄断或者绑定。

兼容性: OpenTelemetry得到了CNCF下各种可观察性方案的支持，未来对于OpenTracing类、OpenCensus、Prometheus、Fluntd等都会有非常好的兼容性，可以方便大家无缝迁移到OpenTelemetry方案上。

eBPF在云原生应用中迅速获得关注,最常用于两种情况:

需要使用内核跟踪来实现可观察性:在这种情况下，eBPF更快更准确，不涉及上下文切换。同时eBPF程序是基于事件的，因此没有特定触发器就不会运行任何东西——而且不会让我们错过任何事件。

传统的安全监控不起作用: eBPF在分布式和基于容器的环境中有很多用途。在这些环境中，eBPF 可以缩小可见性差距，因为它可以提供对HTTP流量的可见性。

基于eBPF可观测性项目

Cilium:基于eBPF的高性能容器网络方案。提供基于eBPF的负载均衡，安全性和可观测性等功能。Cilium通过eBPF编排网络数据，让可视化更简单。

Pixie:是一个开源的 kubernetes可观测性平台，无需手动检测即可提供对Kubernetes工作负载的即时可见性。

容器可观测性依然面临挑战

虽然社区有众多可供选择的可观测性工具，容器可观测依然面临挑战。根据CNCF的调查，有38%的用户认为监控是其应用Kubernetes遇到的最大挑战之一，随着企业规模的增长，这个比例甚至达到了46%。

容器可观测性有如下挑战:

数据汇聚与关联分析

应用微服务化导致服务数量剧增，依赖关系复杂。单纯的依靠单一监控数据很难定位问题。开发运维人员往往需要结合metrics, traces,logs等多种数据才能最终定位问题。这要求容器可观测产品具备多种数据汇聚与关联分析的能力。

海量数据处理

大量的微服务，快速变化的容器环境，加上服务间复杂的调用关系，会产生海量的监控运维数据。如何统一采集、存储、分析海量的数据是容器可观测性面临的巨大挑战。

跨云多集群

跨云多集群逐渐成为云原生时代的主流场景。同一组织的应用很可能分布在不同的k8s集群，甚至是不同的公有云或边缘节点上。这要求容器可观测性产品具备跨云多集群监控的能力。

CIE关键功能1 : Prometheus监控

CIE支持兼容原生的Prometheus监控。在大规模集群中，单体Prometheus往往会遇到性能瓶颈，CIE提供经过优化的普罗插件和中心化大规模存储能力，来解决跨云多集群大规模监控场景。

同时,CIE提供兼容Prometheus的开放API，让用户可以通过Grafana对接CIE数据源。

CIE关键功能2∶分布式云原生统一可观测性

CIE支持跨云多集群监控数据统一汇聚与可视化，除了Prometheus监控数据外，还包括K8s事件、服务网格调用链、集群日志等数据。

CIE服务网格洞察，为用户提供全息跨集群网格拓扑、以及Service运行状况洞察能力。

CIE通过OpenTelemetry-Collector为用户提供灵活的服务网格监控数据采集与分发。用户除了可以将服务网格监控数据发送给CIE，也可以发送给第三方服务或自研后端。

CIE通过event-exporter组件，采集集群k8s事件并实时上报到CIE中心端持久化存储。CIE基于k8s事件数据进行数据分析，为用户提供k8s事件分析大盘和k8s事件告警能力。

CIE智能巡检具备全方位集群健康检查的能力，会从各个维度去判断集群的健康状况，让客户对集群运行状况了如指掌。

https://console.huaweicloud.com/CIE

本课总结

本课程重点讲解1:容器可观测性的业界动态与发展趋势。

本课程重点讲解2:CIE容器洞察引擎功能介绍与产品演示

参考链接

CIE云容器洞察引擎官方链接: https://support.huaweicloud.com/productdesc-cie/cie_productdesc_0001.html

2021年可观察性状况调查: https://tanzu.vmware.com/content/blog/the-state-of-observability-2021-key-findings