本文主要内容：

• 概述
• 系统架构
• 关键特性
• 产品优势
• 应用场景
• 最佳实践
• 小结

1、概述

云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级Kubernetes集群，支持运行Docker容器。借助云容器引擎，您可以在华为云上轻松部署、管理和扩展容器化应用程序。

华为云是全球首批Kubernetes认证服务提供商（Kubernetes Certified Service Provider，KCSP），是国内最早投入Kubernetes社区的厂商，是容器开源社区主要贡献者和容器生态领导者。华为云也是CNCF云原生计算基金会的创始成员及白金会员，云容器引擎是全球首批通过CNCF基金会Kubernetes一致性认证的容器服务。

2、系统架构

云容器引擎可提供高可靠高性能的企业级容器应用管理服务。云容器引擎架构可支持多集群部署，同时可实现容器编排、应用管理、服务治理等功能。

3、关键特性

CCE云容器引擎关键特性包括集群管理、弹性伸缩、持久化卷存储、容器网络、亲和/反亲和调度、工作负载、节点/节点池管理。

云容器引擎CCE是一种托管的Kubernetes服务，可进一步简化基于容器的应用程序部署和管理，您可以在CCE中方便的创建Kubernetes集群、部署您的容器化应用，以及方便的管理和维护。CCE提供的集群相关功能包括：购买集群、Kubectl访问集群、集群弹性扩容、升级集群、删除集群、集群休眠与唤醒、集群监控、集群权限控制等。

• 一站式部署和运维：使用云容器引擎，您可以一键创建Kubernetes容器集群，无需自行搭建Docker和Kubernetes集群。您可以通过云容器引擎自动化部署和一站式运维容器应用，使得应用的整个生命周期都在云容器引擎内高效完成。
• 支持多类型容器集群：通过云容器引擎您可以直接使用高性能的弹性云服务器、裸金属服务器、GPU加速云服务器等多种异构基础设施，您可以根据业务需要在云容器引擎中快速创建集群，并通过云容器引擎对创建的集群进行统一管理。

节点是容器集群组成的基本元素。节点取决于业务，既可以是虚拟机，也可以是物理机。每个节点都包含运行Pod所需要的基本组件，包括 Kubelet、Kube-proxy 、Container Runtime等。在云容器引擎CCE中，主要采用高性能的弹性云服务器ECS或裸金属服务器BMS作为节点来构建高可用的Kubernetes集群。

CCE提供的节点相关功能包括：购买节点、纳管已有节点到集群、登录节点、节点监控、管理节点标签、同步节点信息、重置节点、删除节点、节点关机等。

CCE支持创建新的自定义节点池，借助节点池基本功能方便快捷地创建、管理和销毁节点，而不会影响整个集群。新节点池中所有节点的参数和类型都彼此相同，您无法在节点池中配置单个节点，任何配置更改都会影响节点池中的所有节点。

CCE提供的节点池相关功能包括：创建节点池、查看节点池、编辑节点池、删除节点池、拷贝节点池、迁移节点。

工作负载是在Kubernetes上运行的应用程序。无论您的工作负载是单个组件还是协同工作的多个组件，您都可以在Kubernetes上的一组Pod中运行它。在Kubernetes中，工作负载是对一组Pod的抽象模型，用于描述业务的运行载体，包括Deployment、Statefulset、Daemonset、Job、CronJob等多种类型。

CCE提供基于Kubernetes原生类型的容器部署和管理能力，支持容器工作负载部署、配置、监控、扩容、升级、卸载、服务发现及负载均衡等生命周期管理。

CCE支持集群节点、工作负载的弹性伸缩，支持手动伸缩和自动弹性伸缩，并可以自由组合多种弹性策略以应对业务高峰期的突发流量浪涌。

工作负载伸缩提供HPA策略和CustomedHPA策略两种创建方式。

• HPA策略：即Horizontal Pod Autoscaling，是Kubernetes中实现POD水平自动伸缩的功能。该策略在kubernetes社区HPA功能的基础上，增加了HPA级别的冷却时间窗和扩缩容阈值等功能。
• CustomedHPA策略：华为云自研的弹性伸缩增强能力，能够基于指标（CPU利用率、内存利用率）或周期（每天、每周、每月或每年的具体时间点），对无状态工作负载进行弹性扩缩容。

节点伸缩通过节点自动伸缩组件autoscaler实现的，可以按需弹出节点实例，支持多可用区、多实例规格、多种伸缩模式，满足不同的节点伸缩场景。

• CCE支持“自定义调度策略”和“简易调度策略”。
• 自定义调度策略开放节点亲和、工作负载亲和以及工作负载反亲和调度策略的配置，以满足用户的更高需求。在自定义调度策略中用户可以设置“节点亲和性”、“工作负载亲和性”和“工作负载反亲和性”。
• 简易调度策略提供简单便捷以及足够功能的调度方式。简易调度策略提供工作负载和可用区的亲和性、工作负载和节点的亲和性以及工作负载间的亲和性调度，用户可根据业务需求进行相应的设置部署工作负载。

云容器引擎除支持本地磁盘存储外，还支持将工作负载数据存储在云存储上，当前支持的云存储包括：云硬盘存储卷（EVS）、文件存储卷（SFS）、对象存储卷（OBS）和极速文件存储卷（SFS Turbo）。

4、产品优势

云容器引擎是基于业界主流的Docker和Kubernetes开源技术构建的容器服务，提供众多契合企业大规模容器集群场景的功能，在系统可靠性、高性能、开源社区兼容性等多个方面具有独特的优势，满足企业在构建容器云方面的各种需求。

• 通过WEB界面一键创建Kubernetes集群，支持管理虚拟机节点或裸金属节点，支持虚拟机与物理机混用场景。
• 一站式自动化部署和运维容器应用，整个生命周期都在容器服务内一站式完成。
• 通过Web界面轻松实现集群节点和工作负载的扩容和缩容，自由组合策略以应对多变的突发浪涌。
• 通过Web界面一键完成Kubernetes集群的升级。
• 深度集成应用服务网格和Helm标准模板，真正实现开箱即用。

• 基于在计算、网络、存储、异构等方面多年的行业技术积累，提供业界领先的高性能云容器引擎，支撑您业务的高并发、大规模场景。
• 采用高性能裸金属NUMA架构和高速IB网卡，AI计算性能提升3-5倍以上。

• 高可靠：集群控制面支持3 Master HA高可用，3个Master节点可以处于不同可用区，保障您的业务高可用。集群内节点和工作负载支持跨可用区（AZ）部署，帮助您轻松构建多活业务架构，保证业务系统在主机故障、机房中断、自然灾害等情况下可持续运行，获得生产环境的高稳定性，实现业务系统零中断。

集群高可用

• 高安全：私有集群，完全由用户掌控，并深度整合IAM和Kubernetes RBAC能力，支持用户在界面为子用户设置不同的RBAC权限。

• 云容器引擎在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。
• 云容器引擎基于业界主流的Kubernetes实现，完全兼容Kubernetes/Docker社区原生版本，与社区最新版本保持紧密同步，完全兼容Kubernetes API和Kubectl。

5、应用场景

5.1.1、应用场景

• 多云部署、容灾备份

为保证业务高可用，需要将业务同时部署在多个云的容器服务上，在某个云出现事故时，通过统一流量分发的机制，自动的将业务流量切换到其他云上。

• 流量分发、弹性伸缩

大型企业客户需要将业务同时部署在不同地域的云机房中，并能自动弹性扩容和缩容，以节约成本。

• 业务上云、数据库托管

对于金融、安全等行业用户，业务数据的敏感性要求将数据业务保留在本地的IDC中而将一般业务部署在云上，并需要进行统一管理。

• 开发与部署分离

出于IP安全的考虑，用户希望将生产环境部署在公有云上，而将开发环境部署在本地的IDC。

5.1.2、价值

云容器引擎利用容器环境无关的特性，将私有云和公有云容器服务实现网络互通和统一管理，应用和数据可在云上云下无缝迁移，并可统一运维多个云端资源，从而实现资源的灵活使用以及业务容灾等目的。

5.1.3、优势

• 云上容灾

通过云容器引擎，可以将业务系统同时部署在多个云的容器服务上，统一流量分发，单云故障后能够自动将业务流量切换到其他云上，并能快速自动解决现网事故。

• 流量自动分发

通过云容器引擎的统一流量分发机制，实现应用访问流量的地域亲和，降低业务访问时延，并需要能够将线下IDC中的业务在云上扩展，可根据业务流量峰值情况，自动弹性扩容和缩容。

• 计算与数据分离，能力共享

通过云容器引擎，用户可以实现敏感业务数据与一般业务数据的分离，可以实现开发环境和生产环境分离，可以实现特殊计算能力与一般业务的分离，并能够实现弹性扩展和集群的统一管理，达到云上云下资源和能力的共享。

• 降低成本

业务高峰时，利用公有云资源池快速扩容，用户不再需要根据流量峰值始终保持和维护大量资源，节约成本。

5.1.4、建议搭配使用

弹性云服务器ECS + 云专线DC + 虚拟专用网络VPN + 容器镜像服务SWR

5.2.1、应用场景

当前IT行业发展日益快速，面对海量需求必须具备快速集成的能力。经过快速持续集成，才能保证不间断的补全用户体验，提升服务质量，为业务创新提供源源不断的动力。大量交付实践表明，不仅传统企业，甚至互联网企业都可能在持续集成方面存在研发效率低、工具落后、发布频率低等方面的问题，需要通过持续交付提高效率，降低发布风险。

5.2.2、价值

云容器引擎搭配容器镜像服务提供DevOps持续交付能力，能够基于代码源自动完成代码编译、镜像构建、灰度发布、容器化部署，实现一站式容器化交付流程，并可对接已有CI/CD，完成传统应用的容器化改造和部署。

5.2.3、优势

• 高效流程管理

更优的流程交互设计，脚本编写量较传统CI/CD流水线减少80%以上，让CI/CD管理更高效。

• 灵活的集成方式

提供丰富的接口便于与企业已有CI/CD系统进行集成，灵活适配企业的个性化诉求。

• 高性能

全容器化架构设计，任务调度更灵活，执行效率更高。

5.2.4、建议搭配使用

容器镜像服务SWR + 对象存储服务OBS + 虚拟专用网络VPN

 DevOps持续交付场景

5.3.1、应用场景

伴随着互联网技术的不断发展，各大企业的系统越来越复杂，传统的系统架构越来越不能满足业务的需求，取而代之的是微服务架构。微服务是将复杂的应用切分为若干服务，每个服务均可以独立开发、部署和伸缩；微服务和容器组合使用，可进一步简化微服务的交付，提升应用的可靠性和可伸缩性。

随着微服务的大量应用，其构成的分布式应用架构在运维、调试、和安全管理等维度变得更加复杂，在管理微服务时，往往需要在业务代码中添加微服务治理相关的代码，导致开发人员不能专注于业务开发，还需要考虑微服务治理的解决方案，并且将解决方案融合到其业务系统中。

5.3.2、价值

云容器引擎深度集成应用服务网格，提供开箱即用的应用服务网格流量治理能力，用户无需修改代码，即可实现灰度发布、流量治理和流量监控能力。

5.3.3、优势

• 开箱即用

与云容器引擎无缝对接，一键开启后即可提供非侵入的智能流量治理解决方案。

策略化智能路由

无需修改代码，即可实现HTTP、TCP等服务连接策略和安全策略。

• 流量治理可视化

基于无侵入的监控数据采集，深度整合APM能力，提供实时流量拓扑、调用链等服务性能监控和运行诊断，构建全景的服务运行视图，可实时、一站式观测服务流量健康和性能状态。

5.3.4、建议搭配使用

弹性负载均衡ELB + 应用性能管理APM + 应用运维管理AOM

微服务治理场景

5.4.1、应用场景

CCE集群支持管理X86资源池和ARM资源池，能方便的创建Kubernetes集群、部署您的容器化应用，以及方便的管理和维护。

 CCE集群

5.4.2、价值

通过容器化改造，使应用部署资源成本降低，提升应用的部署效率和升级效率，可以实现升级时业务不中断以及统一的自动化运维。

5.4.3、优势

• 多种类型的容器部署

支持部署无状态工作负载、有状态工作负载、守护进程集、普通任务、定时任务等。

• 应用升级

支持替换升级、滚动升级（按比例、实例个数进行滚动升级）；支持升级回滚。

• 弹性伸缩

支持节点和工作负载的弹性伸缩。

工作负载

6、最佳实践

6.1.1、迁移方案概述

迁移方案

迁移步骤

6.1.2、数据迁移

数据库迁移

由运维或者开发人员基于华为云数据复制服务DRS完成数据库迁移。

存储迁移

由运维或者开发人员基于华为云对象存储迁移服务OMS完成对象存储中的数据迁移，详情请参见对象存储迁移服务 OMS。

说明：

目前对象存储迁移服务OMS支持将亚马逊云、阿里云、微软云、百度云、金山云、青云、七牛云、腾讯云平台的对象存储数据迁移到华为云对象存储服务OBS。

• 在华为云对象存储服务OBS上创建桶。
• 在华为云对象存储迁移服务OMS上创建迁移任务。

容器镜像迁移

1. 导出ACK集群上使用的容器镜像。

按照阿里云容器镜像服务上的操作指南拉取镜像到客户端机器。

     2. 将导出的容器镜像文件上传到华为云SWR。

使用docker pull命令将镜像上传到华为云。

6.1.3、迁移工具安装

Velero是开源的 Kubernetes 集群备份、迁移工具，集成了Restic工具对PV数据的备份能力，可以通过Velero工具将原集群中的K8s资源对象（如Deployment、Job、Service、ConfigMap等）和Pod挂载的持久卷数据保存备份上传至对象存储。在发生灾难或需要迁移时，目标集群可使用Velero从对象存储中拉取对应的备份，按需进行集群资源的还原。

根据迁移方案所述，在迁移开始前需准备临时的对象存储用于存放资源的备份文件，Velero支持使用OBS或者MinIO对象存储。对象存储需要准备足够的存储空间用于存放备份文件，请根据您的集群规模和数据量自行估算存储空间。建议您使用华为云OBS进行备份存储，可直接参考安装Velero进行Velero的部署。

CCE支持使用E-Backup插件做备份恢复，E-Backup兼容Velero，且使用OBS作为后端存储。您可以在自建集群使用Velero，在CCE中使用E-Backup。

• 不选择E-Backup：源自建集群和CCE中目标集群都需要安装Velero，请按照本章节内容安装。迁移请按照集群内资源迁移（Velero）操作。
• 选择E-Backup：源自建集群安装Velero，且使用OBS作为后端存储，按照安装Velero操作；CCE中目标集群安装E-Backup，安装E-Backup和迁移按照集群内资源迁移（E-Backup）操作。

前提条件

• 原始自建集群Kubernetes版本需10及以上，且集群可正常使用DNS与互联网服务。
• 若您使用华为云OBS存放备份文件，需已有OBS操作权限用户的AK/SK，请参考获取访问密钥（AK/SK）。
• 若您使用MinIO存放备份文件，则安装MinIO的服务器需要绑定EIP并在安全组中开放MinIO的API端口和Console端口。
• 已创建迁移的目标CCE集群，创建集群请参见购买CCE集群。
• 原集群和目标集群中需要至少各拥有一个空闲节点，节点规格建议为4U8G及以上。

安装MinIO

MinIO 是一个兼容S3接口协议的高性能对象存储开源工具。若使用MinIO进行存放集群迁移的备份文件，您需要一台临时服务器用于部署MinIO并对外提供服务。若您使用华为云OBS存放备份文件，请忽略此步骤，前往安装Velero。

MinIO的安装位置选择有如下几种：

• 集群外临时ECS

将MinIO服务端安装在集群外，能够保障集群发生灾难性故障时，备份文件不会受到影响。

• 集群内的空闲节点

您可以远程登录节点安装MinIO服务端，也可以选择容器化安装MinIO，请参考Velero官方文档https://velero.io/docs/v1.7/contributions/minio/#set-up-server。

6.1.4、集群内资源迁移（Velero）

操作场景

本文使用Wordpress应用为例，从自建Kubernetes集群中的将应用整体迁移到华为云CCE集群。Wordpress应用包含Wordpress和MySQL两个组件，均为容器化实例，分别绑定了两个Local类型的本地存储卷，并通过NodePort服务对外提供访问。

迁移前通过浏览器访问Wordpress站点，创建站点名称为“Migrate to CCE”，并发布一篇文章用于验证迁移后PV数据的完整性。Wordpress中发布的文章会被存储在MySQL数据库的“wp_posts”表中，若迁移成功，数据库中的内容也将会被全量搬迁至新集群，可依此进行PV数据迁移校验。

原集群应用备份

（可选）如果需要对Pod中指定的存储卷数据进行备份，需对Pod添加annotation，标记模板如下：

kubectl -n <namespace> annotate <pod/pod_name> backup.velero.io/backup-volumes=<volume_name_1>,<volume_name_2>,...

• <namespace>：Pod所在的namespace。
• <pod_name>：Pod名称。
• <volume_name>：Pod挂载的持久卷名称。可通过describe语句查询Pod信息，Volume字段下即为该Pod挂载的所有持久卷名称。

对Wordpress和MySQL的Pod添加annotation，pod名称分别为wordpress-758fbf6fc7-s7fsr和mysql-5ffdfbc498-c45lh。由于Pod在默认命名空间default下，-n <NAMESPACE>参数可省略：

kubectl annotate pod/wordpress-758fbf6fc7-s7fsr backup.velero.io/backup-volumes=wp-storage

kubectl annotate pod/mysql-5ffdfbc498-c45lh backup.velero.io/backup-volumes=mysql-storage

可通过velero restore get语句查看应用恢复情况。

6.2.1、简介

IPv6的使用，可以有效弥补IPv4网络地址资源有限的问题。如果当前集群中的工作节点（如ECS）使用IPv4，那么启用IPv6后，工作节点可在双栈模式下运行，即工作节点可以拥有两个不同版本的IP地址：IPv4地址和IPv6地址，这两个IP地址都可以进行内网/公网访问。

6.2.2、使用场景

• 如果您的应用需要为使用IPv6终端的用户提供访问服务，则您可使用：IPv6弹性公网IP或IPv6双栈。
• 如果您的应用既需要为使用IPv6终端的用户提供访问服务，又需要对这些访问来源进行数据分析处理，则您必须使用IPv6双栈。
• 如果您的应用系统与其他系统（例如：数据库系统）、应用系统之间需要使用IPv6进行内网访问，则您必须使用IPv6双栈。

使用IPv6双栈请参考IPv4/IPv6双栈网络、IPv6弹性公网IP。

6.2.3、约束与限制

• IPv4/IPv6双栈仅支持15及以上版本的CCE集群。
• Kubernetes内部Node和Master之间通信使用IPv4地址。
• Service类型选择“负载均衡 ( LoadBalancer )”或“DNAT网关 ( DNAT )”时，仅支持对接IPv4。
• 同一个网卡上，只能绑定一个IPv6地址。

步骤1：创建虚拟私有云和子网

在创建VPC之前，您需要根据具体的业务需求规划VPC的数量、子网的数量和IP网段划分等。具体请参见“网络规划”。

说明：

• IPv4/IPv6双栈网络的基本操作与之前的IPv4网络相同。只有部分页面的配置参数会略有差异，具体请以管理控制台显示为准。
• 如需了解IPv6收费策略、支持的ECS类型及支持的区域等信息，请参见IPv4/IPv6双栈网络。

请按如下操作，创建一个VPC“vpc-ipv6”和一个IPv6默认子网“subnet-ipv6”。

1. 登录管理控制台。
2. 在管理控制台左上角单击，选择区域和项目。
3. 选择“网络>虚拟私有云 VPC”。
4. 单击“创建虚拟私有云”。
5. 根据界面提示配置虚拟私有云和子网参数。

子网配置时，请务必勾选“开启IPv6”，将自动为子网分配IPv6网段。该功能一旦开启，将不能关闭。暂不支持自定义设置IPv6网段。

    单击“立即创建”。

步骤2：创建CCE集群

1. 登录CCE控制台，创建一个CCE集群。

网络配置请按如下设置：

• 网络模型：选择“容器隧道网络”。
• 虚拟私有云：选择已创建的“vpc-ipv6”。
• 控制节点子网：请务必选择已开启了IPv6的子网，否则该集群创建界面中不会显示“IPv6双栈”的开关按钮。
• 容器网段：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。

图1 网络配置

     2. 创建节点。

CCE控制台会过滤出支持IPv6的机型，可直接选择。

    3. 创建工作负载时，Service类型如果选择“负载均衡 ( LoadBalancer )”或“DNAT网关 ( DNAT )”，则仅支持对接IPv4。

创建完成后，您可以进入集群，单击节点名称进入ECS详情页查看自动分配的IPv6地址。

步骤3：购买和加入共享带宽

默认IPv6地址只具备私网通信能力，如果您需要通过该IPv6地址访问Internet或被Internet上的IPv6客户端访问，您需要购买和绑定共享带宽。

如您已有共享带宽，可以不用重新购买，直接将IPv6地址加入共享带宽即可。

购买共享带宽

1. 登录管理控制台。
2. 在管理控制台左上角单击，选择区域和项目。
3. 在系统首页，选择“网络 > 虚拟私有云 VPC”。
4. 在左侧导航栏，选择“弹性公网IP和带宽 > 共享带宽”。
5. 在页面右上角，单击“购买共享带宽”，按照提示配置参数。

   单击“立即购买”。

加入共享带宽

1. 在共享带宽列表页，单击操作列的“添加公网IP”。

加入共享带宽入口

    2. 将IPv6地址加入共享带宽。

添加IPv6双栈网卡

   3. 单击“确定”。

结果验证

登录到ECS实例，ping一个公网上的IPv6服务，验证连通性。例如：ping6 ipv6.baidu.com，执行结果如图4所示。

图4 结果验证

7、操作指导

完整的云容器引擎使用流程包含以下步骤：

 CCE使用流程

    1、注册华为云帐号，授予IAM用户相应的权限。

华为云注册帐号无需授权即可拥有所有权限，由华为云帐号创建的IAM子用户需要授予相应的权限才能使用CCE，具体请参见权限管理。

    2、创建集群。

如果您需要创建普通Kubernetes集群，请参见创建CCE集群。

    3、通过镜像或编排模板创建工作负载（应用）。

• • 使用镜像创建无状态Deployment工作负载。
  • 步骤1：创建MySQL。
  • 查看部署后工作负载的状态和日志信息，对工作负载进行相应的升级、伸缩和监控等。

8、小结

云容器引擎CCE可提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建。同时CCE具有简单易用、高性能、开放兼容，及多场景部署特性。相信随着容器技术的不断发展，云容器的应用会越来越广泛。

本文参与华为云社区【内容共创】活动第16期。

https://bbs.huaweicloud.com/blogs/352652

任务16：华为云大咖带你走进华为云容器服务