【云驻共创】鲲鹏Boostkit虚拟化如何为用户提供丰富的计算资源

举报
kungeer 发表于 2021/09/02 16:05:43 2021/09/02
【摘要】 2020年发布鲲鹏BoostKit应用使能套件,全方位使能开源、贡献开源,繁荣鲲鹏的软件生态。目前,鲲鹏BoostKit已经使能超过90%主流开源软件支持鲲鹏平台,覆盖大数据、分布式存储、数据库、虚拟化等主流场景。未来三年内,鲲鹏BoostKit将聚焦使能主流开源软件支持鲲鹏平台发挥高性能,提供全栈优化的应用加速能力。接下来,将从四个方面详细及介绍BoostKit如何为用户提供丰富的计算资源...

2020年发布鲲鹏BoostKit应用使能套件,全方位使能开源、贡献开源,繁荣鲲鹏的软件生态。目前,鲲鹏BoostKit已经使能超过90%主流开源软件支持鲲鹏平台,覆盖大数据、分布式存储、数据库、虚拟化等主流场景。未来三年内,鲲鹏BoostKit将聚焦使能主流开源软件支持鲲鹏平台发挥高性能,提供全栈优化的应用加速能力。接下来,将从四个方面详细及介绍BoostKit如何为用户提供丰富的计算资源。

一、鲲鹏应用使能套件BoostKit虚拟化整体介绍

鲲鹏BoostKit虚拟化总体架构主要由硬件基础设施、操作系统、云平台、云管理集群平台构成,其中云平台支持华为自研的HCSHUAWEI CLOUD Stack)私有云平台以及开源QEMU-KVM、开源Docker容器平台。云管理集群平台包括开源OpenStack平台、开源oVirt平台和开源Kubernetes平台。

首先,我们来了解鲲鹏boostBoostkit虚拟化的两大发展趋势

  • 经过长时间发展,传统行业市场基于KVM技术构筑成熟、稳定的IaaS平台。


    image001.png

传统行业市场基于Iaas技术成熟稳定的平台虚拟化结合基础的信息化技术能力,实现了计算虚拟化、存储信息化、网络和安全虚拟化技术。基于该技术之上,结合自动化管理、资源弹性调度和大规模构筑了私有云平台,接着结合多数据数据中心整合多级容灾备份、新网络虚拟化,把多数据中形成多数据中心整合,实现大规模集群部署的能力。随着云操作系统的成熟和应用,硬件虚拟化、硬件虚拟化、资源池管理以软件定义数据中心虚拟化技术迎来了混合云和私有云。

  • 互联网行业基于Docket容器技术构筑灵活、标准化、轻量化PaaS平台。



image003.png




互联网行业基于容器技术构筑灵活标准化、轻量化pass平台在传统行业中是主要使用单架构,如大型机、小型机,一体化应用及多种应用部署在一台机器上,随着技术的发展,进入互联网时代,形成sv架构,外部应用从为主流。接着随着4g5g无线技术的广泛应用,即进入移动互联网和物联网时代,软件技术、微服务加固、软件即服务形成大规模分布式硬件和软件的使用,用于存储客户海量数据。Docker容器的技术优点也特别明显,它对外独以独立的微服务形式,满足大大部分分布式应用快速上线的需求,它提供更高性能、更高并发性以及快速交付的速度。它主要Docker技术,它主要有两层,第一层,它提供敏捷的基础设施,主要有硬件基础设施和容器技术,它基于linuxDocker就是技术,在它之上提供了综合的应用架构,它做它的基础为微服务,微服务架构。

接下来,我们来看看鲲鹏boostBoostkit虚拟化优势

1、释放倍级性能


image005.png


硬件是算力的供给基础,软件是算力的释放,应用使能则是行业的价值体现。如何充分释放硬件算力潜能是实现应用软件的极致性能,是当前行业界面临的主要挑战之一。鲲鹏鲲鹏应用使能套件BoostBoostkit释放备极性能优势,帮助客户、客户和伙伴进行进行应用。鲲鹏Boostkit是一系的加速软件加速特性和高性能的一些开源组件的集合,它包含了三个层次的内涵和相关的能力。

  • 开源使能层面,鲲鹏已经使用了90%的开源软件,比如客户可以从开源社区和鲲鹏社区获取需要的开源开源组件,或者或者应用部署在鲲鹏的平台上。
  • 鲲基础加速软件包,鲲鹏Boostkit提供了加速库、加速算法等基础的加速能力,比如NUMA优化加速库、lO智能算法等等。伙伴可以从鲲鹏社区获取到这些基础的加速软件包,并在鲲鹏创新中心的指导下进行性能优化,实现超越一切水平的性能收益。
  • 应用加速层面,鲲鹏应用创新和加速组件,算法创新组件等加速软件包,例如机器学习、图算法,云手机指令流技术等创新算法和特性,我们期待和伙伴进行联合方案设计,开发和商业实践,应用性的倍级优势。

通过这三个层面,华为和伙伴进行紧密合作,另外我们提供八大场景应用使能套件,主要有大数据、分布式存储、数据库、虚拟化、ARM原生、Web/CDNNFV HPC客户根据实际的应用场景,可以选择合适的使能套件虚拟化。

2、虚机和网络优化释放资源,提升虚拟化性能


image007.png


鲲鹏Boostkit聚焦虚拟化和网络资源优化,释放资源,提升虚拟化性能。对于cpu低负载场景,cpu单核性能有限,轻载时虚拟化机性能提升更难,轻负载虚拟化场景使虚拟物理核翻倍性能提升20%。随着随着线上视频云游新兴起,形成了云主机的网络瓶颈,其主要原因是网络流量的暴增导致网络性能很容易达到性能瓶颈。Boostkit驯化提供OVS软加速和硬加速能力,使得性能分别提升了30%和在硬件硬件网卡场景下性能最高可以提升十倍。当前我们主在流表方面软件性能优化,主要表现为OVS流表归一化,硬件主要表现为基于硬件网卡进行性能加速,客户可以获得更高的性能和性价比优势。

3、虚拟化平台


image009.png


鲲鹏Boostkit虚拟化的主要的平台优势:鲲鹏虚拟化使用鲲鹏处理器,64+多核计算架构,为用户提供丰富的计算资源;基于物理和创建的cpu资源为为虚拟化场景极好,更好的VM资源隔离,性能曲线更加平滑;丰富的计算资源,提供更高的虚拟虚拟机密度,同等算力下减少用户部署的服务器的数量。

二、鲲鹏应用使能套件BoostKit虚拟化开源使能

1鲲鹏支持开源OpenStack+KVM虚拟化


image012.jpg


接下来我们介绍鲲鹏Boostkit开源使能支持支持开源OpenStack和虚拟化OpenStack,它是作为一个云管平台,应用广泛,社区活跃,更新快,有比较多的客户和伙伴,都以OpenStack作为主要的云管平台,结合客户和市场的需求,对OpenStackStackKVM的场景进行了支持,当前主要支持的能力有计算虚拟化、网络虚拟化和存储虚拟化,其主要是基于鲲鹏服务器计算,虚拟化主要依赖于linux操作系统。OpenStack+KVM解决了开源OpenStackKVM虚拟化软件在TaiShan服务器上适配问题,同时基于开源软件进行性能调优,给客户提供性能调优指导。

OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云提供可扩展的、灵活的云计算

2)鲲鹏支持开源Kubernetes+Docker虚拟化


image013.png



鲲鹏同时支持开源Kubernetes+DocKer虚拟化,Kubernetes开源的容器集群部署和管理系统,是当前PaaS领域实施这行业标准,它主要是布置在容器之上,为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等一整套功能,本质上是基于容器技术的调度平台。KubernetesK8s+Docker解决了开源K8sDocker虚拟化软件在TaiShan服务器上适配问题,同时基于开源软件进行性能调优,给客户提供性能调优指导。

结合这些特性的优点,Docker技术特点是:应用快速发布、应用部署和扩容简单、更高的应用密度、应用管理更简单。Kubernetes作为编排的应用应应用非常广泛,还进行统一的资源调度,自动管理容器生命周期,跨提供快捷键,快捷键服务、发点和负载均衡,更好的支持微服务的构建,划分服务之间的边界,比如它引入了label和抛的等概念,我们当前支持的k8s的版本有就有1.15.2版本,DocKer主要版本是18.09.8

  • 鲲鹏支持开源Ovirt+KVM虚拟化

image015.png


我们再介绍另外一个开源解决方案Ovirt+KVM虚拟化,这是一个轻量级的虚拟化平台软件,主要解决虚拟机管理网络和存储配置问题。相比OpenStack OVirt的操作是比较简单,OVirt是一个开源虚拟化管理平台,它允许从具有独立于平台访问的Web的前端集中管理虚拟机、计算、存储和网络资源,适用于私有云等小规模虚拟化集群场景。OpenStack则是适用于大规模的集群场景虚拟化,比如几百个虚拟机的这种场景,几十个节点部署快捷,使用要求比较轻量化。

  • 鲲鹏OpenStack虚机与X86平台混合部署

image017.png

鲲鹏OpenStackx86平台混和部署实现了一套集群,两种架构,域隔离、域内计算、存储和存储和网络独立。它主要的应用场景是业务架构极、因业务架构、节点类型需要不同的Availability Zone可用域,包括计算Nova域、存储Cinder域、网络neutron域,并期望可以将AZ对应起来以便起到隔离的效果,每个AZ域之间是隔离的。这里面我们可以看到它主要有两种场景:新建场景和扩容场景。OpenStack当前这种混合部署,它有一个部署限制,主要是AZ域混合部署不支持管理节点的混合部署,意思就是说管理节点它不支持TaiShanX86进行混合部署,它只支持域内的节俭混合,当前我们可以看到主要混合部署的方式有虚拟机场景的混合部署,裸金属服务场景的混合部署和集成混合部署。

5鲲鹏K8S Docker容器与X86平台混合部署

image019.png


该平台主要应用场景包含K8S容器集群扩容场景、新建K8S容器集群场景。鲲鹏K8S Docker容器与X86平台混合部署技术原理主要是采取了K8S原生支持多体系结构混合部署的方式,无需修改代码。

三、鲲鹏BoostKit虚拟化关键特性

下来我们再介绍一下鲲鹏虚拟化的几个关键特性:

  • 鲲鹏虚拟化的关键特性有开源OVS+DPDK网络软加速能力,提升了转发性能30%


image022.jpg

它主要的技术原理是采用流表不一的方法对和原生方案进行优化,减少了查询次数,提升了转发性能。我们可以看到原先的流表,基于用户态的组件在向我们提供了xp的加速库,是流表进行了归一,本来是查几次的表,现在我们只查一次就可以把它流表查出来。

  • OVS网络网卡硬加速能力,性能提升了10倍。

image023.png

该特性主要是依赖于卸载卡CX5的能力,对端口镜像。我们可以看到当前原理架构,底层是硬件ovs的卸载卡,再往ovs内核态。基于硬件的查表能力,加速了流表的查表速度,可以看在开启网卡硬卸载和关闭网卡硬线的场景下,最高可以获得十倍性能提升。

  • 虚拟机V-Tuebo的技术,轻载场景可用物理核翻倍,虚机性能提升20%

image025.png


在当前该技术主要是使用在轻载场景下,鲲鹏920处理器不支持超线程技术,通过提升鲲鹏CPU核利用率,加速虚机性能,主要要求整体CPU利用率不高于50%,这样剩余的CPU资源就可以供其他机使用,从而提升利用率,其本质上是使用了CPU超分的特性,不开启超线程和开启超线程性能总体提升了20%

拿以下两个案例为例:

image027.png


比如在民生就是某某省级的政务员,民生政务员上使用了鲲鹏员业务,提升了33%。该政务员将会完成169个数字政务应用上员完成合作伙伴pass应用,在鲲鹏平台上生态时能该政务热线响应时间小于三秒,应用性能提升33%。我们可以看到该架构底下Iaas平台主要使用了鲲鲲鹏服务器,它主要是主要有鲲鹏资源池在上使用了友商的平台,比如数据库,大数据,还有其他的一些平台,在其上它是部署的使用Saas平台部署的实际的办公系统,整体的性业务性能反映反映鲲鹏BoostKit虚拟化的优势。

image029.png

在某国内某银行,我们联创推动业务迁移鲲鹏容器,之前该银行的业务主要是以X86为基础,其上部署了微软源或基于其上部署了应用,在迁移之后基于鲲鹏鲲鹏服务器其上使用了Docker+k8s的开源容器之上台部署,完成了从X86到鲲鹏平台的一个迁移客户主客户单容器四线程性能提升了5.6%~10%,整体的容器密度提升了20%

四、鲲鹏应用使能套件BoostKit虚拟化调优

鲲鹏的虚拟化调优方法主要分为三大场景:KVM虚拟化场景、Docker容器场景调优、OS通用调优化。

image031.png

  • KVM虚拟机调优

通过在服务器上部署KVM虚拟化环境,将硬件资源虚拟化,从而使一台物理服务器可以承担多台服务器的工作。KVM虚拟化平台组成如上图所示,其中Qemu-KVM负责硬件资源的虚拟化,采用虚拟计算、虚拟网络、虚拟存储等技术,完成计算资源、存储资源、网络资源的虚拟化。

主要从硬件参数、操作系统和虚拟化三个维度介绍如何对TaiShan服务器在CentOS 7.6操作系统下KVM虚拟化场景做适当调整,使其在某种特定场景下达到性能最优。

  • Docker容器调优

Docker使用客户端-服务器体系结构,架构图如下图所示。Docker客户端与Docker守护进程(Docker daemon)通信,该守护进程负责构建、运行和分发 Docker 容器的繁重工作。Docker 客户端和守护进程可以在同一系统上运行,也可以将Docker客户端连接到远程Docker守护进程。Docker客户端和守护进程使用REST APIUNIX套接字或网络接口进行通信。

  • OS通用调优化

鲲鹏性能优化十板斧,释放鲲鹏硬件算力

结语:

总之,鲲鹏BoostBoostkit虚拟化主要使用鲲鹏处理器多核计算架构,为用户提供丰富的计算资源。基于物理核构建的CPU资源为虚拟化场景提供更好的资源隔离性,性能曲线更加平滑。丰富的计算资源提供更高的虚拟机密度,同等算力下减少用户需要部署的服务器数量,降低Capex

image033.png

最后大家可以通过访问www.hikunpeng.com,开发者鲲鹏应用使能套件,获得更多鲲鹏BoostKit相关开发能力。

 

本文整理自【内容共创系列】IT人加薪新思路,认证华为云签约作者,赢取500元稿酬和流量扶持!

查看活动详情:https://bbs.huaweicloud.com/blogs/293957 

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。