个人资料
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
达成规则
以上满足项可达成此勋章
他的回复:
C卷一、计算题某学校有5大业务系统上云,分别为家校系统(新上),办公系统(重要,核心系统),网上教学系统,教务系统,内网监控。第一个家校系统没建,本地虚拟机Vmware的配置需求,上云什么需求就是什么需求,1:1。第二个办公系统核心系统,内网,物理机,建了……第三个是网上教学系统,互联网;第四个教务评估系统,内网。第五个内网监控,不上云。有一个要信创。核数:2*16=32核 内存:8*16g=128g 2、核数:2*16*0.25=8核(0.25平均负载) 2*16*0.85=27.2(峰值负载0.85,可取32) 内存:8*16*0.68=87.04G(可取96g) 存储空间:系统盘未知, 数据库盘:8*500g*0.5(raid10利用率)=2000G 要求:1、cpu平均利用率小于50%,2内存利用率小于70%,3无特别说明按照1:1选型,4保证峰值压力。 怎么计算选型?1.信息收集(1)zhxx-app.vmdk和zhxx-db.vmdk是否都能导入华为云镜像的方式部署?对于Vmware镜像文件.vmdk部署为华为云的弹性云服务器ECS,其流程主要步骤有哪些?答:华为云支持导入vhd、vmdk、qcow2、raw、vhdx、qcow、vdi、qed、zvhd或zvhd2格式镜像文件。使用公有云镜像服务,步骤如下: 准备符合平台要求的外部镜像文件。 上传外部镜像文件到OBS个人桶中。 通过管理控制台选择上传的镜像文件,并将镜像文件注册为私有镜像。 私有镜像注册成功后,使用该镜像创建新的云服务器。(2)根据内容填写信息收集表。2.计算部分(1)Cpu平均利用率小于50%,(2)内存利用率小于70%,(3)无特别说明CPU、内存按照1:1选型,(4)保证峰值压力。填写计算资源选型表。(2)某业务在某时刻不够用,需要用到什么技术,描述一下该技术的实现步骤答:使用到了弹性伸缩技术+按需使用。cid:link_31.弹性伸缩技术:弹性伸缩(Auto Scaling,以下简称AS)是根据用户的业务需求,通过设置伸缩规则来自动增加/缩减业务资源。当业务需求增长时,AS自动为您增加弹性云服务器(ECS)实例或带宽资源,以保证业务能力;当业务需求下降时,AS自动为您缩减弹性云服务器(ECS)实例或带宽资源,以节约成本。AS支持自动调整弹性云服务器和带宽资源。2.弹性伸缩实现步骤:创建伸缩配置——创建弹性伸缩组——创建伸缩策略一、创建伸缩配置:1、登录管理控制台,2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面,填写弹性伸缩配置信息,您可以选择使用已有云服务 器规格为模板或者使用新模板。二、创建弹性伸缩组: 1. 返回“伸缩实例”页面,单击“创建弹性伸缩组”。 2. 在创建伸缩组页面,填写弹性伸缩组的基本信息,例如,名称、最大实例数、最小实例数、期望实例数等,在高级配置中还可对标签进行配置。 “伸缩配置”选择已创建的伸缩配置。三、创建伸缩策略 1. 在伸缩组所在行的“操作”列下,单击“查看伸缩策略”。 2. 在“伸缩策略”页签,单击“添加伸缩策略”。二、存储部分(1)oceanstore ,1台存储(共24块盘,2块热备,做raid5,每块盘750G),填表格。(题干还有描述raid5最多不超过12块盘;24块盘有2块保险盘;还有表格显示(0,25】是2块高热备,1块低热备)可用容量已用容量利用率多少可用硬盘18*75018/2418(2)前三天频繁掉用,3天后转为归档,对应obs什么功能;2周后自动删除,对应obs什么功能特性 ,怎么部署怎么计费(对应OBS各种特性,大概有5-6句需求描述分别需要对应不同需求指出OBS什么特性)在桶的生命周期管理中进行配置,由于前三天频繁读写,因此在转换为低频访问存储中选择为“不配置”,转换为归档存储配置为3天,对象过期删除配置为14天,计费方式为包年包月。 3、lamp数据库如何选存储?lamp数据库和应用都分别用主机单独部署,请问用什么规格的存储,并说明原因(应用服务器数据存储200g,文件数据增长快)(与老师确认)如果仅基于现有的信息:1.LAMP是指linux+apache+mysql+php(python)的一套简易且稳定的网站搭建工具。Apache服务器:WE应用程序的服务器,当客户端请求的是静态资源时,we服务器会直接把静态资源返回客户端;当客户端请求的是动态资源时,httpd的php模块会进行相应的动态资源运算,如果此过程还需要数据库的数据作为运算参数时,php会连接mysql取得数据然后进行运算,运算的结果转为静态资源并由we服务器返回到客户端。对于应用服务器,由于文件数据增长快,建议还是选用云硬盘(通用SSD型),实时读写,高性价比的云硬盘,可用于高吞吐、低时延的场景。如果有图片或视频类数据,可以考虑将图片、视频类数据存储在OBS中。对于数据库mysql服务器,建议选用云硬盘(超高I/O型),可用于企业关键性业务,适合高吞吐、低时延的场景。三、网络部分(1)给了学校、互联网、教育局和XX四个图标画图,根据描述要求画即可学校和华为云之间要考虑主备线路,子网规划与客户现网不要冲突(2)视频点播,直播分别是两个不同的域名,绑定的同一个ip,后端是两台服务器提供视频点播和视频直播服务。华为云什么服务可以实现该功能,并简要说明步骤ELBhttps://support.huaweicloud.com/qs-elb/zh_cn_elb_02_0001.html共享型负载均衡可以配置基于域名和URL的转发策略,将来自不同域名或者不同URL的请求转发到不同的后端服务器组处理。此功能目前仅支持协议类型为HTTP、HTTPS的监听器。步骤:创建弹性云服务器—搭建后端服务—新建负载均衡器—添加监听器—添加转发策略—验证负载均衡服务假设每次访问的平均页面大小是200K字节,网站的预期目标是每天50W PV的访问量。我们的计算开始:50W PV如果在一天内平均分布,折合到每秒大概是50W/(246060)=6次访问,按照我们之前的假设平均页面大小是200K字节计算,这6次访问总 共就是1200K字节(需要注意的是这个地方是字节),字节的单位是Byte,而带宽的单位是bit,1Byte=8bit,因此1200K Byte大概就是9600K bit,也就是9Mbps(1M=1024K)。在实际的网站运行过程中,我们的网站必须要在峰值流量时保持正常的访问,这里就会用到我们之前的假设,峰 值流量是平均流量的5倍,按照这个计算,实际需要的带宽大约在9Mbps*5=45Mbps左右。具体的计算公式是: 网站独享带宽=一天总的PV值÷ 一天总时间(换算到S)*平均页面大小(单位KB)* 8第一个是3倍峰值,第二个是峰值忽略。(3)填表题(前提有一张图,显示几个业务系统的访问关系)业务系统Vpc及子网划分Vpc及子网与谁访问Acl和安全组规则智慧家校智慧办公智慧教务网上教学注意:上云网段不能重复,安全组做端口放通,ACL做网段限制,限制访问四、数据迁移1.若需要将Oracle数据进一步挖掘和分析,需要将数据导入到数仓中,在华为云上应该怎么完成数据导入,并说明下主要步骤?Oracle迁移至数据仓库(GaussDB)的工具和流程 (CDM/RDS/备份迁移:数据库上传OBS,恢复)1.CDM(1)准备数据(2)创建CDM集群(3)CDM集群绑定EIP (4)创建Oracle连接和DWS连接 (5)创建数据迁移作业(6)查看迁移的数据统计2.使用DRS的实时同步功能将本地Oracle数据库实时同步至华为云GaussDB(for openGauss)。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB(for openGauss)的数据长期同步。(1)迁移至数据仓库的工具:DRS(2)迁移至数据仓库的流程:a) 创建VPC和安全组b) 创建GaussDB(for openGauss)实例c) 迁移前构造数据d) 迁移数据库(创建DRS实例,将本地Oracle上的test_info数据库迁移到GaussDB(for openGauss)实例中test_database_info数据库中)e) 迁移后进行数据校验3.备份迁移存入OBS再转储至DWS步骤:(1)开始(2)上传数据至OBS(3)创建OBS外表(4)执行导入数据(5)处理错误表(6)优化查询效率(7)结束OBS导入导出数据时,暂不支持跨Region进行OBS数据导入导出,必须确保OBS和DWS集群在同一个Region中2.目标数据库应该选择什么类型和部署方式? 华为云服务的哪些特性可以同时既满足高性能,又能满足高可靠性的需求? (多实例+DDM+缓存数据库+一主一备5只读(集群部署))一、数据库本身特性 服务高可用:可用区内部主备、跨可用区主备 数据高可靠:在线存储数据可靠性9个9、备份存储数据可靠性11个9 数据高安全:(1)连接安全:VPC、子网、安全组、VPN、SSL(2)安全管理:管控平台严格做到不碰用户业务数据(3)数据加密:储存数据加密,秘钥严格管理二、用分布式数据库中间件DDM 1、分布式数据库中间件(DDM):分布式关系型数据库,兼容Mysql协议,采用存储计算分离架构的模式,使得存储、计算层可以无限扩展,从而拥有海量数据高并发访问能力。三、采用缓存数据库 采用分布式缓存服务Redis、Memcached对象缓存服务等产品,基于双机热备的高可用架构,基于主备、读写分离、集群等丰富类型的缓存类型,满足用户高并发及数据快速访问的业务需求。3.什么是在线迁移和离线迁移?在线迁移和离线迁移可以分别使用华为云上的什么迁移方法?在线迁移:是指在系统不停机的情况下,将服务器或虚拟机上的系统、服务程序等从自建机房(IDC)或云平台等源环境迁移同步至云上,方便实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等业务需求。在线迁移服务:DRS实时迁移、SMS、OMS离线迁移:在线迁移方法:华为云上:采用数据复制服务DRS做数据库迁移,此外若客户涉及异构数据库迁移,则也可用数据库应用迁移服务UGO做迁移离线迁移方法:DRS备份迁移、镜像导入到OBS再恢复、DES数据快递服务4.两种不同迁移方法,适用场景是什么?本案例中不同的迁移方案分别有哪些需要注意的?cid:link_1cid:link_0https://support.huaweicloud.com/qs-drs/drs_04_0089.html#drs_04_0089__section15921124810611在线迁移: 如果您使用的是全量+增量迁移模式(在线迁移),支持在源数据库有业务数据写入的情况下进行迁移,推荐提前2-3天启动任务,并配合使用技巧和对应场景的操作要求,以确保顺利迁移。离线迁移:如果您使用的是全量迁移模式(离线迁移),确保源和目标数据库无业务写入,保证迁移前后数据一致。全量迁移结合定时启动功能,选择业务低峰期开始运行迁移任务,相对静态的数据,迁移时复杂度将会降低。在线迁移,相当于增加一个从节点并且会做一次全量同步,所以,建议在业务低峰期迁移。本案例中,避开业务高峰期,高峰时不要用在线迁移。数据库还有一个填表题系统自建数据库RDS数据库服务A导入导出B DRS服务等等 C D EA B C DA B C D智慧家校智慧教务智慧办公网上教学数据库迁移:Mysql可以选择上云RDS,迁移工具DRSSqlserver可以选择上云RDS,迁移工具导入导出、goldengate、CBROracle可以选择自建(BMS),迁移工具Goldengate,DataGuard,Rman;可以选择上云,postgre,迁移工具DRS+UGO,备份迁移,导到OBS桶,OBS导入同构数据库(DRS或IMS调用)二、方案题:银行业务三大系统上云,和课上讲的例子相近,在沿海,之前数据中心被淹导致数据丢失,希望能够今后不再出现此类情况,总体难度不大。主备云VPN 双活 两地三中心
他的回复:
C卷一、计算题某学校有5大业务系统上云,分别为家校系统(新上),办公系统(重要,核心系统),网上教学系统,教务系统,内网监控。第一个家校系统没建,本地虚拟机Vmware的配置需求,上云什么需求就是什么需求,1:1。第二个办公系统核心系统,内网,物理机,建了……第三个是网上教学系统,互联网;第四个教务评估系统,内网。第五个内网监控,不上云。有一个要信创。核数:2*16=32核 内存:8*16g=128g 2、核数:2*16*0.25=8核(0.25平均负载) 2*16*0.85=27.2(峰值负载0.85,可取32) 内存:8*16*0.68=87.04G(可取96g) 存储空间:系统盘未知, 数据库盘:8*500g*0.5(raid10利用率)=2000G 要求:1、cpu平均利用率小于50%,2内存利用率小于70%,3无特别说明按照1:1选型,4保证峰值压力。 怎么计算选型?1.信息收集(1)zhxx-app.vmdk和zhxx-db.vmdk是否都能导入华为云镜像的方式部署?对于Vmware镜像文件.vmdk部署为华为云的弹性云服务器ECS,其流程主要步骤有哪些?答:华为云支持导入vhd、vmdk、qcow2、raw、vhdx、qcow、vdi、qed、zvhd或zvhd2格式镜像文件。使用公有云镜像服务,步骤如下: 准备符合平台要求的外部镜像文件。 上传外部镜像文件到OBS个人桶中。 通过管理控制台选择上传的镜像文件,并将镜像文件注册为私有镜像。 私有镜像注册成功后,使用该镜像创建新的云服务器。(2)根据内容填写信息收集表。2.计算部分(1)Cpu平均利用率小于50%,(2)内存利用率小于70%,(3)无特别说明CPU、内存按照1:1选型,(4)保证峰值压力。填写计算资源选型表。(2)某业务在某时刻不够用,需要用到什么技术,描述一下该技术的实现步骤答:使用到了弹性伸缩技术+按需使用。cid:link_31.弹性伸缩技术:弹性伸缩(Auto Scaling,以下简称AS)是根据用户的业务需求,通过设置伸缩规则来自动增加/缩减业务资源。当业务需求增长时,AS自动为您增加弹性云服务器(ECS)实例或带宽资源,以保证业务能力;当业务需求下降时,AS自动为您缩减弹性云服务器(ECS)实例或带宽资源,以节约成本。AS支持自动调整弹性云服务器和带宽资源。2.弹性伸缩实现步骤:创建伸缩配置——创建弹性伸缩组——创建伸缩策略一、创建伸缩配置:1、登录管理控制台,2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面,填写弹性伸缩配置信息,您可以选择使用已有云服务 器规格为模板或者使用新模板。二、创建弹性伸缩组: 1. 返回“伸缩实例”页面,单击“创建弹性伸缩组”。 2. 在创建伸缩组页面,填写弹性伸缩组的基本信息,例如,名称、最大实例数、最小实例数、期望实例数等,在高级配置中还可对标签进行配置。 “伸缩配置”选择已创建的伸缩配置。三、创建伸缩策略 1. 在伸缩组所在行的“操作”列下,单击“查看伸缩策略”。 2. 在“伸缩策略”页签,单击“添加伸缩策略”。二、存储部分(1)oceanstore ,1台存储(共24块盘,2块热备,做raid5,每块盘750G),填表格。(题干还有描述raid5最多不超过12块盘;24块盘有2块保险盘;还有表格显示(0,25】是2块高热备,1块低热备)可用容量已用容量利用率多少可用硬盘18*75018/2418(2)前三天频繁掉用,3天后转为归档,对应obs什么功能;2周后自动删除,对应obs什么功能特性 ,怎么部署怎么计费(对应OBS各种特性,大概有5-6句需求描述分别需要对应不同需求指出OBS什么特性)在桶的生命周期管理中进行配置,由于前三天频繁读写,因此在转换为低频访问存储中选择为“不配置”,转换为归档存储配置为3天,对象过期删除配置为14天,计费方式为包年包月。 3、lamp数据库如何选存储?lamp数据库和应用都分别用主机单独部署,请问用什么规格的存储,并说明原因(应用服务器数据存储200g,文件数据增长快)(与老师确认)如果仅基于现有的信息:1.LAMP是指linux+apache+mysql+php(python)的一套简易且稳定的网站搭建工具。Apache服务器:WE应用程序的服务器,当客户端请求的是静态资源时,we服务器会直接把静态资源返回客户端;当客户端请求的是动态资源时,httpd的php模块会进行相应的动态资源运算,如果此过程还需要数据库的数据作为运算参数时,php会连接mysql取得数据然后进行运算,运算的结果转为静态资源并由we服务器返回到客户端。对于应用服务器,由于文件数据增长快,建议还是选用云硬盘(通用SSD型),实时读写,高性价比的云硬盘,可用于高吞吐、低时延的场景。如果有图片或视频类数据,可以考虑将图片、视频类数据存储在OBS中。对于数据库mysql服务器,建议选用云硬盘(超高I/O型),可用于企业关键性业务,适合高吞吐、低时延的场景。三、网络部分(1)给了学校、互联网、教育局和XX四个图标画图,根据描述要求画即可学校和华为云之间要考虑主备线路,子网规划与客户现网不要冲突(2)视频点播,直播分别是两个不同的域名,绑定的同一个ip,后端是两台服务器提供视频点播和视频直播服务。华为云什么服务可以实现该功能,并简要说明步骤ELBhttps://support.huaweicloud.com/qs-elb/zh_cn_elb_02_0001.html共享型负载均衡可以配置基于域名和URL的转发策略,将来自不同域名或者不同URL的请求转发到不同的后端服务器组处理。此功能目前仅支持协议类型为HTTP、HTTPS的监听器。步骤:创建弹性云服务器—搭建后端服务—新建负载均衡器—添加监听器—添加转发策略—验证负载均衡服务假设每次访问的平均页面大小是200K字节,网站的预期目标是每天50W PV的访问量。我们的计算开始:50W PV如果在一天内平均分布,折合到每秒大概是50W/(246060)=6次访问,按照我们之前的假设平均页面大小是200K字节计算,这6次访问总 共就是1200K字节(需要注意的是这个地方是字节),字节的单位是Byte,而带宽的单位是bit,1Byte=8bit,因此1200K Byte大概就是9600K bit,也就是9Mbps(1M=1024K)。在实际的网站运行过程中,我们的网站必须要在峰值流量时保持正常的访问,这里就会用到我们之前的假设,峰 值流量是平均流量的5倍,按照这个计算,实际需要的带宽大约在9Mbps*5=45Mbps左右。具体的计算公式是: 网站独享带宽=一天总的PV值÷ 一天总时间(换算到S)*平均页面大小(单位KB)* 8第一个是3倍峰值,第二个是峰值忽略。(3)填表题(前提有一张图,显示几个业务系统的访问关系)业务系统Vpc及子网划分Vpc及子网与谁访问Acl和安全组规则智慧家校智慧办公智慧教务网上教学注意:上云网段不能重复,安全组做端口放通,ACL做网段限制,限制访问四、数据迁移1.若需要将Oracle数据进一步挖掘和分析,需要将数据导入到数仓中,在华为云上应该怎么完成数据导入,并说明下主要步骤?Oracle迁移至数据仓库(GaussDB)的工具和流程 (CDM/RDS/备份迁移:数据库上传OBS,恢复)1.CDM(1)准备数据(2)创建CDM集群(3)CDM集群绑定EIP (4)创建Oracle连接和DWS连接 (5)创建数据迁移作业(6)查看迁移的数据统计2.使用DRS的实时同步功能将本地Oracle数据库实时同步至华为云GaussDB(for openGauss)。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB(for openGauss)的数据长期同步。(1)迁移至数据仓库的工具:DRS(2)迁移至数据仓库的流程:a) 创建VPC和安全组b) 创建GaussDB(for openGauss)实例c) 迁移前构造数据d) 迁移数据库(创建DRS实例,将本地Oracle上的test_info数据库迁移到GaussDB(for openGauss)实例中test_database_info数据库中)e) 迁移后进行数据校验3.备份迁移存入OBS再转储至DWS步骤:(1)开始(2)上传数据至OBS(3)创建OBS外表(4)执行导入数据(5)处理错误表(6)优化查询效率(7)结束OBS导入导出数据时,暂不支持跨Region进行OBS数据导入导出,必须确保OBS和DWS集群在同一个Region中2.目标数据库应该选择什么类型和部署方式? 华为云服务的哪些特性可以同时既满足高性能,又能满足高可靠性的需求? (多实例+DDM+缓存数据库+一主一备5只读(集群部署))一、数据库本身特性 服务高可用:可用区内部主备、跨可用区主备 数据高可靠:在线存储数据可靠性9个9、备份存储数据可靠性11个9 数据高安全:(1)连接安全:VPC、子网、安全组、VPN、SSL(2)安全管理:管控平台严格做到不碰用户业务数据(3)数据加密:储存数据加密,秘钥严格管理二、用分布式数据库中间件DDM 1、分布式数据库中间件(DDM):分布式关系型数据库,兼容Mysql协议,采用存储计算分离架构的模式,使得存储、计算层可以无限扩展,从而拥有海量数据高并发访问能力。三、采用缓存数据库 采用分布式缓存服务Redis、Memcached对象缓存服务等产品,基于双机热备的高可用架构,基于主备、读写分离、集群等丰富类型的缓存类型,满足用户高并发及数据快速访问的业务需求。3.什么是在线迁移和离线迁移?在线迁移和离线迁移可以分别使用华为云上的什么迁移方法?在线迁移:是指在系统不停机的情况下,将服务器或虚拟机上的系统、服务程序等从自建机房(IDC)或云平台等源环境迁移同步至云上,方便实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等业务需求。在线迁移服务:DRS实时迁移、SMS、OMS离线迁移:在线迁移方法:华为云上:采用数据复制服务DRS做数据库迁移,此外若客户涉及异构数据库迁移,则也可用数据库应用迁移服务UGO做迁移离线迁移方法:DRS备份迁移、镜像导入到OBS再恢复、DES数据快递服务4.两种不同迁移方法,适用场景是什么?本案例中不同的迁移方案分别有哪些需要注意的?cid:link_1cid:link_0https://support.huaweicloud.com/qs-drs/drs_04_0089.html#drs_04_0089__section15921124810611在线迁移: 如果您使用的是全量+增量迁移模式(在线迁移),支持在源数据库有业务数据写入的情况下进行迁移,推荐提前2-3天启动任务,并配合使用技巧和对应场景的操作要求,以确保顺利迁移。离线迁移:如果您使用的是全量迁移模式(离线迁移),确保源和目标数据库无业务写入,保证迁移前后数据一致。全量迁移结合定时启动功能,选择业务低峰期开始运行迁移任务,相对静态的数据,迁移时复杂度将会降低。在线迁移,相当于增加一个从节点并且会做一次全量同步,所以,建议在业务低峰期迁移。本案例中,避开业务高峰期,高峰时不要用在线迁移。数据库还有一个填表题系统自建数据库RDS数据库服务A导入导出B DRS服务等等 C D EA B C DA B C D智慧家校智慧教务智慧办公网上教学数据库迁移:Mysql可以选择上云RDS,迁移工具DRSSqlserver可以选择上云RDS,迁移工具导入导出、goldengate、CBROracle可以选择自建(BMS),迁移工具Goldengate,DataGuard,Rman;可以选择上云,postgre,迁移工具DRS+UGO,备份迁移,导到OBS桶,OBS导入同构数据库(DRS或IMS调用)二、方案题:银行业务三大系统上云,和课上讲的例子相近,在沿海,之前数据中心被淹导致数据丢失,希望能够今后不再出现此类情况,总体难度不大。主备云VPN 双活 两地三中心
他的回复:
四、数据库4.1 LNMP LAMP开数据库LAMP:Linux + Apache + MySQL+php的组合方式LNMP:Linux + Nginx + MySQL+php的组合方式LAMP和LNMP最主要的区别在于:一个使用的是Apache,一个使用的是Nginx。Linux 开源免费软件,作为网站的操作系统 Apache/Nginx Web服务器软件 MySQL 多线程多用户的数据库管理系统,用来存放数据 PHP 服务器端的应用程序软件,快速执行动态网页LAMP:使用的是Apache,Apache是世界是用排名第一的Web服务器软件,其几乎可以在所有广泛使用的计算机平台上运营,由于其跨平台和安全性被广泛使用,是最流行的Web服务端软件之一。相比于nginx,apache有些臃肿,内存和CPU开销较大,性能上有损耗,nginx对于静态文件的响应能力远高apache。 Apache是负载PHP的最佳选择,如果流量很大的话,可以使用nginx来负载非PHP的Web请求。。LNMP:使用的是Nginx,Nginx是一款高性能额Http和反向代理服务器,也是一个AMAP/POP3/SMTP服务器。nginx使用资源更少,支持更多并发连接,效率更高,作为负载均衡服务器。nginx即可对内进行支持,也可对外进行服务,安装简单。总之:1、LNMP方式的优点:占用VPS资源较少,Nginx配置起来也比较简单,利用fast-cgi的方式动态解析PHP脚本。缺点:php-fpm组件的负载能力有限,在访问量巨大的时候,php-fpm进程容易僵死,容易发生502 bad gateway错误。2、基于 LAMP 架构设计具有成本低廉、部署灵活、快速开发、安全稳定等特点,是 Web 网络应用和环境的优秀组合。若是服务器配置比较低的个人网站,当然首选 LNMP 架构。当然,在大流量的时候。把Apache和Nginx结合起来使用,也不失为一个不错选择。五、容器5.1 容器化改造、拓扑及网络规划1:负载均衡应用改造点:选择合适的负载均衡器中小型的Web应用可以使用ngnix或HAProxy,大型网站或重要的服务可以使用LVS,目前该企业业务较小,选取nginx作为负载均衡器!2:web应用改造点:应用存在长时间执行请求 增加消息队列,通过消息队列将长任务与用户请求解耦3:应用服务器应用改造点:应用实例依赖于本地的存储来持久化数据如果是日志,建议变成流汇聚到分布式日志系统中。如果必须要使用存储,要使用共享文件系统如NFS可以利用namespace创建虚拟集群,namaspace之间可以完全隔离,也可以通过某种方式,让一个namespace中的service访问其他namespace中的服务。业务拓扑:网络规划:Step1:kube-proxy、core-dns从Master中kube-apiserver订阅service,POD2的Service创建时,kube-proxy刷新本节点iptables,core-DNS更新路由数据。Step2:Pod2通过域名访问Pod4的service4,发起到core-dns查询请求,并获取对应的ClusterIP(如果使用ClusterIP直接访问则忽略这一步骤)Step3:Pod2发送业务报文,目的地址为获取到的ClusterIP。容器网络根据目的地址匹配策略后进行VxLAN封装,封装源地址为容器所在的VM IP地址,目的地址为目的容器所在VM IP,并将报文发给I层vSwitch,然后转发至目的容器所在VM,容器网络解VxLAN封装后,根据ClusterIP将业务报文发送目的service及POD。5.2 容器的高可用原理,原理图一、容器集群高可用部署原理:1.CCE高可用集群采用分别在3个AZ中部署三套Master节点方式;2.应用AZ内高可用部署,通过ClusterIP服务调用不跨AZ。3.应用发布LoadBalancer类型的Service对接到集群所在AZ的融合ELB服务实例;4.应用通过VIP访问数据库,数据库自动切换应用不感知。5.支持多AZ动态容器存储,根据pod所在AZ创建数据卷。高可用架构原理图:二、容器实例高可用容器高可用依赖于多实例部署,在合理配置反亲和后,如果发生单实例、单节点、单AZ故障,业务均不受影响。 容器多实例可以实现多节点、多可用区部署5.3 视频存储容器化一.存储容器化存储作为基础组件,直接和本地盘打交道,所以我们一个要解决的事情就是如果Kubernetes 管理本地盘。kubernetes管理本地盘通过官方提供的local-static-provisioner自动生成LocalPersistentVolume管理磁盘。LocalPersistentVolume是Kubernetes提供的一种管理本地盘的资源。5.1 使用Statefulset管理存储容器通过statefulset 管理有状态的存储服务, 为每个pod分配一个单独的磁盘可以使用volumeClaimTemplates给每个pod生成唯一的pvc,具体规则{podName},事先准备好PVC 和 PV,通过Statefulset 我们就可以把我们的存储托管到云上了。另外借助daemonset,可以把我们gateway模块部署到每一个node上面。处理云存储的请求。5.2 存储容器化的收益1)降低运维成本基于Kubernetes和statfulset获得了滚动更新,灰度更新,健康检查,快速扩容等功能,只需要一组yaml文件就可以快速搭建一个集群,相比于传统写ansible脚本部署的方式复杂度大大降低。2)降低开发运维成本由于Kubernetes把存储抽象成StorageClass PersistentVolume PersistentVolumeClaim。我们可以通过他们管理我们的存储资源,基于Kubernetes lable的过滤功能,可以实现简单的关系查询,通过PVC与PV管理存储资源,减少管理端的开发。定位问题也能通过POD信息快速定位到问题机器和问题云盘。而且接入Kubernetes生态上的prometheus后,监控告警也能快速开发。3)隔离性增强docker限制cpu memory使用,减少进程之间资源互相干扰,进一步提升资源利用率。在做流媒体容器化过程中,各个系统 Portal 平台、中间件、ops 基础设施、监控等都做了相应的适配改造,改造后的架构矩阵如下图所示。1. Portal:流媒体 的 PaaS 平台入口,提供 CI/CD 能力、资源管理、自助运维、应用画像、应用授权(db 授权、支付授权、应用间授权)等功能。2.运维工具:提供应用的可观测性工具, 包括 watcher(监控和报警)、bistoury (Java 应用在线 Debug)、qtrace(tracing 系统)、loki/elk(提供实时日志/离线日志查看)。中间件:应用用到的所有中间件,mq、配置中心、分布式调度系统 qschedule、dubbo 、mysql sdk 等。3.虚拟化集群:底层的 K8s 和 OpenStack 集群。4.Noah:测试环境管理平台,支持应用 KVM/容器混合部署。一.CI/CD 流程改造主要改造点:应用画像: 把应用相关的运行时配置、白名单配置、发布参数等收敛到一起,为容器发布提供统一的声明式配置。授权系统: 应用所有的授权操作都通过一个入口进行,并实现自动化的授权。K8s 多集群方案: 通过调研对比,KubeSphere 对运维优化、压测评估后也满足我们对性能的要求,最终我们选取了 KubeSphere 作为多集群方案。二.中间件适配改造改造关注点:由于容器化后,IP 经常变化是常态,所以各个公共组件和中间件要适配和接受这种变化。Qmq组件改造点:Broker端加快过期数据的处理速度。原因:由于IP变化频繁,对于一个主题有几百个甚至上千个的IP订阅,会产生很多文件Qconfig/Qschedule组件改造点:按实例级别的推送、任务执行在容器场景下不建议使用 。原因:因为IP经常变化,在容器化场景下发布、pod驱逐等都会导致IP变化,按实例维度推送没有意义Dubbo组件改造点:更改上线下线逻辑,下线记录由永久节点改为临时节点。 原因:上下线机制加上频繁的IP变更会导致zookeeper上产生大量的过期数据Openresty改造点:监听多K8s集群的endpoint变更,并更新到upstream; KVM、容器server地址共存,支持KVM和容器混合部署;三应用平滑迁移方案设计为了帮助业务快速平滑地迁移到容器,制定了一些规范和自动化测试验证等操作来实现这个目标。1.容器化的前置条件: 应用无状态、不存在 post_offline hook(服务下线后执行的脚本)、check_url 中不存在预热操作。2.测试环境验证: 自动升级 SDK、自动迁移。我们会在编译阶段帮助业务自动升级和更改 pom 文件来完成 SDK 的升级,并在测试环境部署和验证,如果升级失败会通知用户并提示。3.线上验证: 第一步线上发布,但不接线上流量,然后通过自动化测试验证,验证通过后接入线上流量。4.线上 KVM 与容器混部署:保险起见,线上的容器和 KVM 会同时在线一段时间,等验证期过后再逐步下线 KVM。5.线上全量发布: 确认服务没问题后,下线 KVM。6.观察: 观察一段时间,如果没有问题则回收 KVM。六、迁移6.1 Oracle数据库迁移上云和迁移到数仓的工具和流程利用华为云云数据库RDS和分布式数据库中间件DDM完成Oracle应用迁移上云,提高访问效率,轻松应对高并发的实时交易场景,若采用工具流:Oracle Golden Gate/Data guard/Always On/数据库自带迁移工具等 若采用公有云服务:DRS数据复制服务(偏同构数据库)1、Oracle数据库迁移上云的工具和流程迁移上云的工具5Oracle数据库可以使用OGG迁移上云流程Oracle GoldenGate 数据复制过程如下:利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。目标端有一个进程叫Server Collector,这个进程接受了从源端传输过来的数据变化信息把信息缓存到GoldenGate 队列文件(trail file)当中,等待目标端的复制进程读取数据。GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息,并创建对应的SQL语句,通过数据库的本地接口执行,提交到目标端数据库,提交成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。2、Oracle迁移至数据仓库(GaussDB)的工具和流程使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB(for openGauss)。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB(for openGauss)的数据长期同步。(1)迁移至数据仓库的工具:DRS(2)迁移至数据仓库的流程:创建VPC和安全组创建GaussDB(for openGauss)实例迁移前构造数据迁移数据库(创建DRS实例,将本地Oracle上的test_info数据库迁移到GaussDB(for openGauss)实例中test_database_info数据库中)迁移后进行数据校验PS:补充业务架构和迁移原理(防止考到)1、业务架构图2、迁移原理次实践使用全量+增量同步功能,原理如下:全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。启动全量迁移任务。全量迁移完成后自动进入增量同步,从全量迁移开始抽取的位点开始回放。当增量回放全部完成后,启动比对任务进行一致性检查,支持实时比对。实时比对数据一致时,可以启动业务割接。6.2 在线迁移和离线迁移的对比在线迁移:是指在系统不停机的情况下,将服务器或虚拟机上的系统、服务程序等从自建机房(IDC)或云平台等源环境迁移同步至云上,方便实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等业务需求。@离线迁移:(1)离线实例迁移:将系统盘镜像(若需同时迁移实例已挂载的数据盘,则可将系统盘镜像和数据盘镜像)迁入至指定的云服务器。(离线数据迁移)将数据盘镜像迁入至指定的云硬盘。区别:离线迁移需要先将源端服务器的系统盘或数据盘制作成镜像,再将镜像迁移至您指定的云服务器或云硬盘。在线迁移无需制作镜像,直接在源端服务器运行迁移工具,即可将源端服务器迁移至指定的云服务器。 在线迁移、离线迁移对比三方面:成本、效率、安全性。成本:大规模数据的迁移需要耗费大量传输资源,就是网络,成本较高,因此数据量太大有时不适合在线传输。效率:效率受网速限制,如通过网络转移1EB的数据大约需要26 年,而用十辆卡车可以将传输时间降至6个月内安全:利用云计算的黑客攻击愈发频繁,尤其像金融等传统客户是不放心数据在线迁移的。在线迁移工具:技术流:Oracle系统迁移(自带)Oracle Golden Gate/ Data Guard(DG),MS Always On……服务流:采用数据复制服务DRS做数据库迁移,此外若客户涉及异构数据库迁移,则也可用数据库应用迁移服务UGO做迁移离线迁移工具:DES数据快递服务、OBS对象存储6.3 迁移步骤、迁移工具迁移整体流程 迁移前作信息收集+风险容量评估 (软硬件版本、规格、参数、性能容量、兼容性+迁移风险点等作信息收集) 迁移方案制定 (确定迁移方式、迁移工具、迁移团队、迁移时间、回退方案等) 迁移方式:P2P/P2V/V2P/V2V(根据客户实际场景决定) 迁移预实施+整体逐步逐层实施 (利用迁移方案预实施少量节点---分批次(业务系统最后)+分层次(数据层最后)进行整体迁移) 迁移后业务测试+数据检验 (对于迁移业务进行业务拉起和连通性测试+网络质量+数据完整度等) 迁移现场保障+后期维保 (迁移完成后需留场进行业务保障-后续业务在维保期继续关注) 项目验收 三大层次迁移工具或服务选择: 1. 数据层迁移 若采用工具流:可使用HyperReplication/HyperMetro/LUN COPY/ eReplication… 若采用公有云服务:可使用DES数据快递服务; 2. 平台层(数据库迁移为例) 若采用工具流;Oracle Golden Gate/Data guard/Always On/数据库自带迁移工具等 若采用公有云服务:DRS(偏同构数据库)+UGO(偏异构数据库-可翻译为GaussDB统一命令) 3. 应用层 工具流:eBackup/Rainbow等… 服务流:SMS主机迁移服务 备份保护容灾类服务 单机备份服务:CSBS(云主机备份)---VBS(云硬盘备份) 容灾服务:SDRS(同region,跨AZ的本地容灾)---CBR(可实现同/跨region的异地容灾) 云主机:ECS、专属主机:DEH 云硬盘:EVS 专属分布式存储:DSS 4大辅助业务(CES云监控、CTS云审计、LTS云日志、CBH堡垒机)考点18:容器和虚拟机的区别1、容器主机必须有OS环境2、容器没有虚拟化软件3、容器应用镜像来自公共、私有、社区HUB4、容器引擎直接安装镜像---运行实例5、容器无需安装OS、无需做任何配置容器和虚拟机的优势对比1、容器占用空间是MB级别,虚拟机是GB级别2、容器的运行速度是秒级,虚拟机是分钟级3、容器的安全性不如计算虚拟化4、容器创建数量无上限,虚拟机受限于hypervisior容器的最大价值(CCI+CCE)1、无服务器架构2、预装好具备容器编排能力的平台考点19:K8s和vpc组网关系 Kubernetes本身并不负责网络通信,Kubernetes提供了容器网络接口CNI,具体的网络通信交给CNI插件来负责,开源的CNI插件非常多,像Flannel、Calico等,华为云CCE也专门为Kubernetes定制了CNI插件,使得Kubernetes可以使用华为云VPC网络。通过ELB中转一次连K8s-MasterElb不能直接连master节点,而elb连Service又必须得带selector。那就只能额外部署一个proxy容器,使用selector先到这个proxy容器,再转到Master考点20:什么业务适合做容器化1.轻量级的应用系统、丢失数据不敏感业务适合上容器化平台。几类应用比较适合容器化部署:一是功能单一的应用,即微服务(这也是为什么现在大家一谈到微服务就会谈到容器,一谈到容器就会谈到微服务的原因 );二是无状态的应用,容器的一个最大的优点就是可以快速创建(秒级),对于无状态的应用,可以通过快速横向扩容来提升并发处理能力;三是变更频繁的应用,容器是基于镜像创建的,对于变更频繁的应用,只要能保证镜像在测试环境测试没有问题,那么在生产环境上线由于环境差异导致出问题的概率就会少的多;四是对于需要在一个站点快速部署的应用组,对于需要在一个新站点快速部署的应用组,使用容器技术能够结合容器平台自身的特性,快速创建一个新的站点。2.重量级的中间件、oracle数据库、对数据持久化有强需求的应用、传统行业核心应用不适合容器化。使用容器部署应用,建议的上容器顺序如图所示:考点21:哪些云服务在子网里面,哪些在az里面,哪些是整个region级的region:ELB、NAT、AS、云监控、云容器……az:云硬盘、云硬盘备份、SFS……子网:ECS、物理机服务DRS 跨REGIONSDRS 跨AZOBS 跨REGION复制考点22:vpc内部组网和外部公网入口怎么做,dns怎么做,elb怎么部署(以图示例)考点23:数据库高性能用哪种,怎么部署怎么计费?1、用分布式数据库中间件(DDM)2、部署过程基本架构就是DDM下挂多个Mysql实例,包括只读实例和写实例:步骤一:购买数据库中间件实例及RDS for MySQL实例步骤二:创建逻辑库并关联RDS for MySQL实例步骤三:创建DDM帐号步骤四:连接DDM逻辑库3、计费包年包月/按需付费(小时)考点24:传统视频网站怎么部署,用什么产品
他的回复:
D-LAB知识点总结1、块存储、文件存储、对象存储原理及特性。相互比较。2、raid计算题,raid和存储热备盘要吃透,raid10,raid5,raid6,热备盘,冷热备份盘的问题,raid6和raid10得可用空间计算RAID 6C = (n-2)*d其中:C = 可用容量n = 磁盘数d = 磁盘容量例如,如果一个 RAID 6 阵列中包含五个驱动器,每个驱动器的容量为 1000GB,则阵列的总容量为 3,000GB:C = (5-2)*1000RAID 10C = (n*d)*2C = 可用容量n = 磁盘数d = 磁盘容量3、VPN组网、原理分析4、容器化改造及拓扑5、高可用组网——计算6、Oracle数据库迁移上云和迁移到数仓的工具和流程7、在线迁移和离线迁移的对比,分别有哪些工具,需要注意什么8、容器的高可用原理,原理图9、弹性伸缩也考到了,实施步骤10、IP规划、子网规划11、迁移步骤、迁移工具12、LNMP LAMP开数据库13、OBS的具体特性,前三天频繁掉用,3天后转为归档,对应obs什么功能;2周后自动删除,对应obs什么功能特性 ,怎么部署怎么计费,生命周期怎么改通过生命周期管理14、网络类型和速率计算,除了云专线和vpn,还有我们平时销售ipran pon15 管理业务双平面16.视频存储容器化17.测带宽的题目,告诉你PV值,单次访问流量,算带宽18.容器和虚拟化的区别和共同点19.k8s网络和vpc的组网的关系20.什么业务适合容器化21.哪些云服务在子网里面,哪些在az里面,哪些是整个region级的22.vpc内部组网和外部公网入口怎么做,dns怎么做,elb怎么部署23.数据库高性能用那种24.传统视频网站怎么部署,用什么产品经验分享:一、计算1.1 创建弹性伸缩的流程创建伸缩配置:1、登录管理控制台,2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面,填写弹性伸缩配置信息,您可以选择使用已有云服务 器规格为模板或者使用新模板。 创建弹性伸缩组: 1. 返回“伸缩实例”页面,单击“创建弹性伸缩组”。 2. 在创建伸缩组页面,填写弹性伸缩组的基本信息,例如,名称、最大实例数、最 小实例数、期望实例数等,在高级配置中还可对标签进行配置。 其中,“伸缩配置”选择已创建的伸缩配置。创建伸缩策略 1. 在伸缩组所在行的“操作”列下,单击“查看伸缩策略”。 2. 在“伸缩策略”页签,单击“添加伸缩策略”。通过伸缩控制可以实现弹性云服务器(ECS)实例伸缩和带宽伸缩:伸缩控制:配置策略设置指标阈值/伸缩活动执行的时间,通过云监控监控指标是否达到阈值,通过定时调度,实现伸缩控制。配置策略:可以根据业务需求,配置告警策略/定时策略/周期策略。配置告警策略:可配置CPU、内存、磁盘、入网流量等监控指标。配置定时策略:通过配置触发时间可以配置定时策略。配置周期策略:通过配置重复周期、触发时间、生效时间可以配置周期策略。云监控监控到所配置的告警策略中的某些指标达到告警阈值,从而触发伸缩活动,实现ECS实例的增加/减少或带宽的增大/减小。到达所配置的触发时间时,触发伸缩活动,实现ECS实例的增加/减少或带宽的增大/减小。二、存储2.1 块存储、文件存储、对象存储原理及特性。相互比较SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景。NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。利用FTP+TFTP协议进行上传下载,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据作为后端存储为客户打造的离线存储系统,性价比高……)维度 对象存储服务 云硬盘 弹性文件服务 概念 提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 存储数据的逻辑 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。 存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 访问方式 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 使用场景 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 容量 EB级别 TB级别 PB级别 时延 10ms 亚毫秒级 3~10ms IOPS/TPS 千万级 单盘 128K 单文件系统 10K 带宽 TB/s级别 MB/s级别 GB/s级别 是否支持数据共享 是 是 是 是否支持远程访问 是 否 是 是否支持在线编辑 否 是 是 是否能单独使用 是 否 是 2.2 raid计算题,raid和存储热备盘要吃透,raid10,raid5,raid6,热备盘,冷热备份盘的问题,raid6和raid10得可用空间计算RAID 0 100%,RAID 1 50%,RAID 3和5 (N-1)/n,RAID 6 (N-2)/nRAID 10 50%级别特征原理单元冗余性能利用率最多坏用途缺陷RAID0条带分片分散存入2块硬盘2否读写速度2倍100%0/2SWAP/TMP不冗余,数据难恢复RAID1镜像相同数据存入2块硬盘2是写速度不变读速度2倍50%1/2数据备份读写速度没加,利用率低RAID3校验分片分散存入2块硬盘校验码存入第3块硬盘3是读写速度2倍2/3=66%1/3用的很少1. 坏盘时另外2块需要重新计算还原坏盘数据2. 校验码盘压力大成为瓶颈RAID5校验分片和校验码混合存储3是读写速度2倍2/3=66%1/3用的不多坏盘时另外2块需要重新计算还原坏盘数据RAID6校验分片盘校验码盘分别2个数据分片校验码计算2次4是读写速度2倍2/42/41∈2用的很少“部队中有一半是搞后勤的,感觉还是不太爽。”RAID101+02块硬盘1组先做RAID1多组RAID1再做RAID04是读写速度N倍N为组数2/42/41∈2用的最多-RAID505+03块硬盘1组先做RAID5多组再做RAID06是读写数读2N倍N为组数4/62/61∈3土豪用的“好是好,就是贵!” (备注:raid5,6的利用率见下图)raid5和raid6:raid5:一组分散在不同条带上的奇偶校验数据;允许一块盘故障,两块及以上故障,整个raid故障;RAID 5是RAID 0和RAID 1的折衷方案raid6:存在两组独立的分散在不同条带上的校验数据,两组独立的奇偶校验数据;允许两块盘故障;安全性较高,性能稍差,硬盘利用率较低raid5写的性能比raid10好,读的性能不如raid10;raid6双重数据校验,运算负担大,读写性能不如raid5;raid5利用率为n-1/n(n>2),raid6利用率为n-2/n(n>3)热备盘:原理: 热备盘相当于帮Raid阵列多做多个备份,如果Raid陈列里其中一个盘坏了,这个热备盘就会顶替Raid里的那个坏盘,同时利用异或校验算法,把坏盘上面的数据原样做出来并存储在热备盘中。这样一来就等于Raid没受到损坏,然后你再找个一个同样的盘把坏盘替换掉,Raid和热备盘的状态又正常了!热备盘的类型: Global Hotspare:即全局热备盘,为RAID卡上所有已配置的RAID所共有,1块RAID卡中可配置1个或多个全局热备盘。当任意RAID内的与热备盘同类型的硬盘故障时,全局热备盘均可自动替代。 Dedicated Hotspare:即局部热备盘,为RAID卡上某个指定的RAID所专有,每个RAID都可以配置1个或多个局部热备盘。当指定RAID内的与热备盘同类型的硬盘故障时,局部热备盘可自动替换。冷备盘: 以 2 盘的 RAID1 为例。假如坏掉了一块盘,RAID1 阵列将只有 1 块盘在正常运行,这时的 RAID1 阵列将处于降级(Degraded)状态,也就意味着当前阵列已无容错冗余能力,虽然还能继续运行,但是数据已经不安全,需要人为干预进行修复。只需要拔出坏掉的硬盘,换一块相同容量的、好的硬盘插上去,RAID1 阵列就会自动开始恢复重建过程。简单来说,就是将剩余 1 块盘中的数据重新拷贝到新换上的这块盘中。根据硬盘大小的不同,阵列恢复重建过程将从十几小时到几十小时不等。那么,换上的这块硬盘,不管是从抽屉里拿出来的还是去科技市场买了一块新的,都是通过人为操作插入到整个阵列里的。在出问题之前,这块盘就冷冷的躺在抽屉里而并不会通电,这块盘就叫冷备盘(Cold Spare)。2.3 obs设置标准转低频,低频转归档生命周期管理可适用于以下典型场景:(1)周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。(2)某些文档在一段时间内经常访问,但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储,归档存储或者删除。生命周期管理可以按对象名前缀进行设置规则,也可以在整个桶上设置规则。生命周期管理功能支持数据从当前版本转换为低频访问存储、转换为归档存储,以及数据进行过期删除。您可以指定在对象最后一次更新后多少天,受规则影响的对象将转换为低频访问存储、归档存储或者过期并自动被OBS删除。转换为低频访问存储的时间最少设置为30天,若同时设置转换为低频访问存储和转换为归档存储,则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天,例如转换为低频访问存储设置为33天,则转换为归档存储至少需要设置为63天。对象存储类别转换限制:仅支持将标准存储对象转换为低频访问存储对象,低频访问存储对象转换为标准存储对象需手动转换。仅支持将标准存储或低频访问存储对象转换为归档存储对象。如果要将归档存储对象转换为标准存储或低频访问存储对象,需要手动恢复对象,然后手动转换存储类别。三、网络3.1 VPN组网、原理分析 VPN(Virtual Private Network,虚拟专用网)是一种在公用网络上建立专用网络的技术。它之所以称之为虚拟网,主要是因为VPN的两个节点之间并没有像传统专用网那样使用端到端的物理链路,而是架构在公用网络如Internet之上的逻辑网络,用户数据通过逻辑链路传输。 按照VPN协议分,常见的VPN种类有:IPsec、SSL、GRE、PPTP和L2TP等。其中IPsec是通用性较强的一种VPN技术,适用于多种网络互访的场景。 IPsec VPN是指采用IPsec实现远程接入的一种VPN技术,通过在公网上为两个或多个私有网络之间建立IPsec隧道,并通过加密和验证算法保证VPN连接的安全。 IPsec VPN保护的是点对点之间的通信,通过IPsec VPN可以在主机和主机之间、主机和网络安全网关之间或网络安全网关(如路由器、防火墙)之间建立安全的隧道连接。其协议主要工作在IP层,在IP层对数据包进行加密和验证。 相对于其他VPN技术,IPsec VPN安全性更高,数据在IPsec隧道中都是加密传输,但相应的IPsec VPN在配置和组网部署上更复杂。IPsec的工作原理大致可以分为4个阶段:识别“感兴趣流”。网络设备接收到报文后,通常会将报文的五元组等信息和IPsec策略进行匹配来判断报文是否要通过IPsec隧道传输,需要通过IPsec隧道传输的流量通常被称为“感兴趣流”。协商安全联盟(Security Association,以下简称SA)。SA是通信双方对某些协商要素的约定,比如双方使用的安全协议、数据传输采用的封装模式、协议采用的加密和验证算法、用于数据传输的密钥等,通信双方之间只有建立了SA,才能进行安全的数据传输。识别出感兴趣流后,本端网络设备会向对端网络设备发起SA协商。在这一阶段,通信双方之间通过IKE协议先协商建立IKE SA(用于身份验证和密钥信息交换),然后在IKE SA的基础上协商建立IPsec SA(用于数据安全传输)。数据传输。IPsec SA建立成功后,双方就可以通过IPsec隧道传输数据了。IPsec为了保证数据传输的安全性,在这一阶段需要通过AH或ESP协议对数据进行加密和验证。加密机制保证了数据的机密性,防止数据在传输过程中被窃取;验证机制保证了数据的真实可靠,防止数据在传输过程中被仿冒和篡改。 如图所示,IPsec发送方会使用加密算法和加密密钥对报文进行加密,即将原始数据“乔装打扮”封装起来。然后发送方和接收方分别通过相同的验证算法和验证密钥对加密后的报文进行处理得到完整性校验值ICV。如果两端计算的ICV相同则表示该报文在传输过程中没有被篡改,接收方对验证通过的报文进行解密处理;如果ICV不相同则直接丢弃报文。MPLS VPN:使用场景在运营商骨干网络上提供L3VPN业务,利用BGP协议发布路由信息,在骨干网内部使用MPLS转发VPN报文。概念CE(Consumer Edge):用户边缘路由器,与运营商网络直接相连的路由器。 感知不到VPN的存在,一个CE设备只能对应一个VPN 主要功能就是将VPN客户的路由通告给PE,以及从PE学习同一个VPN下其他站点的路由PE(Provider Edge):运行商(骨干网)边缘路由器,与用户网络相连的路由器。 负责VPN业务接入,处理VPN-IPV4路由 使用VRF对VPN客户进行隔离 通过与客户设备CE进行路由协议,以便获取客户路由,并将路由生成VPNv4前缀放入MPLS VPN骨干网传递到对端PEP(Provider):骨干网路由器,与PE或其他P相连。 负责快速转发数据 不知道VPN客户网络,以及客户的路由。只负责在骨干网内运载标签数据VRF(Virtual Router Forwarding):PE上的虚拟路由器(路由进程)。 一张独立的路由表,包括独立的地址空间 一组归属于这个VRF的接口的集合, 一组只用于本VRF的路由协议 一个VPN对应一个VRFRD(Route-Distinguisher):路由标识符 BGP进程用该字段区分不同VPN,有了RD后就可以解决不同VPN之间的IP地址重叠问题,VPN用户的IP地址不再是整个系统全局唯一,而是VPN内唯一即可。RT(Route-Target) 每个VRF表达自己的路由输出和输出方式,主要用于控制VPN路由的发布和安装策略。3.2 高可用组网——计算虚拟机高可用高并发场景的组网——李赛:负载均衡方案:1.在VPC/子网内创建弹性负载均衡实例作为服务接口对外提供3.3 IP规划、子网规划3)公网与私网IP 公网IP:在Internet上的计算机使用的IP地址是全球统一规划的,称为公网地址。 私网IP:在企业、学校等内网通常使用保留的私网地址。 1)为什么设置私网IP? 因为IPV4的地址数量不足,同时在最初分类IP设计中的缺陷,导致在网络不断发展中,IP地址匮乏严重。于是,提出了私网IP,即保留一部分IP作为私网IP,这些IP可以再内网中使用,不同内网都可以使用这些IP(即复用,只要一个内网中地址互相区别,不同内网可复用),则无形中仿佛增加了IP数量。 2)哪些是私网IP地址 A类:10.0.0.0-10.255.255.255,掩码 255.0.0.0; B类:172.16.0.0-172.31.255.255,掩码 255.255.0.0; C类:192.168.0.0-192.168.255.255,掩码 255.255.255.0 3)如果内网使用私网IP标识主机,这些主机如何访问Internet? 对于私网地址,由于不同内网中复用,因为不能在Internet访问中使用,否则会引发冲突。那如何解决该问题,即NAT技术(Network Address Translator),其作用是将私网IP转换为公网IP,当然提供有多种NAT技术。 子网划分 什么是子网? 子网(subnet),将一个大的网络划分成几个较小的网络,每一个网络都有其自己的子网地址; 2) 为什么进行子网划分? IP地址的有效利用率问题 路由器的工作效率问题 通过在子网中包含广播流量来控制流量 减少整体网络流量并提高网络性能3)如何进行子网划分? 基本思路: 子网划分是在分类的IP基础上提出的,对于分类IP其网络位已确定,想进一步进行子网划分,则考虑借用主机位作为子网位,从而形成三层地址结构,即网络位,子网位,主机位,利用网络位与子网位共同来标识网段。 借位规则: 1 从高位向低位依次连续借位 2 至少主机位留2位,因为主机位全0和主机位全1的IP地址需保留 3 借位与什么相关? 1) 需要划分的子网数量; 2) 子网中主机的数量 如何把所划分的子网表达出来,即标识子网网段? 子网掩码:子网掩码与IP地址进行与运算其结果即为网络地址,将掩码进行扩展,网络位与子网位置1,主机位置0. A类地址默认子网掩码:255.0.0.0 B类地址默认子网掩码:255.255.0.0 C类地址默认子网掩码:255.255.255.0 子网划分方法: 等长子网划分 等长子网划分就是将一个网段等分成多个网段,也就是等分成多个子网。 子网划分就是借用现有网段的主机位做子网位,划分出多个子网。子网划分的任务包括两部分: 1)确定网络掩码的长度。 2)确定子网中第一个可用的IP地址和最后一个可用的IP地址。 2 可变长子网划分VLSM 现实中,不同子网的主机数量不同,等长子网划分比较简单,但是地址存在浪费,基于不同子网的IP需求,对于不同子网采用不同的子网长度。 基本步骤: 1)首先,根据子网中最大的IP需求量,先对网络划分子网。 2)然后,再根据具体情况,将子网进一步划分子网。 3)根据需要重复此过程,以创建不同大小的子网。 子网合并 把多个网络(子网)的网络位当做主机位,将多个网络(子网)合并成一个大的网络(子网),其目标可对于路由表中的项目进行合并,增加路由效率。 如何合并?什么样的能合并? 核心:相同前缀,连续地址 路由匹配:最长前缀匹配 (思考?认真体会一下这一点)3.4 网络类型一、云专线:云专线(Direct Connect)用于搭建用户本地数据中心与华为云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用华为云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合云计算环境。云专线服务具有以下几大产品优势:高安全:用户使用云专线接入华为云上VPC,使用专享私密通道进行通信,网络隔离,安全性极高。低时延:专用网络进行数据传输,网络性能高,延迟低,用户使用体验更佳。支持大带宽:华为云专线单线路最大支持100Gbps带宽连接,满足各类用户带宽需求。资源无缝扩展:通过云专线将用户本地数据中心与云上资源互联,形成灵活可伸缩的混合云部署。必须使用单模的1GE、10GE、40GE或100GE的光模块与华为云的接入设备对接。同时,需要提前与华为云专线POP点对齐LC、波长、距离等关键参数。光模块参数举例:1GE LC 单模 1310nm 10KM。必须禁用端口的自动协商功能,同时必须手动配置端口速度和全双工模式。必须跨整个连接 (包括中间设备) 支持 802.1Q VLAN 封装。可以支持BGP或者静态路由对接,您的设备须支持边界网关协议(BGP)和BGP MD5认证或支持静态路由。(可选) 您可以在网络上配置双向转发检测 (BFD)。在物理连接层上支持的最大传输单位 (MTU) 高达 1522 字节 (14 字节以太网标头 + 4 字节 VLAN 标记 + 1500 字节 IP 数据报 + 4 字节 FCS)。推荐参数值:1500。二、VPN:虚拟专用网络(Virtual Private Network,以下简称VPN),用于在远端用户和虚拟私有云(Virtual Private Cloud,以下简称VPC)之间建立一条安全加密的公网通信隧道。当您作为远端用户需要访问VPC的业务资源时,您可以通过VPN连通VPC。默认情况下,在虚拟私有云(VPC)中的弹性云服务器无法与您自己的数据中心或私有网络进行通信。如果您需要将VPC中的弹性云服务器和您的数据中心或私有网络连通,可以启用VPN功能。VPN由VPN网关、对端网关和VPN连接组成,VPN网关提供了虚拟私有云的公网出口,与用户本地数据中心侧的对端网关对应。VPN连接则通过公网加密技术,将VPN网关与对端网关关联,使本地数据中心与虚拟私有云通信,更快速、安全的构建混合云环境。优势:高安全:采用华为专业设备,基于IKE和IPsec对传输数据加密,提供了电信级的高可靠性机制,从硬件、软件、链路三个层面保证VPN服务的稳定运行。无缝扩展资源:将用户本地数据中心与云上VPC互联,业务快速扩展上云,实现混合云部署。连通成本低:利用Internet构建IPsec加密通道,使用费用相对云专线服务更便宜。即开即用:即开即用,部署快速,实时生效,在用户数据中心的VPN设备进行简单配置即可完成对接三、IPRAN:IP RAN 的意思是“无线接入网IP化”。IP 指的是互联协议,RAN指的是Radio Access Network。相对于传统的SDH传送网,IPRAN是基于IP的传送网的。IP RAN是针对IP化基站回传应用场景进行优化定制的路由器/交换机整体解决方案。在城域汇聚/核心层采用IP/MPLS技术,接入层主要采用二层增强以太技术,或采用二层增强以太与三层IP/MPLS相结合的技术方案。IP RAN技术的特点及优势:1、端到端的IP化:端到端的IP化使得网络复杂度大大降低,简化了网络配置,能极大缩短基站开通、割接和调整的工作量。2、端到端IP减少了网络中协议转换的次数,简化了封装解封装的过程,使得链路更加透明可控,实现了网元到网元的对等协作、全程全网的OAM管理以及层次化的端到端QoS。IP化的网络还有助于提高网络的智能化,便于部署各类策略,发展智能管道。3、更高效的网络资源利用率:面向连接的SDH或MSTP提供的是刚性管道,容易导致网络利用率低下。而基于IP/MPLS的IPRAN不再面向连接,而是采取动态寻址方式,实现承载网络内自动的路由优化,大大简化了后期网络维护和网络优化的工作量。4、多业务融合承载:IPRAN采用动态三层组网方式,可以更充分满足综合业务的承载需求,实现多业务承载时的资源统一协调和控制层面统一管理,提升运营商的综合运营能力。四、PONPON是一种典型的无源光纤网络,是指 (光配线网中) 不含有任何电子器件及电子电源,ODN全部由光分路器 (Splitter) 等无源器件组成,不需要贵重的有源电子设备。一个无源光网络包括一个安装于中心控制站的光线路终端 (OLT),以及一批配套的安装于用户场所的光网络单元 (ONUs) 。目前广泛使用的PON技术在现有的网络包括两种主流技术:EPON和GPON。EPON上行和下行带宽是1.25Gbit/s GPON带宽为2.5Gbit/s的下游和上游的带宽为1.25Gbit/s,大多数EPON/GPON只配置了以太网接口,可选POTS和2M接口传统的PON系统下行数据流采用广播技术、上行数据流采用TDMA技术,以解决多用户每个方向信号的复用问题。传统PON技术采用WDM技术,在光纤上实现单纤双向传输,解决2个方向信号的复用传输。PON一般由光线路终端(OLT)、分光器(ODU)、用户终端(ONU)3个部分构成。目前在现网中广泛应用的PON技术包括EPON和GPON 2种主流技术,EPON上下行带宽均为1.25 Gbit/s,GPON下行带宽为2.5 Gbit/s,上行带宽为1.25 Gbit/s.相对成本低1) 相对成本低,维护简单,容易扩展,易于升级。PON结构在传输途中不需电源,没有电子部件,因此容易铺设,基本不用维护,长期运营成本和管理成本的节省很大。纯介质网络2) 无源光网络是纯介质网络,彻底避免了电磁干扰和雷电影响,极适合在自然条件恶劣的地区使用。资源占用3) PON系统对局端资源占用很少,系统初期投入低,扩展容易,投资回报率高。 4) 提供非常高的带宽。EPON目前可以提供上下行对称的1.25Gb/s的带宽,并且随着以太技术的发展可以升级到10Gb/s。GPON则是高达2.5Gb/s的带宽。5) 服务范围大。PON作为一种点到多点网络,以一种扇形的结构来节省CO的资源,服务大量用户。用户共享局端设备和光纤的方式更是节省了用户投资。6) 带宽分配灵活,服务质量(QoS)有保证。G/EPON系统对带宽的分配和保证都有一套完整的体系。可以实现用户级的SLA。3.5 管理业务双平面3.6 测带宽的题目 假设每次访问的平均页面大小是200K字节,网站的预期目标是每天50W PV的访问量。我们的计算开始:50W PV如果在一天内平均分布,折合到每秒大概是50W/(246060)=6次访问,按照我们之前的假设平均页面大小是200K字节计算,这6次访问总 共就是1200K字节(需要注意的是这个地方是字节),字节的单位是Byte,而带宽的单位是bit,1Byte=8bit,因此1200K Byte大概就是9600K bit,也就是9Mbps(1M=1024K)。在实际的网站运行过程中,我们的网站必须要在峰值流量时保持正常的访问,这里就会用到我们之前的假设,峰 值流量是平均流量的5倍,按照这个计算,实际需要的带宽大约在9Mbps*5=45Mbps左右。 具体的计算公式是: 网站独享带宽=一天总的PV值÷ 一天总时间(换算到S)*平均页面大小(单位KB)* 8四、数据库4.1 LNMP LAMP开数据库LAMP:Linux + Apache + MySQL+php的组合方式LNMP:Linux + Nginx + MySQL+php的组合方式LAMP和LNMP最主要的区别在于:一个使用的是Apache,一个使用的是Nginx。Linux 开源免费软件,作为网站的操作系统 Apache/Nginx Web服务器软件 MySQL 多线程多用户的数据库管理系统,用来存放数据 PHP 服务器端的应用程序软件,快速执行动态网页LAMP:使用的是Apache,Apache是世界是用排名第一的Web服务器软件,其几乎可以在所有广泛使用的计算机平台上运营,由于其跨平台和安全性被广泛使用,是最流行的Web服务端软件之一。相比于nginx,apache有些臃肿,内存和CPU开销较大,性能上有损耗,nginx对于静态文件的响应能力远高apache。 Apache是负载PHP的最佳选择,如果流量很大的话,可以使用nginx来负载非PHP的Web请求。。LNMP:使用的是Nginx,Nginx是一款高性能额Http和反向代理服务器,也是一个AMAP/POP3/SMTP服务器。nginx使用资源更少,支持更多并发连接,效率更高,作为负载均衡服务器。nginx即可对内进行支持,也可对外进行服务,安装简单。总之:1、LNMP方式的优点:占用VPS资源较少,Nginx配置起来也比较简单,利用fast-cgi的方式动态解析PHP脚本。缺点:php-fpm组件的负载能力有限,在访问量巨大的时候,php-fpm进程容易僵死,容易发生502 bad gateway错误。2、基于 LAMP 架构设计具有成本低廉、部署灵活、快速开发、安全稳定等特点,是 Web 网络应用和环境的优秀组合。若是服务器配置比较低的个人网站,当然首选 LNMP 架构。当然,在大流量的时候。把Apache和Nginx结合起来使用,也不失为一个不错选择。五、容器5.1 容器化改造、拓扑及网络规划1:负载均衡应用改造点:选择合适的负载均衡器中小型的Web应用可以使用ngnix或HAProxy,大型网站或重要的服务可以使用LVS,目前该企业业务较小,选取nginx作为负载均衡器!2:web应用改造点:应用存在长时间执行请求 增加消息队列,通过消息队列将长任务与用户请求解耦3:应用服务器应用改造点:应用实例依赖于本地的存储来持久化数据如果是日志,建议变成流汇聚到分布式日志系统中。如果必须要使用存储,要使用共享文件系统如NFS可以利用namespace创建虚拟集群,namaspace之间可以完全隔离,也可以通过某种方式,让一个namespace中的service访问其他namespace中的服务。业务拓扑:网络规划:Step1:kube-proxy、core-dns从Master中kube-apiserver订阅service,POD2的Service创建时,kube-proxy刷新本节点iptables,core-DNS更新路由数据。Step2:Pod2通过域名访问Pod4的service4,发起到core-dns查询请求,并获取对应的ClusterIP(如果使用ClusterIP直接访问则忽略这一步骤)Step3:Pod2发送业务报文,目的地址为获取到的ClusterIP。容器网络根据目的地址匹配策略后进行VxLAN封装,封装源地址为容器所在的VM IP地址,目的地址为目的容器所在VM IP,并将报文发给I层vSwitch,然后转发至目的容器所在VM,容器网络解VxLAN封装后,根据ClusterIP将业务报文发送目的service及POD。5.2 容器的高可用原理,原理图一、容器集群高可用部署原理:1.CCE高可用集群采用分别在3个AZ中部署三套Master节点方式;2.应用AZ内高可用部署,通过ClusterIP服务调用不跨AZ。3.应用发布LoadBalancer类型的Service对接到集群所在AZ的融合ELB服务实例;4.应用通过VIP访问数据库,数据库自动切换应用不感知。5.支持多AZ动态容器存储,根据pod所在AZ创建数据卷。高可用架构原理图:二、容器实例高可用容器高可用依赖于多实例部署,在合理配置反亲和后,如果发生单实例、单节点、单AZ故障,业务均不受影响。 容器多实例可以实现多节点、多可用区部署5.3 视频存储容器化一.存储容器化存储作为基础组件,直接和本地盘打交道,所以我们一个要解决的事情就是如果Kubernetes 管理本地盘。kubernetes管理本地盘通过官方提供的local-static-provisioner自动生成LocalPersistentVolume管理磁盘。LocalPersistentVolume是Kubernetes提供的一种管理本地盘的资源。5.1 使用Statefulset管理存储容器通过statefulset 管理有状态的存储服务, 为每个pod分配一个单独的磁盘可以使用volumeClaimTemplates给每个pod生成唯一的pvc,具体规则{podName},事先准备好PVC 和 PV,通过Statefulset 我们就可以把我们的存储托管到云上了。另外借助daemonset,可以把我们gateway模块部署到每一个node上面。处理云存储的请求。5.2 存储容器化的收益1)降低运维成本基于Kubernetes和statfulset获得了滚动更新,灰度更新,健康检查,快速扩容等功能,只需要一组yaml文件就可以快速搭建一个集群,相比于传统写ansible脚本部署的方式复杂度大大降低。2)降低开发运维成本由于Kubernetes把存储抽象成StorageClass PersistentVolume PersistentVolumeClaim。我们可以通过他们管理我们的存储资源,基于Kubernetes lable的过滤功能,可以实现简单的关系查询,通过PVC与PV管理存储资源,减少管理端的开发。定位问题也能通过POD信息快速定位到问题机器和问题云盘。而且接入Kubernetes生态上的prometheus后,监控告警也能快速开发。3)隔离性增强docker限制cpu memory使用,减少进程之间资源互相干扰,进一步提升资源利用率。在做流媒体容器化过程中,各个系统 Portal 平台、中间件、ops 基础设施、监控等都做了相应的适配改造,改造后的架构矩阵如下图所示。1. Portal:流媒体 的 PaaS 平台入口,提供 CI/CD 能力、资源管理、自助运维、应用画像、应用授权(db 授权、支付授权、应用间授权)等功能。2.运维工具:提供应用的可观测性工具, 包括 watcher(监控和报警)、bistoury (Java 应用在线 Debug)、qtrace(tracing 系统)、loki/elk(提供实时日志/离线日志查看)。中间件:应用用到的所有中间件,mq、配置中心、分布式调度系统 qschedule、dubbo 、mysql sdk 等。3.虚拟化集群:底层的 K8s 和 OpenStack 集群。4.Noah:测试环境管理平台,支持应用 KVM/容器混合部署。一.CI/CD 流程改造主要改造点:应用画像: 把应用相关的运行时配置、白名单配置、发布参数等收敛到一起,为容器发布提供统一的声明式配置。授权系统: 应用所有的授权操作都通过一个入口进行,并实现自动化的授权。K8s 多集群方案: 通过调研对比,KubeSphere 对运维优化、压测评估后也满足我们对性能的要求,最终我们选取了 KubeSphere 作为多集群方案。二.中间件适配改造改造关注点:由于容器化后,IP 经常变化是常态,所以各个公共组件和中间件要适配和接受这种变化。Qmq组件改造点:Broker端加快过期数据的处理速度。原因:由于IP变化频繁,对于一个主题有几百个甚至上千个的IP订阅,会产生很多文件Qconfig/Qschedule组件改造点:按实例级别的推送、任务执行在容器场景下不建议使用 。原因:因为IP经常变化,在容器化场景下发布、pod驱逐等都会导致IP变化,按实例维度推送没有意义Dubbo组件改造点:更改上线下线逻辑,下线记录由永久节点改为临时节点。 原因:上下线机制加上频繁的IP变更会导致zookeeper上产生大量的过期数据Openresty改造点:监听多K8s集群的endpoint变更,并更新到upstream; KVM、容器server地址共存,支持KVM和容器混合部署;三应用平滑迁移方案设计为了帮助业务快速平滑地迁移到容器,制定了一些规范和自动化测试验证等操作来实现这个目标。1.容器化的前置条件: 应用无状态、不存在 post_offline hook(服务下线后执行的脚本)、check_url 中不存在预热操作。2.测试环境验证: 自动升级 SDK、自动迁移。我们会在编译阶段帮助业务自动升级和更改 pom 文件来完成 SDK 的升级,并在测试环境部署和验证,如果升级失败会通知用户并提示。3.线上验证: 第一步线上发布,但不接线上流量,然后通过自动化测试验证,验证通过后接入线上流量。4.线上 KVM 与容器混部署:保险起见,线上的容器和 KVM 会同时在线一段时间,等验证期过后再逐步下线 KVM。5.线上全量发布: 确认服务没问题后,下线 KVM。6.观察: 观察一段时间,如果没有问题则回收 KVM。六、迁移6.1 Oracle数据库迁移上云和迁移到数仓的工具和流程利用华为云云数据库RDS和分布式数据库中间件DDM完成Oracle应用迁移上云,提高访问效率,轻松应对高并发的实时交易场景,若采用工具流:Oracle Golden Gate/Data guard/Always On/数据库自带迁移工具等 若采用公有云服务:DRS数据复制服务(偏同构数据库)1、Oracle数据库迁移上云的工具和流程迁移上云的工具5Oracle数据库可以使用OGG迁移上云流程Oracle GoldenGate 数据复制过程如下:利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。目标端有一个进程叫Server Collector,这个进程接受了从源端传输过来的数据变化信息把信息缓存到GoldenGate 队列文件(trail file)当中,等待目标端的复制进程读取数据。GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息,并创建对应的SQL语句,通过数据库的本地接口执行,提交到目标端数据库,提交成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。2、Oracle迁移至数据仓库(GaussDB)的工具和流程使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB(for openGauss)。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB(for openGauss)的数据长期同步。(1)迁移至数据仓库的工具:DRS(2)迁移至数据仓库的流程:创建VPC和安全组创建GaussDB(for openGauss)实例迁移前构造数据迁移数据库(创建DRS实例,将本地Oracle上的test_info数据库迁移到GaussDB(for openGauss)实例中test_database_info数据库中)迁移后进行数据校验PS:补充业务架构和迁移原理(防止考到)1、业务架构图2、迁移原理次实践使用全量+增量同步功能,原理如下:全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。启动全量迁移任务。全量迁移完成后自动进入增量同步,从全量迁移开始抽取的位点开始回放。当增量回放全部完成后,启动比对任务进行一致性检查,支持实时比对。实时比对数据一致时,可以启动业务割接。6.2 在线迁移和离线迁移的对比在线迁移:是指在系统不停机的情况下,将服务器或虚拟机上的系统、服务程序等从自建机房(IDC)或云平台等源环境迁移同步至云上,方便实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等业务需求。@离线迁移:(1)离线实例迁移:将系统盘镜像(若需同时迁移实例已挂载的数据盘,则可将系统盘镜像和数据盘镜像)迁入至指定的云服务器。(离线数据迁移)将数据盘镜像迁入至指定的云硬盘。区别:离线迁移需要先将源端服务器的系统盘或数据盘制作成镜像,再将镜像迁移至您指定的云服务器或云硬盘。在线迁移无需制作镜像,直接在源端服务器运行迁移工具,即可将源端服务器迁移至指定的云服务器。 在线迁移、离线迁移对比三方面:成本、效率、安全性。成本:大规模数据的迁移需要耗费大量传输资源,就是网络,成本较高,因此数据量太大有时不适合在线传输。效率:效率受网速限制,如通过网络转移1EB的数据大约需要26 年,而用十辆卡车可以将传输时间降至6个月内安全:利用云计算的黑客攻击愈发频繁,尤其像金融等传统客户是不放心数据在线迁移的。在线迁移工具:技术流:Oracle系统迁移(自带)Oracle Golden Gate/ Data Guard(DG),MS Always On……服务流:采用数据复制服务DRS做数据库迁移,此外若客户涉及异构数据库迁移,则也可用数据库应用迁移服务UGO做迁移离线迁移工具:DES数据快递服务、OBS对象存储6.3 迁移步骤、迁移工具迁移整体流程 迁移前作信息收集+风险容量评估 (软硬件版本、规格、参数、性能容量、兼容性+迁移风险点等作信息收集) 迁移方案制定 (确定迁移方式、迁移工具、迁移团队、迁移时间、回退方案等) 迁移方式:P2P/P2V/V2P/V2V(根据客户实际场景决定) 迁移预实施+整体逐步逐层实施 (利用迁移方案预实施少量节点---分批次(业务系统最后)+分层次(数据层最后)进行整体迁移) 迁移后业务测试+数据检验 (对于迁移业务进行业务拉起和连通性测试+网络质量+数据完整度等) 迁移现场保障+后期维保 (迁移完成后需留场进行业务保障-后续业务在维保期继续关注) 项目验收 三大层次迁移工具或服务选择: 1. 数据层迁移 若采用工具流:可使用HyperReplication/HyperMetro/LUN COPY/ eReplication… 若采用公有云服务:可使用DES数据快递服务; 2. 平台层(数据库迁移为例) 若采用工具流;Oracle Golden Gate/Data guard/Always On/数据库自带迁移工具等 若采用公有云服务:DRS(偏同构数据库)+UGO(偏异构数据库-可翻译为GaussDB统一命令) 3. 应用层 工具流:eBackup/Rainbow等… 服务流:SMS主机迁移服务 备份保护容灾类服务 单机备份服务:CSBS(云主机备份)---VBS(云硬盘备份) 容灾服务:SDRS(同region,跨AZ的本地容灾)---CBR(可实现同/跨region的异地容灾) 云主机:ECS、专属主机:DEH 云硬盘:EVS 专属分布式存储:DSS 4大辅助业务(CES云监控、CTS云审计、LTS云日志、CBH堡垒机)考点18:容器和虚拟机的区别1、容器主机必须有OS环境2、容器没有虚拟化软件3、容器应用镜像来自公共、私有、社区HUB4、容器引擎直接安装镜像---运行实例5、容器无需安装OS、无需做任何配置容器和虚拟机的优势对比1、容器占用空间是MB级别,虚拟机是GB级别2、容器的运行速度是秒级,虚拟机是分钟级3、容器的安全性不如计算虚拟化4、容器创建数量无上限,虚拟机受限于hypervisior容器的最大价值(CCI+CCE)1、无服务器架构2、预装好具备容器编排能力的平台考点19:K8s和vpc组网关系 Kubernetes本身并不负责网络通信,Kubernetes提供了容器网络接口CNI,具体的网络通信交给CNI插件来负责,开源的CNI插件非常多,像Flannel、Calico等,华为云CCE也专门为Kubernetes定制了CNI插件,使得Kubernetes可以使用华为云VPC网络。通过ELB中转一次连K8s-MasterElb不能直接连master节点,而elb连Service又必须得带selector。那就只能额外部署一个proxy容器,使用selector先到这个proxy容器,再转到Master考点20:什么业务适合做容器化1.轻量级的应用系统、丢失数据不敏感业务适合上容器化平台。几类应用比较适合容器化部署:一是功能单一的应用,即微服务(这也是为什么现在大家一谈到微服务就会谈到容器,一谈到容器就会谈到微服务的原因 );二是无状态的应用,容器的一个最大的优点就是可以快速创建(秒级),对于无状态的应用,可以通过快速横向扩容来提升并发处理能力;三是变更频繁的应用,容器是基于镜像创建的,对于变更频繁的应用,只要能保证镜像在测试环境测试没有问题,那么在生产环境上线由于环境差异导致出问题的概率就会少的多;四是对于需要在一个站点快速部署的应用组,对于需要在一个新站点快速部署的应用组,使用容器技术能够结合容器平台自身的特性,快速创建一个新的站点。2.重量级的中间件、oracle数据库、对数据持久化有强需求的应用、传统行业核心应用不适合容器化。使用容器部署应用,建议的上容器顺序如图所示:考点21:哪些云服务在子网里面,哪些在az里面,哪些是整个region级的region:ELB、NAT、AS、云监控、云容器……az:云硬盘、云硬盘备份、SFS……子网:ECS、物理机服务DRS 跨REGIONSDRS 跨AZOBS 跨REGION复制考点22:vpc内部组网和外部公网入口怎么做,dns怎么做,elb怎么部署(以图示例)考点23:数据库高性能用哪种,怎么部署怎么计费?1、用分布式数据库中间件(DDM)2、部署过程基本架构就是DDM下挂多个Mysql实例,包括只读实例和写实例:步骤一:购买数据库中间件实例及RDS for MySQL实例步骤二:创建逻辑库并关联RDS for MySQL实例步骤三:创建DDM帐号步骤四:连接DDM逻辑库3、计费包年包月/按需付费(小时)考点24:传统视频网站怎么部署,用什么产品
他的回复:
X企业容器化改造方案【背景】A企业是一家位于杭州的软件开发公司,具备自主设计软件,交付软件及销售的能力,目前公司业务已经上华为云,考虑到开发及交付的便利性,准备进行容器化改,目标是能够实现软件开发即交付。业务现网状况如下:目前2台web服务器作为前端,mysql数据库,软件负载均衡器,无数据库中间件,后端EVS云硬盘,针对于本企业的现状,给出各部分的容器化改造及后续方案.1:负载均衡应用改造点:选择合适的负载均衡器中小型的Web应用可以使用ngnix或HAProxy,大型网站或重要的服务可以使用LVS,目前该企业业务较小,选取nginx作为负载均衡器!2:web应用改造点:应用存在长时间执行请求 增加消息队列,通过消息队列将长任务与用户请求解耦3:应用服务器应用改造点:应用实例依赖于本地的存储来持久化数据如果是日志,建议变成流汇聚到分布式日志系统中。如果必须要使用存储,要使用共享文件系统如NFS。4:资源及集群规划规划:目前采用单集群规划,云资源中有其他应用项目请画出简要的资源规划图:5:高可用规划 结合华为云,给出高可用规划的简单说明: 分别在2个AZ中部署两套CCE集群,K8S Master采用本地3节点高可用部署;应用AZ内高可用部署,通过ClusterIP服务调用不跨AZ。应用发布LoadBalancer类型的Service对接到集群所在AZ的融合ELB服务实例;应用通过VIP访问数据库,数据库自动切换应用不感知。支持多AZ动态容器存储,根据pod所在AZ创建数据卷。6:网络规划:集群内部应用默认可通过ClusterIP类型服务相互通信。k8s集群内置DNS服务,服务间访问可以通过IP或域名访问,请画出K8S集群内部应用网络互通示意图:Step1:kube-proxy、core-dns从Master中kube-apiserver订阅service,POD2的Service创建时,kube-proxy刷新本节点iptables,core-DNS更新路由数据。Step2:Pod2通过域名访问Pod4的service4,发起到core-dns查询请求,并获取对应的ClusterIP(如果使用ClusterIP直接访问则忽略这一步骤)Step3:Pod2发送业务报文,目的地址为获取到的ClusterIP。容器网络根据目的地址匹配策略后进行VxLAN封装,封装源地址为容器所在的VM IP地址,目的地址为目的容器所在VM IP,并将报文发给I层vSwitch,然后转发至目的容器所在VM,容器网络解VxLAN封装后,根据ClusterIP将业务报文发送目的service及POD。
他的回复:
1、块存储、文件存储、对象存储原理及特性。相互比较。2、raid计算题,raid和存储热备盘要吃透,raid10,raid5,raid6,热备盘,冷热备份盘的问题,raid6和raid10得可用空间计算RAID 6C = (n-2)*d其中:C = 可用容量n = 磁盘数d = 磁盘容量例如,如果一个 RAID 6 阵列中包含五个驱动器,每个驱动器的容量为 1000GB,则阵列的总容量为 3,000GB:C = (5-2)*1000RAID 10C = (n*d)*2C = 可用容量n = 磁盘数d = 磁盘容量3、VPN组网、原理分析4、容器化改造及拓扑5、高可用组网——计算6、Oracle数据库迁移上云和迁移到数仓的工具和流程7、在线迁移和离线迁移的对比,分别有哪些工具,需要注意什么8、容器的高可用原理,原理图9、弹性伸缩也考到了,实施步骤10、IP规划、子网规划11、迁移步骤、迁移工具12、LNMP LAMP开数据库13、OBS的具体特性,前三天频繁掉用,3天后转为归档,对应obs什么功能;2周后自动删除,对应obs什么功能特性 ,怎么部署怎么计费,生命周期怎么改通过生命周期管理14、网络类型和速率计算,除了云专线和vpn,还有我们平时销售ipran pon15 管理业务双平面16.视频存储容器化17.测带宽的题目,告诉你PV值,单次访问流量,算带宽18.容器和虚拟化的区别和共同点19.k8s网络和vpc的组网的关系20.什么业务适合容器化21.哪些云服务在子网里面,哪些在az里面,哪些是整个region级的22.vpc内部组网和外部公网入口怎么做,dns怎么做,elb怎么部署23.数据库高性能用那种24.传统视频网站怎么部署,用什么产品经验分享:一、计算1.1 创建弹性伸缩的流程创建伸缩配置:1、登录管理控制台,2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面,填写弹性伸缩配置信息,您可以选择使用已有云服务 器规格为模板或者使用新模板。 创建弹性伸缩组: 1. 返回“伸缩实例”页面,单击“创建弹性伸缩组”。 2. 在创建伸缩组页面,填写弹性伸缩组的基本信息,例如,名称、最大实例数、最 小实例数、期望实例数等,在高级配置中还可对标签进行配置。 其中,“伸缩配置”选择已创建的伸缩配置。创建伸缩策略 1. 在伸缩组所在行的“操作”列下,单击“查看伸缩策略”。 2. 在“伸缩策略”页签,单击“添加伸缩策略”。通过伸缩控制可以实现弹性云服务器(ECS)实例伸缩和带宽伸缩:伸缩控制:配置策略设置指标阈值/伸缩活动执行的时间,通过云监控监控指标是否达到阈值,通过定时调度,实现伸缩控制。配置策略:可以根据业务需求,配置告警策略/定时策略/周期策略。配置告警策略:可配置CPU、内存、磁盘、入网流量等监控指标。配置定时策略:通过配置触发时间可以配置定时策略。配置周期策略:通过配置重复周期、触发时间、生效时间可以配置周期策略。云监控监控到所配置的告警策略中的某些指标达到告警阈值,从而触发伸缩活动,实现ECS实例的增加/减少或带宽的增大/减小。到达所配置的触发时间时,触发伸缩活动,实现ECS实例的增加/减少或带宽的增大/减小。二、存储2.1 块存储、文件存储、对象存储原理及特性。相互比较SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景。NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。利用FTP+TFTP协议进行上传下载,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据作为后端存储为客户打造的离线存储系统,性价比高……)维度 对象存储服务 云硬盘 弹性文件服务 概念 提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 存储数据的逻辑 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。 存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 访问方式 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 使用场景 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 容量 EB级别 TB级别 PB级别 时延 10ms 亚毫秒级 3~10ms IOPS/TPS 千万级 单盘 128K 单文件系统 10K 带宽 TB/s级别 MB/s级别 GB/s级别 是否支持数据共享 是 是 是 是否支持远程访问 是 否 是 是否支持在线编辑 否 是 是 是否能单独使用 是 否 是 2.2 raid计算题,raid和存储热备盘要吃透,raid10,raid5,raid6,热备盘,冷热备份盘的问题,raid6和raid10得可用空间计算RAID 0 100%,RAID 1 50%,RAID 3和5 (N-1)/n,RAID 6 (N-2)/nRAID 10 50%级别特征原理单元冗余性能利用率最多坏用途缺陷RAID0条带分片分散存入2块硬盘2否读写速度2倍100%0/2SWAP/TMP不冗余,数据难恢复RAID1镜像相同数据存入2块硬盘2是写速度不变读速度2倍50%1/2数据备份读写速度没加,利用率低RAID3校验分片分散存入2块硬盘校验码存入第3块硬盘3是读写速度2倍2/3=66%1/3用的很少1. 坏盘时另外2块需要重新计算还原坏盘数据2. 校验码盘压力大成为瓶颈RAID5校验分片和校验码混合存储3是读写速度2倍2/3=66%1/3用的不多坏盘时另外2块需要重新计算还原坏盘数据RAID6校验分片盘校验码盘分别2个数据分片校验码计算2次4是读写速度2倍2/42/41∈2用的很少“部队中有一半是搞后勤的,感觉还是不太爽。”RAID101+02块硬盘1组先做RAID1多组RAID1再做RAID04是读写速度N倍N为组数2/42/41∈2用的最多-RAID505+03块硬盘1组先做RAID5多组再做RAID06是读写数读2N倍N为组数4/62/61∈3土豪用的“好是好,就是贵!” (备注:raid5,6的利用率见下图)raid5和raid6:raid5:一组分散在不同条带上的奇偶校验数据;允许一块盘故障,两块及以上故障,整个raid故障;RAID 5是RAID 0和RAID 1的折衷方案raid6:存在两组独立的分散在不同条带上的校验数据,两组独立的奇偶校验数据;允许两块盘故障;安全性较高,性能稍差,硬盘利用率较低raid5写的性能比raid10好,读的性能不如raid10;raid6双重数据校验,运算负担大,读写性能不如raid5;raid5利用率为n-1/n(n>2),raid6利用率为n-2/n(n>3)热备盘:原理: 热备盘相当于帮Raid阵列多做多个备份,如果Raid陈列里其中一个盘坏了,这个热备盘就会顶替Raid里的那个坏盘,同时利用异或校验算法,把坏盘上面的数据原样做出来并存储在热备盘中。这样一来就等于Raid没受到损坏,然后你再找个一个同样的盘把坏盘替换掉,Raid和热备盘的状态又正常了!热备盘的类型: Global Hotspare:即全局热备盘,为RAID卡上所有已配置的RAID所共有,1块RAID卡中可配置1个或多个全局热备盘。当任意RAID内的与热备盘同类型的硬盘故障时,全局热备盘均可自动替代。 Dedicated Hotspare:即局部热备盘,为RAID卡上某个指定的RAID所专有,每个RAID都可以配置1个或多个局部热备盘。当指定RAID内的与热备盘同类型的硬盘故障时,局部热备盘可自动替换。冷备盘: 以 2 盘的 RAID1 为例。假如坏掉了一块盘,RAID1 阵列将只有 1 块盘在正常运行,这时的 RAID1 阵列将处于降级(Degraded)状态,也就意味着当前阵列已无容错冗余能力,虽然还能继续运行,但是数据已经不安全,需要人为干预进行修复。只需要拔出坏掉的硬盘,换一块相同容量的、好的硬盘插上去,RAID1 阵列就会自动开始恢复重建过程。简单来说,就是将剩余 1 块盘中的数据重新拷贝到新换上的这块盘中。根据硬盘大小的不同,阵列恢复重建过程将从十几小时到几十小时不等。那么,换上的这块硬盘,不管是从抽屉里拿出来的还是去科技市场买了一块新的,都是通过人为操作插入到整个阵列里的。在出问题之前,这块盘就冷冷的躺在抽屉里而并不会通电,这块盘就叫冷备盘(Cold Spare)。2.3 obs设置标准转低频,低频转归档生命周期管理可适用于以下典型场景:(1)周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。(2)某些文档在一段时间内经常访问,但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储,归档存储或者删除。生命周期管理可以按对象名前缀进行设置规则,也可以在整个桶上设置规则。生命周期管理功能支持数据从当前版本转换为低频访问存储、转换为归档存储,以及数据进行过期删除。您可以指定在对象最后一次更新后多少天,受规则影响的对象将转换为低频访问存储、归档存储或者过期并自动被OBS删除。转换为低频访问存储的时间最少设置为30天,若同时设置转换为低频访问存储和转换为归档存储,则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天,例如转换为低频访问存储设置为33天,则转换为归档存储至少需要设置为63天。对象存储类别转换限制:仅支持将标准存储对象转换为低频访问存储对象,低频访问存储对象转换为标准存储对象需手动转换。仅支持将标准存储或低频访问存储对象转换为归档存储对象。如果要将归档存储对象转换为标准存储或低频访问存储对象,需要手动恢复对象,然后手动转换存储类别。网络3.1 VPN组网、原理分析 VPN(Virtual Private Network,虚拟专用网)是一种在公用网络上建立专用网络的技术。它之所以称之为虚拟网,主要是因为VPN的两个节点之间并没有像传统专用网那样使用端到端的物理链路,而是架构在公用网络如Internet之上的逻辑网络,用户数据通过逻辑链路传输。 按照VPN协议分,常见的VPN种类有:IPsec、SSL、GRE、PPTP和L2TP等。其中IPsec是通用性较强的一种VPN技术,适用于多种网络互访的场景。 IPsec VPN是指采用IPsec实现远程接入的一种VPN技术,通过在公网上为两个或多个私有网络之间建立IPsec隧道,并通过加密和验证算法保证VPN连接的安全。 IPsec VPN保护的是点对点之间的通信,通过IPsec VPN可以在主机和主机之间、主机和网络安全网关之间或网络安全网关(如路由器、防火墙)之间建立安全的隧道连接。其协议主要工作在IP层,在IP层对数据包进行加密和验证。 相对于其他VPN技术,IPsec VPN安全性更高,数据在IPsec隧道中都是加密传输,但相应的IPsec VPN在配置和组网部署上更复杂。IPsec的工作原理大致可以分为4个阶段:识别“感兴趣流”。网络设备接收到报文后,通常会将报文的五元组等信息和IPsec策略进行匹配来判断报文是否要通过IPsec隧道传输,需要通过IPsec隧道传输的流量通常被称为“感兴趣流”。协商安全联盟(Security Association,以下简称SA)。SA是通信双方对某些协商要素的约定,比如双方使用的安全协议、数据传输采用的封装模式、协议采用的加密和验证算法、用于数据传输的密钥等,通信双方之间只有建立了SA,才能进行安全的数据传输。识别出感兴趣流后,本端网络设备会向对端网络设备发起SA协商。在这一阶段,通信双方之间通过IKE协议先协商建立IKE SA(用于身份验证和密钥信息交换),然后在IKE SA的基础上协商建立IPsec SA(用于数据安全传输)。数据传输。IPsec SA建立成功后,双方就可以通过IPsec隧道传输数据了。IPsec为了保证数据传输的安全性,在这一阶段需要通过AH或ESP协议对数据进行加密和验证。加密机制保证了数据的机密性,防止数据在传输过程中被窃取;验证机制保证了数据的真实可靠,防止数据在传输过程中被仿冒和篡改。 如图所示,IPsec发送方会使用加密算法和加密密钥对报文进行加密,即将原始数据“乔装打扮”封装起来。然后发送方和接收方分别通过相同的验证算法和验证密钥对加密后的报文进行处理得到完整性校验值ICV。如果两端计算的ICV相同则表示该报文在传输过程中没有被篡改,接收方对验证通过的报文进行解密处理;如果ICV不相同则直接丢弃报文。MPLS VPN:使用场景在运营商骨干网络上提供L3VPN业务,利用BGP协议发布路由信息,在骨干网内部使用MPLS转发VPN报文。概念CE(Consumer Edge):用户边缘路由器,与运营商网络直接相连的路由器。 感知不到VPN的存在,一个CE设备只能对应一个VPN 主要功能就是将VPN客户的路由通告给PE,以及从PE学习同一个VPN下其他站点的路由PE(Provider Edge):运行商(骨干网)边缘路由器,与用户网络相连的路由器。 负责VPN业务接入,处理VPN-IPV4路由 使用VRF对VPN客户进行隔离 通过与客户设备CE进行路由协议,以便获取客户路由,并将路由生成VPNv4前缀放入MPLS VPN骨干网传递到对端PEP(Provider):骨干网路由器,与PE或其他P相连。 负责快速转发数据 不知道VPN客户网络,以及客户的路由。只负责在骨干网内运载标签数据VRF(Virtual Router Forwarding):PE上的虚拟路由器(路由进程)。 一张独立的路由表,包括独立的地址空间 一组归属于这个VRF的接口的集合, 一组只用于本VRF的路由协议 一个VPN对应一个VRFRD(Route-Distinguisher):路由标识符 BGP进程用该字段区分不同VPN,有了RD后就可以解决不同VPN之间的IP地址重叠问题,VPN用户的IP地址不再是整个系统全局唯一,而是VPN内唯一即可。RT(Route-Target) 每个VRF表达自己的路由输出和输出方式,主要用于控制VPN路由的发布和安装策略。3.2 高可用组网——计算虚拟机高可用高并发场景的组网——李赛:负载均衡方案:1.在VPC/子网内创建弹性负载均衡实例作为服务接口对外提供3.3 IP规划、子网规划3)公网与私网IP 公网IP:在Internet上的计算机使用的IP地址是全球统一规划的,称为公网地址。 私网IP:在企业、学校等内网通常使用保留的私网地址。 1)为什么设置私网IP? 因为IPV4的地址数量不足,同时在最初分类IP设计中的缺陷,导致在网络不断发展中,IP地址匮乏严重。于是,提出了私网IP,即保留一部分IP作为私网IP,这些IP可以再内网中使用,不同内网都可以使用这些IP(即复用,只要一个内网中地址互相区别,不同内网可复用),则无形中仿佛增加了IP数量。 2)哪些是私网IP地址 A类:10.0.0.0-10.255.255.255,掩码 255.0.0.0; B类:172.16.0.0-172.31.255.255,掩码 255.255.0.0; C类:192.168.0.0-192.168.255.255,掩码 255.255.255.0 3)如果内网使用私网IP标识主机,这些主机如何访问Internet? 对于私网地址,由于不同内网中复用,因为不能在Internet访问中使用,否则会引发冲突。那如何解决该问题,即NAT技术(Network Address Translator),其作用是将私网IP转换为公网IP,当然提供有多种NAT技术。 子网划分 什么是子网? 子网(subnet),将一个大的网络划分成几个较小的网络,每一个网络都有其自己的子网地址; 2) 为什么进行子网划分? IP地址的有效利用率问题 路由器的工作效率问题 通过在子网中包含广播流量来控制流量 减少整体网络流量并提高网络性能3)如何进行子网划分? 基本思路: 子网划分是在分类的IP基础上提出的,对于分类IP其网络位已确定,想进一步进行子网划分,则考虑借用主机位作为子网位,从而形成三层地址结构,即网络位,子网位,主机位,利用网络位与子网位共同来标识网段。 借位规则: 1 从高位向低位依次连续借位 2 至少主机位留2位,因为主机位全0和主机位全1的IP地址需保留 3 借位与什么相关? 1) 需要划分的子网数量; 2) 子网中主机的数量 如何把所划分的子网表达出来,即标识子网网段? 子网掩码:子网掩码与IP地址进行与运算其结果即为网络地址,将掩码进行扩展,网络位与子网位置1,主机位置0. A类地址默认子网掩码:255.0.0.0 B类地址默认子网掩码:255.255.0.0 C类地址默认子网掩码:255.255.255.0 子网划分方法: 等长子网划分 等长子网划分就是将一个网段等分成多个网段,也就是等分成多个子网。 子网划分就是借用现有网段的主机位做子网位,划分出多个子网。子网划分的任务包括两部分: 1)确定网络掩码的长度。 2)确定子网中第一个可用的IP地址和最后一个可用的IP地址。 2 可变长子网划分VLSM 现实中,不同子网的主机数量不同,等长子网划分比较简单,但是地址存在浪费,基于不同子网的IP需求,对于不同子网采用不同的子网长度。 基本步骤: 1)首先,根据子网中最大的IP需求量,先对网络划分子网。 2)然后,再根据具体情况,将子网进一步划分子网。 3)根据需要重复此过程,以创建不同大小的子网。 子网合并 把多个网络(子网)的网络位当做主机位,将多个网络(子网)合并成一个大的网络(子网),其目标可对于路由表中的项目进行合并,增加路由效率。 如何合并?什么样的能合并? 核心:相同前缀,连续地址 路由匹配:最长前缀匹配 (思考?认真体会一下这一点)3.4 网络类型一、云专线:云专线(Direct Connect)用于搭建用户本地数据中心与华为云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用华为云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合云计算环境。云专线服务具有以下几大产品优势:高安全:用户使用云专线接入华为云上VPC,使用专享私密通道进行通信,网络隔离,安全性极高。低时延:专用网络进行数据传输,网络性能高,延迟低,用户使用体验更佳。支持大带宽:华为云专线单线路最大支持100Gbps带宽连接,满足各类用户带宽需求。资源无缝扩展:通过云专线将用户本地数据中心与云上资源互联,形成灵活可伸缩的混合云部署。必须使用单模的1GE、10GE、40GE或100GE的光模块与华为云的接入设备对接。同时,需要提前与华为云专线POP点对齐LC、波长、距离等关键参数。光模块参数举例:1GE LC 单模 1310nm 10KM。必须禁用端口的自动协商功能,同时必须手动配置端口速度和全双工模式。必须跨整个连接 (包括中间设备) 支持 802.1Q VLAN 封装。可以支持BGP或者静态路由对接,您的设备须支持边界网关协议(BGP)和BGP MD5认证或支持静态路由。(可选) 您可以在网络上配置双向转发检测 (BFD)。在物理连接层上支持的最大传输单位 (MTU) 高达 1522 字节 (14 字节以太网标头 + 4 字节 VLAN 标记 + 1500 字节 IP 数据报 + 4 字节 FCS)。推荐参数值:1500。二、VPN:虚拟专用网络(Virtual Private Network,以下简称VPN),用于在远端用户和虚拟私有云(Virtual Private Cloud,以下简称VPC)之间建立一条安全加密的公网通信隧道。当您作为远端用户需要访问VPC的业务资源时,您可以通过VPN连通VPC。默认情况下,在虚拟私有云(VPC)中的弹性云服务器无法与您自己的数据中心或私有网络进行通信。如果您需要将VPC中的弹性云服务器和您的数据中心或私有网络连通,可以启用VPN功能。VPN由VPN网关、对端网关和VPN连接组成,VPN网关提供了虚拟私有云的公网出口,与用户本地数据中心侧的对端网关对应。VPN连接则通过公网加密技术,将VPN网关与对端网关关联,使本地数据中心与虚拟私有云通信,更快速、安全的构建混合云环境。优势:高安全:采用华为专业设备,基于IKE和IPsec对传输数据加密,提供了电信级的高可靠性机制,从硬件、软件、链路三个层面保证VPN服务的稳定运行。无缝扩展资源:将用户本地数据中心与云上VPC互联,业务快速扩展上云,实现混合云部署。连通成本低:利用Internet构建IPsec加密通道,使用费用相对云专线服务更便宜。即开即用:即开即用,部署快速,实时生效,在用户数据中心的VPN设备进行简单配置即可完成对接三、IPRAN:IP RAN 的意思是“无线接入网IP化”。IP 指的是互联协议,RAN指的是Radio Access Network。相对于传统的SDH传送网,IPRAN是基于IP的传送网的。IP RAN是针对IP化基站回传应用场景进行优化定制的路由器/交换机整体解决方案。在城域汇聚/核心层采用IP/MPLS技术,接入层主要采用二层增强以太技术,或采用二层增强以太与三层IP/MPLS相结合的技术方案。IP RAN技术的特点及优势:1、端到端的IP化:端到端的IP化使得网络复杂度大大降低,简化了网络配置,能极大缩短基站开通、割接和调整的工作量。2、端到端IP减少了网络中协议转换的次数,简化了封装解封装的过程,使得链路更加透明可控,实现了网元到网元的对等协作、全程全网的OAM管理以及层次化的端到端QoS。IP化的网络还有助于提高网络的智能化,便于部署各类策略,发展智能管道。3、更高效的网络资源利用率:面向连接的SDH或MSTP提供的是刚性管道,容易导致网络利用率低下。而基于IP/MPLS的IPRAN不再面向连接,而是采取动态寻址方式,实现承载网络内自动的路由优化,大大简化了后期网络维护和网络优化的工作量。4、多业务融合承载:IPRAN采用动态三层组网方式,可以更充分满足综合业务的承载需求,实现多业务承载时的资源统一协调和控制层面统一管理,提升运营商的综合运营能力。四、PONPON是一种典型的无源光纤网络,是指 (光配线网中) 不含有任何电子器件及电子电源,ODN全部由光分路器 (Splitter) 等无源器件组成,不需要贵重的有源电子设备。一个无源光网络包括一个安装于中心控制站的光线路终端 (OLT),以及一批配套的安装于用户场所的光网络单元 (ONUs) 。目前广泛使用的PON技术在现有的网络包括两种主流技术:EPON和GPON。EPON上行和下行带宽是1.25Gbit/s GPON带宽为2.5Gbit/s的下游和上游的带宽为1.25Gbit/s,大多数EPON/GPON只配置了以太网接口,可选POTS和2M接口传统的PON系统下行数据流采用广播技术、上行数据流采用TDMA技术,以解决多用户每个方向信号的复用问题。传统PON技术采用WDM技术,在光纤上实现单纤双向传输,解决2个方向信号的复用传输。PON一般由光线路终端(OLT)、分光器(ODU)、用户终端(ONU)3个部分构成。目前在现网中广泛应用的PON技术包括EPON和GPON 2种主流技术,EPON上下行带宽均为1.25 Gbit/s,GPON下行带宽为2.5 Gbit/s,上行带宽为1.25 Gbit/s.相对成本低1) 相对成本低,维护简单,容易扩展,易于升级。PON结构在传输途中不需电源,没有电子部件,因此容易铺设,基本不用维护,长期运营成本和管理成本的节省很大。纯介质网络2) 无源光网络是纯介质网络,彻底避免了电磁干扰和雷电影响,极适合在自然条件恶劣的地区使用。资源占用3) PON系统对局端资源占用很少,系统初期投入低,扩展容易,投资回报率高。 4) 提供非常高的带宽。EPON目前可以提供上下行对称的1.25Gb/s的带宽,并且随着以太技术的发展可以升级到10Gb/s。GPON则是高达2.5Gb/s的带宽。5) 服务范围大。PON作为一种点到多点网络,以一种扇形的结构来节省CO的资源,服务大量用户。用户共享局端设备和光纤的方式更是节省了用户投资。6) 带宽分配灵活,服务质量(QoS)有保证。G/EPON系统对带宽的分配和保证都有一套完整的体系。可以实现用户级的SLA。3.5 管理业务双平面3.6 测带宽的题目 假设每次访问的平均页面大小是200K字节,网站的预期目标是每天50W PV的访问量。我们的计算开始:50W PV如果在一天内平均分布,折合到每秒大概是50W/(246060)=6次访问,按照我们之前的假设平均页面大小是200K字节计算,这6次访问总 共就是1200K字节(需要注意的是这个地方是字节),字节的单位是Byte,而带宽的单位是bit,1Byte=8bit,因此1200K Byte大概就是9600K bit,也就是9Mbps(1M=1024K)。在实际的网站运行过程中,我们的网站必须要在峰值流量时保持正常的访问,这里就会用到我们之前的假设,峰 值流量是平均流量的5倍,按照这个计算,实际需要的带宽大约在9Mbps*5=45Mbps左右。 具体的计算公式是: 网站独享带宽=一天总的PV值÷ 一天总时间(换算到S)*平均页面大小(单位KB)* 8
他的回复:
计算+网络A企业是一家位于杭州的家居设计公司,具备自主设计软装、工厂生产板材的能力,因设计软装方案需要用到绘图制作工具,原有设计软件安装在租赁的物理服务器上,因近期政府关于中小企业上云补贴的政策,计划将现有业务迁移上云,在和天翼云客户经理交流后, 计划将原有软装设计软件业务端、公司公网web网站迁移到云上。该负责人于洽谈中透露该公司现有业务系统中,web应用部署在两台机架服务器,并外挂存储,而设计软件安装在一台高性能的工作站上,外挂一台Oceanstor5500,交换网络使用的是 CE TOR 系列交换机,各个设备参数参考如下:RH2288 V3 2*Intel® Xeon® Scalable processors(4C);64GB Memory;分配的磁盘空间为0.9TB ;(计算及存储资源使用率 50%左右)OceanStor5500 V3 6*3.5inch SAS 900GB HDDs(利用率 30%)Cloud Engine 6800-S Series CE6850-48S4Q-EI戴尔工作站Precision 7000系列,配置2*Intel® Xeon® Scalable processors(4C);64GB Memory,分配的磁盘空间为500GB ;两张tesla T4 GPU显卡,显存共16G;(计算及存储资源使用率 80%左右,显卡处理性能满足需求)客户要求:Web 服务器需要对外提供公网,带宽设置5M即可;要求web应用要具备高可靠性要求部署两台web服务云主机使用500G的共享卷软件设计主机和web服务主机的操作系统保持原有的CentOS7.5软件设计主机不可直接通过公网访问,平时有4名办公人员涉及使用软件设计方案答题要求:1、 请根据现有信息完成业务系统的 IT 架构信息收集表。序号 业务设备型号(计算与存储)单 台 设 备 规 格(CPU/核数/内存/存储空间)实际使用量 (要求写出计算过程)设备数量1web网站RH2288 V3、外挂存储(未指定具体型号)2*Intel® Xeon® Scalable processors(4C);64GB Memory+0.9Tb disk;存储未指定4C/32GMEM/0.45t(干单台实际使用量)服务器2台;存储未说明2软件业务端戴尔工作站Precision 7000系列,OceanStor5500 V32*Intel® Xeon® Scalable processors(4C);64GB Memory,分配的磁盘空间为500GB ;两张tesla T4 GPU显卡,显存共16G;存储:6*3.5inch SAS 900GB HDDs6.4c(实际可取8核)、51.2gmem(可取64gmem)/400g/显卡处理性能满足需求;存储:6*900*30%=1620GB服务器*1,存储*12、 请基于客户业务需求及实际情况,完成公有云服务申请规划表。业务类型 公有云云服务名称/规格类型(计算类)计费模式与CPU 架构单台性能参数(CPU/内存/存储或其他)(设 CPU:VCPU=1:8)数 量(台)镜像类型选择镜像名称与版本选择Web业务弹性云主机ECS/通用计算型(其余型号也可)包年包月/X86架构8vcpu/32gmem/450g2公共镜像CentOS7.5Web业务ELB/独享型;EIP;ELB包年包月;EIP收费模式按带宽计费5m未指定未指定未指定未指定软件业务端弹性云主机/GPU加速型;或者采用BMS裸金属服务器服务按需计费/x86架构2*8*0.8Vcpu/64*0.8/400G------3、 给出客户业务上云后的整体架构图(计算+网络)经访谈,该客户公司其实还有一套高性能核心业务,隶属于公司内财务部门,但是该客户表示该业务极其重要,不太愿意上云,请就此场景分析,客户关于此业务不上云的痛点可能在哪?以及作为一个客户经理,如何向客户解释核心业务上云的可行处,拉动上云需求。答案:核心业务上云相关(痛点+公有云可应对的方案)核心业务难以上云的痛点:核心业务对运行环境性能要求极为严苛;核心业务在虚拟化环境下运行效能不够稳定;---核心业务数据一般具有敏感性、隐私性;上云业务安全性及安全机制设计不完善;核心业务公有云应对方案:作为一名客户经理我们可以向客户简单赋能并提出相关公有云应对核心业务上云的解决方案:选配ECS高配性能版-若客户的核心业务对于虚拟化环境运行无特殊要求,仅仅是性能要求较高,这是一个可用的选择;若客户担忧公有云隔离性、数据隐秘性问题,可推DEH专属主机服务;若客户核心业务不可兼容虚拟化环境,则可推荐BMS裸金属服务;作为一名客户经理,应从实际和客户角度出发,若客户核心业务不建议异地迁移上云,也可更换思维向其赋能推广公有云灾备类服务;存储部分:该业务公司在上一部分业务上云后表示满意,并再次表示在另一个地市B也有部分存储业务需要规划下并提出需求,背景如下:该地市现有3套业务系统的存储部分需要提前规划下上云方案,分别是公司办公系统、运维系统、员工档案维护系统;目前该公司办公系统主备双刀片(blade1/blade2)运行在华为E9000服务器上(双刀片都各安装2*SAS600GB disks),下面外挂一台华为Oceanstor5300V5存储业务数据(12*3.5inch 1T disks,目前已知使用了其中8块盘做了raid1);运维系统则是外挂使用了一台第三方存储设备X作文件存储业务使用(目前使用了6*SSD 900GB disks);员工档案维护系统由于有大量归档数据,目前直接使用2台华为T系列存储,总计容量7T,使用率50%左右;请根据此场景,完成以下上云规划:请根据现有信息完成业务系统的 IT 架构信息收集表序号 业务设备信息收集(存储)单 台 设 备 规 格信息设备数量 实际使用量(简要写出计算过程)1公司办公系统E9000双刀系统盘+Oceanstor5300V512*3.5inch 1T disks,其中8块盘做了raid11系统盘2*600G+8*1t*50%(raid1使用率)2运维系统第三方存储X6*SSD 900GB disks16*900g3员工档案维护系统华为T系列存储总容量7T,单台规格未说明;27t*0.5=3.5t2、 请基于客户业务需求及实际情况,完成公有云服务申请规划表。业务类型 公有云云服务名称/规格类型(存储类)计费模式单台性能参数数 量公司办公系统云硬盘EVS/高IO型(客户未说明性能需求,以此为例)包年包月1T/1.5t/2t(建议采用更大容量作部分冗余)4(系统盘在购买云主机时自动购买,这里不计入)运维系统弹性文件服务SFS/sfs容量型资源包(包年/包月)5400GB(建议更大值作冗余)1员工档案维护系统对象存储服务OBS/标准存储资源包(包年/包月)3.5T(建议更大值作冗余)13. 客户数据需要一并迁移至云上,请简要描述下数据迁移上云的方法(如涉及到工具或相关云服务,请详细写出工具或服务名称)公有云服务:可以使用公有云数据快递DES服务(数据快递服务(Data Express Service,DES)是面向TB到数百TB级数据上云的传输服务)若涉及到数据库迁移部分,则可采用DRS(数据复制服务)技术层工具流:利用企业级存储hyperreplication+hyperMetro(复制+双活)+lun拷贝等特性利用容灾数据复制工具(如Ereplication等)4. 请比较解释下三大存储业务的不同点(块、对象、文件)SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景; NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问,利用FTP+TFTP协议进行上传下载,此外,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据、作为后端存储为客户打造的离线存储系统,性价比高…)数据库部分:上述客户3大业务系统的已有数据库运行情况和客户需求如下:公司办公系统目前使用的是业内主流的Oracle数据库,业务上云后客户希望数据库功能特点尽可能保持一致,不要有太大的差异性即可;运维系统目前客户侧使用的Mysql 5.6版本,客户希望此业务数据库上云后保持不变,切要求版本不再使用5.X这一代;档案系统客户使用的sql server版本也过于老旧,客户希望上云后数据库必须使用在2016年之后发布的版本才可以,且该数据库业务由于使用周期较长,客户希望计费上有一定的优惠最好1、 请基于客户业务需求及实际情况,完成公有云服务申请规划表。业务类型 公有云云服务名称/具体软件名称计费模式上云后的版本云数据库RDS/PostgreSQL包年包月PostgreSQL 9.5-13(客户未指定)云数据库RDS/Mysql包年包月Mysql 8.0云数据库RDS/Sql server包年Sql server 2017/2019(标准、企业、web版均可)请详细描述数据库迁移上云的方法(若涉及相关工具或云服务请详细写出)1.若客户偏向于采用技术工具流做迁移可就市场采用类如Oracle系统迁移(自带)/Oracle Golden Gate/MS Data Guard/Always on2.若客户偏向于采用公有云云服务做迁移可采用数据库复制服务DRS做数据库迁移,若客户设计异构数据库迁移,可采用UGO服务使用SMS使用备份恢复进行迁移Rds数据复制服务综合性大题部分背景:某地市央企投资银行分支由于当地上云政策要求部分业务在今年启动上云,客户邀请云销售经理一起洽谈上云事宜,以下为此次洽谈部分谈话的实时记录,请基于此背景并根据客户需求输出上云方案A(客户负责人):我们今年有3个业务计划上云,分别是企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z),现在头疼嘞,今天请你来,咱们看能不能简单对下。。A(客户负责人):那个x系统后端服务器现在就在楼下呢,用的就是你们华为的那个RH2288,前几年买的,就一台,单机跑了这么久了,这次一定给我把它弄上云,这业务后端只能在Centos7.0以上的os运行,另外上云后这个我的员工都得继续也只能从内网访问,我员工都在这本地办公楼里,所以你们看下上云后怎么弄通,要不再做个负载均衡,用的人有点多,有时有点卡之前,存储就正常文件存储,其他也没啥特殊需求,就正常运行就行。。B(客户前端负责人):那个y业务提醒下,那个终端我们用户接入数常年都很多,你们上云后注意下性能,别到时候上了云主机性能不行搞得好卡那就完了,注意下性能参数啥的,而且这个业务的数据要做实时读写,你们看用哪种存储合适,网络就对公网开放就好,限制下ICMP吧,不安全;C(客户机房负责人):老大(A),要不我们z业务先不上云吧,我感觉这个业务太重要的,要不先看看你们2部分上云效果,我担心我这部分不行,我这服务器用的都是刀片,我怕他们云主机不行,这玩意要是跑不了我们损失大了,如果非要上,我先提前跟你们说啊,这个z业务后端在虚拟机跑的效果不好,我们几年前测试过,所以能不用虚拟端部署最好,而且这玩意存储容量很大,估计现在已经有2个T的数据了吧,如果要上,你们给多点,多个2倍吧,数据实时读写要求也很高,注意下哈。。,网络这一块就一点,就只能放同我们一台运维主机的ip,10.x.x.x,其他一概拒绝就行;A:嗯,你这个也得上云,上面要求,麻烦你们也设计下;而且刚忘了说,我这个机房在06年的“珍珠”号台风后就炸了一次,都被淹了,后来修好一直到现在,我反正一直不放心,你们上云后站点尽量别选沿海的吧,而且给我做个本地和异地的容灾设计吧,我不太懂,反正你们搞一个,钱不是问题,设计放方案回头我看下C:哎对了,我们机房现在就有运维主机可以看到这些业务的运行情况,你们这上云后有没有这方面的东西啊,我们肯定是要有一个玩意可以随时看到他们的运行情况吧,还有各种参数啊啥的,你们有的话也一定放到方案里最好。。B:我一直对迁移这一块感兴趣,你们这次迁移上云部分能写详细点呗,什么流程,什么工具啊啥的,我听说迁移还有啥应用层,平台层,数据层啥的一大堆,你们这用的是啥,整体流程给我们展现下呗,我们也为以后自己的迁移参考参考流程,辛苦辛苦~请基于以上对话,结合所学和自身理解输出该客户业务上云方案。要求:内容合理,描述专业,格式符合方案书基本要求,其他细节均可自由发挥。项目背景分析:三个系统:企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)启动上云企业办公系统(x):1台华为RH2288服务器,员工办公使用,使用文件存储共享数据,内网接入,只能运行在Centos7.0以上的版本。 终端app业务系统(y):用户接入数多,需要实习读写数据,主机性能要求较高核心业务金融数据汇算系统(z):使用刀片服务器,核心业务,虚拟环境下运行较差,已有2T数据,实时读写性能要求高 需求分析:统筹需求:非沿海地区机房,做本地和异地容灾;详细介绍迁移方案;监控服务器运行情况企业办公系统(x):Centos7.0以上的os运行,使用文件存储,内网访问,负载均衡。终端app业务系统(y):云主机性能要求高,需要实时读写数据,公网访问,限制ICMP核心业务金融数据汇算系统(z):使用物理机,需要4T数据盘,数据读写性能要求高,只允许运维主机的ip,10.x.x.x接入上云方案:企业办公系统(x):Centos7.0以上的os运行,使用文件存储,内网访问,负载均衡。计算使用ECS弹性云主机通用计算型,镜像选用Centos7.0以上的版本;存储使用文件存储实现员工数据共享;网络使用云VPN/云专线实现内网访问,并使用负载均衡进行流量调度分配。终端app业务系统(y):云主机性能要求高,需要实时读写数据,公网访问,限制ICMP计算选用ECS弹性云主机通用计算增强型或DEH专属主机,性能更强;存储选用EVS云硬盘,采用块存储支持实时读写;网络选择EIP弹性公网IP,配置公网带宽,同时由于访问量较多,使用ELB负载均衡进行流量调度分配;配置ACL和安全组,限制ICMP。核心业务金融数据汇算系统(z):使用物理机,需要4T数据盘,数据读写性能要求高,只允许运维主机的ip,10.x.x.x接入计算选择BMS物理机服务,保证业务系统运行环境存储选用EVS云硬盘 超高IO,配备4*1T/2*2T/1*4T硬盘规格网络部分根据需求配置云VPN/云专线;设置ACL和安全组,仅允许运维主机ip,10.x.x.x接入统筹需求:非沿海地区机房,做本地和异地容灾;详细介绍迁移方案;监控服务器运行情况使用SDRS和CBR做本地和异地容灾;监控服务器运行情况采用云监控服务;迁移:如数据小于10T,采用大带宽进行数据迁移;如数据大于10T,则采用DES数据快递服务进行数据迁移;架构图:安全方案:安全配备防火墙、日志审计、终端杀毒、Anti-DDOS如有数据库配备数据库审计如有网站配置Web应用防火墙(WAF)迁移方案:先迁移业务X和业务Y,如运行正常,再迁移业务Z。如数据小于10T,采用大带宽进行数据迁移;如数据大于10T,则采用DES数据快递服务进行数据迁移;主机采用SMS主机迁移服务将X86服务器或虚拟机迁移至云上;数据库采用数据自带的迁移工具或使用DRS数据复制服务进行数据库迁移;目 录前 言... ii1 项目概述... 71.1 项目背景... 71.2 项目关键信息收集... 72 项目分析... 112.1 项目现状分析... 112.2 总体需求分析... 122.2.1 业务计算部分上云需求... 122.2.2 业务存储部分上云需求... 122.2.3 业务网络部分上云需求... 132.2.4 安全设计需求... 132.2.5 其他特殊需求3 项目方案架构图(预)... 204 项目技术方案... 173.1 x业务上云技术方案... 173.2 y业务上云技术方案... 183.3 z业务上云技术方案... 193.4 业务整体安全+迁移技术方案5 项目实现价值与总结... 201 项目概述1.1 项目背景。。。
他的回复:
某央企投资银行分支系统上云方案建议书(v1.0)编辑人:XXX联系方式:XXXXXX目录前言... 31 项目概述... 31.1 项目背景... 31.2 项目关键信息收集... 32 项目需求分析... 32.1项目现状分析... 32.2 总体需求分析... 42.2.1 业务计算部分上云需求... 42.2.2 业务存储部分上云需求... 42.2.3 业务网络部分上云需求... 42.2.4 安全设计需求... 42.2.5 其他特殊需求... 43 项目方案架构图(预)... 54 项目技术方案... 54.1 x业务上云技术方案... 54.2 y业务上云技术方案... 54.3 z业务上云技术方案... 54.4 业务整体安全... 54.5 迁移技术方案... 65 项目实现价值与总结... 6前言本方案为某地央企投资银行分支系统上云方案建议书第一版1 项目概述1.1 项目背景因某地央企投资银行分支需当地上云政策,实现三大系统上云。这三大三大系统分别是:企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)。同时解决前期三大系统的一些运行问题。1.2 项目关键信息收集有三大系统需要上云:企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)。1、 企业办公系统(X):运行在华为RH2288,单台,业务后端只能在Centos7.0以上的os运行;员工都只能从本楼内网访问;需要负载均衡,人多有点卡;存储用正常文件存储。2、 终端app业务系统(y):用户接入数常年都很多,注意性能,上云不能卡,业务的数据要做实时读写,网络就对公网开放就好,限制下ICMP3、 核心业务金融数据汇算系统(z):现在承载在本地刀片服务器上,个z业务后端在虚拟机跑的效果不好,几年前测试过,所以能不用虚拟端部署最好;现在已经有2个T的数据了吧,如果要上云,要2倍数据;数据实时读写要求也很高;网络只能放同我们一台运维主机的ip,10.x.x.x,其他一概拒绝;4、 安全容灾要求:站点尽量别选沿海的,做个本地和异地的容灾设计5、 其他要求:需要资源监控及迁移方案2 项目需求分析2.1项目现状分析客户三大系统目前在本地运行,根据本地政府要求必须上云。用户三大系统在人多使用时会有卡顿,机房遭受过台风袭击,有比较迫切的上云及容灾需求。2.2 总体需求分析2.2.1 业务计算部分上云需求1、 企业办公系统(X):目前运行在本地单台华为RH2288上,业务后端只能在Centos7.0以上的os运行;2、 终端app业务系统(y):用户接入数常年都很多,注意性能,上云不能卡3、 核心业务金融数据汇算系统(z):现在承载在本地刀片服务器上,个z业务后端在虚拟机跑的效果不好,几年前测试过,所以能不用虚拟端部署最好;2.2.2 业务存储部分上云需求1、 企业办公系统(X):存储用正常文件存储,容量未说明,具体根据客户要求选用2、 终端app业务系统(y):数据需要实时读写,容量未说明,具体根据客户要求选用3、 核心业务金融数据汇算系统(z):现在已经有2个T的数据了,上云,要2倍,也就是4T空间,也需要数据实时读写2.2.3 业务网络部分上云需求1、 企业办公系统(X):员工都只能从本楼内网访问;上云需要负载均衡。2、 终端app业务系统(y):用户接入数常年都很多,网络就对公网开放就好,限制下ICMP3、 核心业务金融数据汇算系统(z):网络只能放同我们一台运维主机的ip,10.x.x.x,其他一概拒绝2.2.4 安全设计需求站点尽量别选沿海的,做本地和异地的容灾设计2.2.5 其他特殊需求需要资源监控及迁移方案3 项目方案架构图(预)4 项目技术方案4.1 x业务上云技术方案1、 客户需求:企业办公业务上云需要进行负载均衡进行分流,同时保证业务不卡,还需要在内网使用。2、 上云建议:用两台ECS(系统centos7.0以上,具体配置根据用户需求选择),下挂文件服务SFS,前面加上负载均衡ELB,通过云专线或云VPN与用户办公室相连,实现上云及办公室业务人员连接要求。4.2 y业务上云技术方案1、 客户需求:终端App业务系统,用户连接数多,需要高性能,保证公网用户使用不卡;数据需实时读写2、 上云建议:开1台高性能ECS,申请一个EIP与internet互联,对公网用户开放;同时要保证安全,使用安全组SG阻止ICMP访问;开通EVS云硬盘。4.3 z业务上云技术方案1、 客户需求:核心金融汇算业务,无法虚拟化,数据实时读写要求高,需要4T空间,只放通一台运维主机。2、 上云建议:使用BMS服务,同时使用ACL/SG限制,只放通一台运维主机(ip,10.x.x.x)访问;开通4TEVS云硬盘挂载。4.4 业务整体安全根据用户需求,选择内陆region开通业务,同时通过SDRS和CBR部署云上两地三中心容灾4.5 迁移技术方案迁移分为迁移前调研、迁移上云评估、迁移方案制定、迁移方案测试(验证方案的正确性及可实施性,工具选择验证等)、迁移分级分布实施(先迁普通业务再迁核心业务)、迁移验收测试、迁移维保等阶段展开4.6 云资源监控及运维建议云上资源监控可以使用免费的CTS(云审计)、CES(云监控)、LTS(日志审计)三个服务对资源进行监控。云上资源运维建议开通CBH(云堡垒机)进行运维,可以保证运维安全且可以审计追溯等。5 项目实现价值与总结该项目可实现用户三大系统上云需求,同时解决用户现网访问卡顿的问题,而且实现了用户的两地三中心的灾备需求,极大地保障了用户业务连续性和安全性。此方案为第一版,有未尽之处请指正。
他的回复:
华为培训网址https://cn.huaweils.com/#/huaweiTenant/CourseDetail?id=c2d8049906ff44dcbac34e2b4fc25c9aD-LAB知识点总结一、计算1、弹性伸缩实施步骤用户手工配置:创建伸缩组——创建伸缩配置——创建伸缩策略系统根据用户配置,自动实施:启用伸缩组——检测伸缩策略——执行伸缩活动创建伸缩配置:1、登录管理控制台,2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面,填写弹性伸缩配置信息,您可以选择使用已有云服务 器规格为模板或者使用新模板。 创建弹性伸缩组: 1. 返回“伸缩实例”页面,单击“创建弹性伸缩组”。 2. 在创建伸缩组页面,填写弹性伸缩组的基本信息,例如,名称、最大实例数、最 小实例数、期望实例数等,在高级配置中还可对标签进行配置。 “伸缩配置”选择已创建的伸缩配置。创建伸缩策略 1. 在伸缩组所在行的“操作”列下,单击“查看伸缩策略”。 2. 在“伸缩策略”页签,单击“添加伸缩策略”。通过伸缩控制可以实现弹性云服务器(ECS)实例伸缩和带宽伸缩:伸缩控制:配置策略设置指标阈值/伸缩活动执行的时间,通过云监控监控指标是否达到阈值,通过定时调度,实现伸缩控制。配置策略:可以根据业务需求,配置告警策略/定时策略/周期策略。配置告警策略:可配置CPU、内存、磁盘、入网流量等监控指标。配置定时策略:通过配置触发时间可以配置定时策略。配置周期策略:通过配置重复周期、触发时间、生效时间可以配置周期策略。云监控监控到所配置的告警策略中的某些指标达到告警阈值,从而触发伸缩活动,实现ECS实例的增加/减少或带宽的增大/减小。到达所配置的触发时间时,触发伸缩活动,实现ECS实例的增加/减少或带宽的增大/减小。2、计算选型题目:核数:2*16=32核 内存:8*16g=128g 核数:2*16*0.25=8核(0.25平均负载) 2*16*0.85=27.2(峰值负载0.85,可取32) 内存:8*16*0.68=87.04G(可取96g) 存储空间:系统盘未知, 数据库盘:8*500g*0.5(raid10利用率)=2000G 要求:1、cpu平均利用率小于50%,2、内存利用率小于70%,3、无特别说明按照1:1选型,4、保证峰值压力。 问题:怎么计算选型?回答:3、裸金属的优势怎么给高性能计算需求客户推荐上云裸金属BMS:为用户提供专属的物理服务器,提供卓越的计算性能,满足核心应用场景对高性能及稳定性的需求,结合了传统托管服务器带来的稳定性能与云中资源高度弹性的优势。易使用:自助申请,一键式console操作,5分钟极速下发,服务器全生命周期管理。高性能、高可靠:裸金属服务器继承物理服务器特征,无虚拟化开销和性能损失,100%释放算力资源。采用独家SDI技术,支持挂载云硬盘、共享卷。提供一键重装、密码找回、故障重建、整机备份功能。灵活网络配置:支持VPC、安全组隔离;支持与安全组、ELB\EIP配合使用。支持主机安全相关组件集成;支持通过VPC内的私有网络,实现BMS与ECS之间的网络互通,支持自定义网络BMS之间的高速互通。易维护:可监控硬件状态。审计资源操作,提供远程console控制台、开放API和SDK,支持自助式资源生命周期管理和运维。灵活付费:包年包月,或者按需付费。支持全业务解决方案集成:支持公有云云服务的快速集成;帮助企业客户实现数据库、大数据、容器、HPC、AI等关键业务云化解决方案集成和加速业务云化上线效率。推荐高性能客户上云:1. 选配ECS高配性能版-若客户的核心业务对于虚拟化环境运行无特殊要求,仅仅是性能要求较高,这是一个可用的选择;2. 如果客户特殊异构计算的性能需求,可以推进GPU、AI、HPC、FGPA等异构计算服务3. 若客户高性能业务不可兼容虚拟化环境,则可推荐BMS裸金属服务;4、镜像迁移与部署问题:zhxx-app.vmdk和zhxx-db.vmdk是否都能导入华为云镜像的方式部署? 问题2:对于Vmware镜像文件.vmdk部署为华为云的弹性云服务器ECS,其流程主要步骤有哪些?回答:1、华为云支持导入vhd、vmdk、qcow2、raw、vhdx、qcow、vdi、qed、zvhd或zvhd2格式镜像文件。2、使用公有云镜像服务,步骤如下: 准备符合平台要求的外部镜像文件。 上传外部镜像文件到OBS个人桶中。 通过管理控制台选择上传的镜像文件,并将镜像文件注册为私有镜像。 私有镜像注册成功后,使用该镜像创建新的云服务器。二、存储1、块存储、文件存储、对象存储原理及特性。相互比较。SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景。NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。利用FTP+TFTP协议进行上传下载,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据作为后端存储为客户打造的离线存储系统,性价比高……)2、OBS的具体特性题目:前三天频繁掉用,3天后转为归档,对应obs什么功能;2周后自动删除,对应obs什么功能特性 ,怎么部署怎么计费,生命周期怎么改答:三、数据库1、LNMP LAMP开数据库LAMP:Linux + Apache + MySQL+php的组合方式LNMP:Linux + Nginx + MySQL+php的组合方式LAMP和LNMP最主要的区别在于:一个使用的是Apache,一个使用的是Nginx。Linux 开源免费软件,作为网站的操作系统 Apache/Nginx Web服务器软件 MySQL 多线程多用户的数据库管理系统,用来存放数据 PHP 服务器端的应用程序软件,快速执行动态网页LAMP:使用的是Apache,Apache是世界是用排名第一的Web服务器软件,其几乎可以在所有广泛使用的计算机平台上运营,由于其跨平台和安全性被广泛使用,是最流行的Web服务端软件之一。相比于nginx,apache有些臃肿,内存和CPU开销较大,性能上有损耗,nginx对于静态文件的响应能力远高apache。 Apache是负载PHP的最佳选择,如果流量很大的话,可以使用nginx来负载非PHP的Web请求。。LNMP:使用的是Nginx,Nginx是一款高性能额Http和反向代理服务器,也是一个AMAP/POP3/SMTP服务器。nginx使用资源更少,支持更多并发连接,效率更高,作为负载均衡服务器。nginx即可对内进行支持,也可对外进行服务,安装简单。总之:1、LNMP方式的优点:占用VPS资源较少,Nginx配置起来也比较简单,利用fast-cgi的方式动态解析PHP脚本。缺点:php-fpm组件的负载能力有限,在访问量巨大的时候,php-fpm进程容易僵死,容易发生502 bad gateway错误。2、基于 LAMP 架构设计具有成本低廉、部署灵活、快速开发、安全稳定等特点,是 Web 网络应用和环境的优秀组合。若是服务器配置比较低的个人网站,当然首选 LNMP 架构。当然,在大流量的时候。把Apache和Nginx结合起来使用,也不失为一个不错选择。2、lamp数据库和应用选型问题:LAMP数据库和应用都分别用主机部署,请问用什么规格的存储,并说明原因(应用服务器数据存储200g,文件数据增长快)回答:具体考的时候,如果你真的抽到这个题目,要看清楚题干对吧,题干上面应该会说这个应用数据库,它的读写环境有没有要求什么的,要具体要结合题目。如果仅基于现有的信息:1、Apache服务器:WEB应用程序的服务器,当客户端请求的是静态资源时,web服务器会直接把静态资源返回客户端;2、当客户端请求的是动态资源时,httpd的php模块会进行相应的动态资源运算,如果此过程还需要数据库的数据作为运算参数时,php会连接mysql取得数据然后进行运算,运算的结果转为静态资源并由web服务器返回到客户端。对于应用服务器,由于文件数据增长快,建议还是选用云硬盘,可以选用高性能。如果有说明,可搭配SFS文件存储。 3、华为云服务有哪些特性可以保证高性能和高可靠——数据库一、数据库本身特性服务高可用:可用区内部主备、跨可用区主备数据高可靠:在线存储数据可靠性9个9、备份存储数据可靠性11个9数据高安全:(1)连接安全:VPC、子网、安全组、VPN、SSL(2)安全管理:管控平台严格做到不碰用户业务数据(3)数据加密:储存数据加密,秘钥严格管理二、用分布式数据库中间件DDM1、用分布式数据库中间件(DDM):分布式关系型数据库,兼容Mysql协议,采用存储计算分离架构的模式,使得存储、计算层可以无限扩展,从而拥有海量数据高并发访问能力。2、DDM部署过程基本架构就是DDM下挂多个Mysql实例,包括只读实例和写实例:步骤一:购买数据库中间件实例及RDS for MySQL实例步骤二:创建逻辑库并关联RDS for MySQL实例步骤三:创建DDM帐号步骤四:连接DDM逻辑库读写分离、采用高可用部署读写分离,主备版部署或集群版部署(一主一备五只读)四、数据多样化存储关系型数据库支持与分布式缓存服务Redis、Memcached对象存储服务等产品搭配使用,基于双机热备的高可用架构,提供单机、主从、集群等丰富类型的缓存类型,满足用户高并发及数据快速访问的业务需求。14、目的数据库oracle但是不用rds,采用哪种模式15、计算模式下应用了哪些服务四、网络1、PV测带宽问题:假设每次访问的平均页面大小是200K字节,网站的预期目标是每天50W PV的访问量。我们的计算开始:50W PV如果在一天内平均分布,折合到每秒大概是50W/(246060)=6次访问,按照我们之前的假设平均页面大小是200K字节计算,这6次访问总 共就是1200K字节(需要注意的是这个地方是字节),字节的单位是Byte,而带宽的单位是bit,1Byte=8bit,因此1200K Byte大概就是9600K bit,也就是9Mbps(1M=1024K)。在实际的网站运行过程中,我们的网站必须要在峰值流量时保持正常的访问,这里就会用到我们之前的假设,峰 值流量是平均流量的5倍,按照这个计算,实际需要的带宽大约在9Mbps*5=45Mbps左右。 具体的计算公式是:500000/3600/24*8*200/1024=9.042245372、VPN组网、原理分析3、IP规划、子网规划VPC的网络规划(一)分层简单组网的系统可以全部放在同一个VPC,不同子网对应不同功能或者安全区域,复杂组网的系统一个VPC对应一个相对独立的业务应用系统或者部门网络,不同VPC之间可以通过对等连接互通。网段创建VPC和子网都需要网段,网段就是给VPC和子网分配的地址块。约束了资源在VPC和子网内可申请获取的IP地址范围。VPC/子网的资源使用IP地址进行相互通信。VPC网段约束子网能够配置的网段范围,子网网段约束子网内资源申请的IP地址范围,还默认作用在路由表内。由于子网创建后网段不可修改,所以划分子网除满足现有业务的IP地址诉求,还要翻倍预留扩容空间。同时子网创建后系统默认会占用网段内第一个和最后4个IP地址,分别作为网关、预留地址、DHCP、系统接口、广播地址使用。VPC/子网网段,不能与需要连通的其他网络的网段重复。IP总数子网掩码C段个数 /304255.255.255.2521/64/298255.255.255.2481/32/2816255.255.255.2401/16/2732255.255.255.2241/8/2664255.255.255.1921/4/24256255.255.255.01/23512255.255.254.02/221024255.255.252.04/212048255.255.248.08/204096255.255.240.016/198192255.255.224.032/1816384255.255.192.064/1732768255.255.128.0128/1665536255.255.0.0256公网与私网IP 公网IP:在Internet上的计算机使用的IP地址是全球统一规划的,称为公网地址。 私网IP:在企业、学校等内网通常使用保留的私网地址。 为什么设置私网IP? 因为IPV4的地址数量不足,同时在最初分类IP设计中的缺陷,导致在网络不断发展中,IP地址匮乏严重。于是,提出了私网IP,即保留一部分IP作为私网IP,这些IP可以再内网中使用,不同内网都可以使用这些IP(即复用,只要一个内网中地址互相区别,不同内网可复用),则无形中仿佛增加了IP数量。2)哪些是私网IP地址 A类:10.0.0.0-10.255.255.255,掩码 255.0.0.0; B类:172.16.0.0-172.31.255.255,掩码 255.255.0.0; C类:192.168.0.0-192.168.255.255,掩码 255.255.255.0 3)如果内网使用私网IP标识主机,这些主机如何访问Internet? 对于私网地址,由于不同内网中复用,因为不能在Internet访问中使用,否则会引发冲突。那如何解决该问题,即NAT技术(Network Address Translator),其作用是将私网IP转换为公网IP,当然提供有多种NAT技术。 子网划分 什么是子网? 子网(subnet),将一个大的网络划分成几个较小的网络,每一个网络都有其自己的子网地址; 2、为什么进行子网划分? IP地址的有效利用率问题 路由器的工作效率问题 通过在子网中包含广播流量来控制流量 减少整体网络流量并提高网络性能3、如何进行子网划分? 基本思路: 子网划分是在分类的IP基础上提出的,对于分类IP其网络位已确定,想进一步进行子网划分,则考虑借用主机位作为子网位,从而形成三层地址结构,即网络位,子网位,主机位,利用网络位与子网位共同来标识网段。借位规则: 1 从高位向低位依次连续借位 2 至少主机位留2位,因为主机位全0和主机位全1的IP地址需保留 3 借位与什么相关? 1) 需要划分的子网数量; 2) 子网中主机的数量 如何把所划分的子网表达出来,即标识子网网段?子网掩码:子网掩码与IP地址进行与运算其结果即为网络地址,将掩码进行扩展,网络位与子网位置1,主机位置0. A类地址默认子网掩码:255.0.0.0 B类地址默认子网掩码:255.255.0.0 C类地址默认子网掩码:255.255.255.0 子网划分方法: 等长子网划分 等长子网划分就是将一个网段等分成多个网段,也就是等分成多个子网。 子网划分就是借用现有网段的主机位做子网位,划分出多个子网。子网划分的任务包括两部分: 1)确定网络掩码的长度。 2)确定子网中第一个可用的IP地址和最后一个可用的IP地址。 2 可变长子网划分VLSM 现实中,不同子网的主机数量不同,等长子网划分比较简单,但是地址存在浪费,基于不同子网的IP需求,对于不同子网采用不同的子网长度。 基本步骤: 1)首先,根据子网中最大的IP需求量,先对网络划分子网。 2)然后,再根据具体情况,将子网进一步划分子网。 3)根据需要重复此过程,以创建不同大小的子网。 子网合并 把多个网络(子网)的网络位当做主机位,将多个网络(子网)合并成一个大的网络(子网),其目标可对于路由表中的项目进行合并,增加路由效率。 如何合并?什么样的能合并? 核心:相同前缀,连续地址 路由匹配:最长前缀匹配 4、VPC相关概念虚拟私有云VPC每个虚拟私有云VPC由一个私网网段、路由表和至少一个子网组成。(1)私网网段:用户在创建虚拟私有云VPC时,需要指定虚拟私有云VPC使用的私网网段。当前虚拟私有云VPC支持的网段有10.0.0.0/8~24、172.16.0.0/12~24和192.168.0.0/16~24。(2)子网:云资源(例如云服务器、云数据库等)必须部署在子网内。所以虚拟私有云VPC创建完成后,需要为虚拟私有云VPC划分一个或多个子网,子网网段必须在私网网段内。(3)路由表:在创建虚拟私有云VPC时,系统会自动生成默认路由表,默认路由表的作用是保证了同一个虚拟私有云VPC下的所有子网互通。当默认路由表中的路由策略无法满足应用(比如未绑定弹性公网IP的云服务器需要访问外网)时,可以通过创建自定义路由表来解决。5、管理业务双平面 五、容器与云原生1、容器和虚拟机的区别回答:(一)容器与虚拟化的区别1、容器主机必须有OS环境2、容器没有虚拟化软件3、容器应用镜像来自公共、私有、社区HUB4、容器引擎直接安装镜像---运行实例5、容器无需安装OS、无需做任何配置(二)容器和虚拟机的优势对比1、容器占用空间是MB级别,虚拟机是GB级别2、容器的运行速度是秒级,虚拟机是分钟级3、容器的安全性不如计算虚拟化4、容器创建数量无上限,虚拟机受限于hypervisior(三)容器的最大价值(CCI+CCE)1、无服务器架构2、预装好具备容器编排能力的平台2、容器和虚拟化的联系,区别,和cicd devops还有微服务关系已知题目:容器和虚拟化的联系,区别,和cicd devops还有微服务关系云原生的通俗解释+画图示意微服务 CICD devops 容器化的关系+四个各自的功能作用回答:(一)云原生定义-来自华为Cloud Native是指在云环境下构建、运行、管理软件的新的系统实践范式,充分利用云基础设施与平台服务(IaaS/PaaS),适应云环境,具备(微)服务化、弹性伸缩、分布式、高可用、多租户、自动化等关键特征的架构实践;建立全功能团队、发展全栈工程师并高度协作的组织,采用DevOps研发模式、自动化工具,实现微服务持续交付,是支撑Cloud Native架构的最佳组织和工程实践。(二)3、使用容器引擎客户端上传镜像开始——安装容器引擎——构建镜像——创建组织——连接容器镜像服务——上传镜像——结束4、视频、流媒体容器化由于视频业务客户负载变化难以预测,需要根据CPU/内存使用率进行实时扩缩容。容器解决方案:可以利用CCE容器引擎,来实现弹性伸缩应用。容器启动速度为秒级,在业务量暴增时,可秒级启动容器,保障业务稳定。5、据题目画容器业务vpc子网拓扑图(1)CCE内分为两个工作负载,Web负载和数据库负载,位与同一个VPC内(2)数据库集群与WEB集群间使用clusterip方式访问(3)WEB集群和外网的service通过 LB方式访问6、k8s网络和vpc的组网的关系Kubernetes本身并不负责网络通信,Kubernetes提供了容器网络接口CNI,具体的网络通信交给CNI插件来负责,开源的CNI插件非常多,像Flannel、Calico等,华为云CCE也专门为Kubernetes定制了CNI插件,使得Kubernetes可以使用华为云VPC网络。通过ELB中转一次连K8s-MasterElb不能直接连master节点,而elb连Service又必须得带selector。那就只能额外部署一个proxy容器,使用selector先到这个proxy容器,再转到Master7、什么业务适合做容器化1.轻量级的应用系统、丢失数据不敏感业务适合上容器化平台。几类应用比较适合容器化部署:一是功能单一的应用,即微服务(这也是为什么现在大家一谈到微服务就会谈到容器,一谈到容器就会谈到微服务的原因 );二是无状态的应用,容器的一个最大的优点就是可以快速创建(秒级),对于无状态的应用,可以通过快速横向扩容来提升并发处理能力;三是变更频繁的应用,容器是基于镜像创建的,对于变更频繁的应用,只要能保证镜像在测试环境测试没有问题,那么在生产环境上线由于环境差异导致出问题的概率就会少的多;四是对于需要在一个站点快速部署的应用组,对于需要在一个新站点快速部署的应用组,使用容器技术能够结合容器平台自身的特性,快速创建一个新的站点。2.重量级的中间件、oracle数据库、对数据持久化有强需求的应用、传统行业核心应用不适合容器化。使用容器部署应用,建议的上容器顺序如图所示:1、至少使用了哪些华为云服务,才算是云原生?A、容器CCE;B、微服务 ASM\CSE;C、流水线DevCloud8、容器的高可用原理一、容器集群高可用部署原理:1.CCE高可用集群采用分别在3个AZ中部署三套Master节点方式;2.应用AZ内高可用部署,通过ClusterIP服务调用不跨AZ。3.应用发布LoadBalancer类型的Service对接到集群所在AZ的融合ELB服务实例;4.应用通过VIP访问数据库,数据库自动切换应用不感知。5.支持多AZ动态容器存储,根据pod所在AZ创建数据卷。高可用架构原理图:二、容器实例高可用容器高可用依赖于多实例部署,在合理配置反亲和后,如果发生单实例、单节点、单AZ故障,业务均不受影响。容器多实例可以实现多节点、多可用区部署六、迁移1、迁移步骤、迁移工具迁移整体流程1.迁移前作信息收集+风险点评估 信息收集:软硬件版本、规格、参数、性能容量、兼容性等参数收集; 风险评估:对系统软硬件环境进行评估是否适合迁移及迁移风险点。2.迁移方案制定 根据业务实际场景,确定迁移方式、迁移工具、迁移团队、分工界面、迁移时间、回退方案等关键点,形成具体的迁移方案和实施步骤。 其中迁移方式可根据实际的迁移场景,分为P2P/P2V/V2P/V2V。3.迁移预实施+整体逐批逐层实施 根据迁移方案预实施少量节点,对于重要业务提前进行应急预案演练,及时发现问题修改方案,确保迁移的顺利性;预实施完成后,分批次(业务系统最后)、分层次(数据层最后)进行系统整体迁移。4.迁移后业务测试+数据检验 对于迁移业务进行业务拉起和连通性测试,对系统网络质量和数据完整度等方面进行验证。5.迁移现场保障+后期维保 迁移完成后需留场进行业务保障,后续业务在维保期继续关注运行状态。6.项目验收三大层次迁移工具或服务选择:数据层迁移若采用工具流: 1、利用企业级存储hyperreplication+hyperMetro(复制+双活)+lun拷贝+eRplication等;公有云服务:1、可以使用公有云数据快递DES服务(数据快递服务(Data Express Service, DES)是面向TB到数百TB级数据上云的传输服务);平台层迁移若采用工具流: Oracle Golden/Data guard/Always On/数据库自带迁移工具等;若采用公有云服务:DRS(偏同构数据库)+UGO(偏异构数据库)应用层迁移工具流:eBackup/Rainbow等服务流:SMS主机迁移服务七、一些计算题1、oceanstore ,4台存储(每台12块,一块冷备,做raid5),加一个级联的存储机框(24块盘,不做raid),问一共多少容量。回答:4*10*单盘+24*单2、题目:核数:2*16=32核 内存:8*16g=128g 核数:2*16*0.25=8核(0.25平均负载) 2*16*0.85=27.2(峰值负载0.85,可取32) 内存:8*16*0.68=87.04G(可取96g) 存储空间:系统盘未知, 数据库盘:8*500g*0.5(raid10利用率)=2000G 要求:1、cpu平均利用率小于50%,2、内存利用率小于70%,3、无特别说明按照1:1选型,4、保证峰值压力。 问题:怎么计算选型?回答:32核/128G /2000GB3、24块盘,2块保险盘不存数据,一块高热盘、一块低热盘,分两组做了raid5回答:可用容量:24T实际容量:20T (高热做校验,低热做冗余,只去上下4个保险盘)容量使用率:20/24可用硬盘数:20(1)虚拟化高可用组网,在公有云网站上,不就是利用ELB、AS加EIP出去,后端多个服务器组通过ELB的各种各样算法去谈带宽谈实力(2)容器的高可用部署,利用CCE集群下面的多物理节点对吧,来做负载分担和相互备份保护。(3)数据库高性能部署,我不管他数据库是部署在一个云主机里还是两个云主机里,如果需要高考用,那就绑后端服务器组,通过ELB来做对不对?如果用户的接入对于流量有要求,对于瞬发流量或者是接入数不稳定,那就多加ELB加AS的,一起负载着去做。多实例+DDM+缓存数据库
他的回复:
某地市央企投资银行分支系统上云方案书(v1.0)编辑人:XXX联系方式:xxxxx目录某地市央企投资银行分支系统上云方案书(v1.0)............................................................... 1前言................................................................................................................................. 31 项目概述....................................................................................................................... 31.1 项目背景......................................................................................................................................... 31.2 项目关键信息收集........................................................................................................................ 32 项目分析....................................................................................................................... 42.1 项目现状分析................................................................................................................................. 42.2 总体需求分析................................................................................................................................. 43 项目方案架构图............................................................................................................. 64 项目技术方案................................................................................................................ 74.1 企业办公系统上云技术方案........................................................................................................ 74.2 终端app业务系统上云技术方案............................................................................................... 74.3 核心业务金融数据汇算系统上云技术方案............................................................................... 74.4 业务整体安全和迁移技术方案.................................................................................................... 75 项目实现价值与总结...................................................................................................... 9前言本方案为某地央企投资银行分支系统上云方案建议书第一版。本次方案目标,确认XX央企投资银行的上云系统、上云需求,并初步规划上云方案。XX银行可根据本方案进行业务上云迁移规划和上云需求调整。1 项目概述1.1 项目背景某地市央企投资银行分支,由于当地上云政策要求,部分业务在今年需启动上云。希望通过本次上云,实现业务云化部署,同时解决前期本地部署的运行问题和业务隐患。1.2 项目关键信息收集有三大系统需要上云:企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)。1、 企业办公系统(X):运行在华为RH2288,单台,业务后端只能在Centos7.0以上的os运行;员工都只能从本楼内网访问;需要负载均衡,人多有点卡;存储用正常文件存储。2、 终端app业务系统(y):用户接入数常年都很多,注意性能,上云不能卡,业务的数据要做实时读写,网络就对公网开放就好,限制下ICMP3、 核心业务金融数据汇算系统(z):现在承载在本地刀片服务器上,个z业务后端在虚拟机跑的效果不好,几年前测试过,所以能不用虚拟端部署最好;现在已经有2个T的数据了吧,如果要上云,要2倍数据;数据实时读写要求也很高;网络只能放同我们一台运维主机的ip,10.x.x.x,其他一概拒绝;4、 安全容灾要求:站点尽量别选沿海的,做个本地和异地的容灾设计5、 其他要求:需要资源监控及迁移方案2 项目分析2.1 项目总体需求分析客户三大系统目前在本地运行,根据本地政府要求必须上云。用户三大系统在人多使用时会有卡顿,机房遭受过台风袭击,有比较迫切的上云及容灾需求。2.2 具体需求分析2.2.1 业务计算部分上云需求客户现有的3个系统的计算部分上云需求企业办公系统(x):上云的计算能力要求不高,保证系统正常运行即可,本地是单台华为RH2288上,镜像是CENTOS7.0。要求双机备份和负载均衡。终端app业务系统(y):用户接入数多,对性能要求高,上云后不能卡顿。核心业务金融数据汇算系统(z):本地在刀片服务器,不支持虚拟化,要使用物理机。2.2.2 业务存储部分上云需求客户现有3个系统的存储部分上云需求1、 企业办公系统(X):存储用正常文件存储,容量未说明,具体根据客户要求选用2、 终端app业务系统(y):数据需要实时读写,容量未说明,具体根据客户要求选用3、 核心业务金融数据汇算系统(z):现在已经有2个T的数据了,上云,要2倍,也就是4T空间,也需要数据实时读写。2.2.3 业务网络部分上云需求客户现有3个系统的网络部分上云需求 企业办公系统(x):内网业务,访问者均在客户本地办公楼,上云需要负载均衡。 终端app业务系统(y):公网,用户接入数常年很多。限制下ICMP。 核心业务金融数据汇算系统(z):内网业务,要求只有运维主机的ip,10.x.x.x,其他一概拒绝。2.2.4 安全需求客户现有3个系统的安全部分上云需求企业办公系统(x):内网业务,最好避免单机运行,保证业务系统正常运行。终端app业务系统(y):公网,用户接入数常年很多。保证访问安全核心业务金融数据汇算系统(z):内网业务,要求只有运维主机的ip,10.x.x.x,其他一概拒绝。总体机房选址要求-非沿海,本地及异地容灾2.2.5 其他特殊需求灾备需求两地三中心,机房选址非沿海,需要有本地及异地容灾运维界面友好,需要随时查看云资源的运行情况和各种参数。3、迁移规划合理,具体描述迁移流程和迁移工具,对于应用层、数据层有详细规划,整体迁移有完整路径。3 项目方案架构图4 项目技术方案4.1 企业办公系统上云技术方案1、 客户需求:企业办公业务上云需要进行负载均衡进行分流,同时保证业务不卡,还需要在内网使用。2、 上云建议:用两台ECS(系统centos7.0以上,具体配置根据用户需求选择),下挂文件服务SFS,前面加上负载均衡ELB,通过云专线或云VPN与用户办公室相连,实现上云及办公室业务人员连接要求。4.2 终端app业务系统上云技术方案1、 客户需求:终端App业务系统,用户连接数多,需要高性能,保证公网用户使用不卡;数据需实时读写2、 上云建议:开1台高性能ECS,申请一个EIP与internet互联,对公网用户开放;同时要保证安全,使用安全组SG阻止ICMP访问;开通EVS云硬盘,选择超高IO SSD盘。4.3 核心业务金融数据汇算系统上云技术方案1、 客户需求:核心金融汇算业务,无法虚拟化,数据实时读写要求高,需要4T空间,只放通一台运维主机。2、 上云建议:使用BMS服务,同时使用ACL/SG限制,只放通一台运维主机(ip,10.x.x.x)访问;开通4T EVS 超高IO云硬盘挂载。4.4 业务整体安全和迁移技术方案4.4.1安全业务规划云上的业务做到公网与内网分离,可以设置不同的VPC。终端的公网业务通过弹性EIP访问,内网业务通过云VPN或者云专线访问。云主机的安全组设置限制下ICMP,对于核心业务金融数据汇算系统,限制仅有运维主机的ip,10.x.x.x,其他一概拒绝。云上提供云监控、云日志和云审计功能,可以方便客户运维和运营。同时建议客户搭配部署满足等保三级要求的云安全服务,可以专门划分安全专区子网,搭配但不限于以下安全产品:堡垒机、下一代防火墙、日志审计、终端杀毒、数据库审计、WAF应用防火墙等,华为云还提供了抗DDOS服务ADS,建议升级成专业版。根据用户需求,选择内陆region开通业务,在同region采用华为的SDRS存储容灾服务,提高数据安全可靠性。在不同的region部署业务的容灾中心,可以使用华为的CBR云备份。4.4.2 迁移方案规划迁移整体流程1.迁移前作信息收集+风险点评估 信息收集:软硬件版本、规格、参数、性能容量、兼容性等参数收集; 风险评估:对系统软硬件环境进行评估是否适合迁移及迁移风险点。2.迁移方案制定 根据业务实际场景,确定迁移方式、迁移工具、迁移团队、分工界面、迁移时间、回退方案等关键点,形成具体的迁移方案和实施步骤。 其中迁移方式可根据实际的迁移场景,分为P2P/P2V/V2P/V2V。3.迁移预实施+整体逐批逐层实施 根据迁移方案预实施少量节点,对于重要业务提前进行应急预案演练,及时发现问题修改方案,确保迁移的顺利性;预实施完成后,分批次(业务系统最后)、分层次(数据层最后)进行系统整体迁移。4.迁移后业务测试+数据检验 对于迁移业务进行业务拉起和连通性测试,对系统网络质量和数据完整度等方面进行验证。5.迁移现场保障+后期维保 迁移完成后需留场进行业务保障,后续业务在维保期继续关注运行状态。6.项目验收三大层次迁移工具或服务选择:数据层迁移若采用工具流: 1、利用企业级存储hyperreplication+hyperMetro(复制+双活)+lun拷贝+eRplication等;公有云服务:1、可以使用公有云数据快递DES服务(数据快递服务(Data Express Service, DES)是面向TB到数百TB级数据上云的传输服务);平台层迁移若采用工具流: Oracle Golden/Data guard/Always On/数据库自带迁移工具等;若采用公有云服务:DRS(偏同构数据库)+UGO(偏异构数据库)应用层迁移工具流:eBackup/Rainbow等服务流:SMS主机迁移服务5 项目实现价值与总结本次客户系统上云既满足了现有政策的要求,同时也解决了客户现网存在的问题。目前客户本网的机房存在安全隐患,业务单机部署。上云后实现了用户的两地三中心的灾备需求,极大地保障了用户业务连续性和安全性。配置了负载均衡,解决用户现网访问卡顿的问题增加了业务的可靠性和可用性。上了华为公有云,由华为承担云化系统的部分运维,同时配置了公有云的安全设施和灾备部署,加上华为云的云监控、云日志,客户减少运维压力,更加聚焦业务层面。此方案为第一版,有未尽之处请指正。