各类“云”技术经验分享
各类“云”技术经验分享
云计算技术经验分享
通过一段时间的学习和实践,我对“云计算技术”有了一定的了解,从根本上改变对了云计算技术的认识,我深刻认识到这不仅是一门高科技技术 ,而且会成为日后推动世界经济发展的重大力量。
当前,信息技术已经深入到各行各业,并在提升人类管理地球智慧的过程中发挥着基础性的作用。信息技术自身同样需要变得更加智慧来应对复杂的世界,“云计算”则代表了信息技术当前发展的新阶段。从宏观的角度来看,这也是经济发展规律的必然结果。社会经济从最开始的自给自足状态,渐渐发展到社会分工和标准化的出现;然后随着规模的扩大,产业链进一步细分和重组,用户可以获得丰富多样的、高度可定制的服务和产品。信息技术也是一样,用户将逐渐告别自己购买设备,自主开发和管理的阶段,转而采用云计算技术来获得更加高性价比和个性化的信息服务。
21世纪初期,崛起的Web2.0让网络迎来了新的发展高峰。网站或者业务系统所需要处理的业务量快速增长,例如视频在线 或者照片共享,这样的网站需要为用户储存和处理大量的数据。这类系统所面临的重要问题是如何在用户数量快速增长的 情况下快速扩展原有系统,随着移动终端的智能化、移动宽带网络的普及,将有越来越多的移动设备进入互联网,意味着 与移动终端相关的IT系统会承受更多的负载,而列于提供数据服务的企业来讲,IT系统需要处理更多的业务量。由于资源 的有限性,电力成本、空间成本、各种设施的维护成本快速上上升,这就面临着怎样有效地 利用这些资源,以及如何利用更少的资源解决更多的问题。同时,随着高速网络连接的衍生,芯片和磁盘驱动器产品在功能增强的同时,价格也在变得甘益低廉,拥有成百上千台计 算机的数掂中心也具备了快速为大量用户处理复杂问题的能力。技术上,分布式计算的日益成熟和应用,特别是网格计算 的发展通过Internet把分散在各处的硬件、软件、信息资源连接成为一个巨大的整体,从而使得人们能够利用地理上分散 于各处的资源,完成大规模的、复杂的计算和数据处理的任务oJ。数据存储的快速增长产生了以GFS(Google File System) 、SAN(Storage Area Network)为代表的高性能存储技术。服务器整合需求的不断升温推动了Xen等虚拟化技术的进步还有 Web2 0的实现,SaaS(Software as a Service)观念方兴未艾,多核技术的普及等,所有这些技术为产生更强大的计算能力和服务提供了可能。计算能力和资源利用效率的迫切需求,资源的集中化和技术的进步,推动云计算应运而生。
什么是云计算?不同的人从不同的角度来看,说法不尽相同。胡建强老师认为,就社会发展对信息技术的需求来看,云计算本质上就是面向减少初期投资、降低运营成本、实现规模效益、产生新创价值等需求而在计算技术和商业模式上的创新发展。云计算契合了当前信息系统发展的新需求,将成为大规模的智慧解决方案中的基础性信息技术,并在支持信息系统基础架构、组建操作平台、开发运行新型应用等方面提供集成的、便捷的、快速的手段。胡老师同时指出,近几年来,云计算在我国可谓风生水起,热闹非凡。然而,云计算从概念到落地实际上只能从2010年算起。在此之前只能看成是云计算的市场引入阶段。
一、云计算的正确理解
云计算普遍认为是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使用能够按需获取计算存储空间和信息服务。
这里所说的“云”不是我们通常所理解的云。它是一些可以自我维护和管理的虚拟计算资源。通常是一些大型服务器集群,包括计算服务器、存储服务器和宽带资源等。
二、云计算的概念
云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物。狭义云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源;广义云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务,它具有超大规模、虚拟化、可靠安全等独特功效。
三、云计算的原理
通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。
四、云计算的现状
云计算是多种技术混合演进的结果,其成熟度较高,又有大公司推动,发展极为迅速。Google、Amazon、IBM、微软、Yahoo、Apple等大公司相继研发出云计算技术。
在我国,云计算发展也非常迅猛。2008年,IBM先后在无锡和北京建立了两个云计算中心;世纪互联推出了CloudEX产品线,提供会联网主机服务、在线存储虚拟化服务等;中国移动研究院已建立起1024 个CPU的云计算试验中心,并于2010年5月发布“BigCloud”;解放军理工大学研制了云存储系统Mass Cloud,并以它支撑基于3G的大规模视频监控应用和数字地球系统;Alibaba集团也成立了专注于与技术领域研究和研发的阿里云公司,启动大淘宝战略,研制了淘宝的分布式文件系统(TFS);中国电信与EMC公司合作推出面向家庭和个人用户的运营商级的云信息服务-“E云”,并在第二届中国云计算大会的展台上展示其云端产品。
目前,云计算不仅引起各行各业的广泛关注,还引起了各国政府的高度重视。美国、日本、英国等许多国家都在大力建立国家级云计算项目,试图在这场IT技术的全新革命中抢占先机。
中国的云计算发展还处于初级阶段,我们应该看到云计算巨大的发展潜力,要推动并加强云计算的研发和创新,培养相关的科研创新人才和团队,帮助国内
企业攻克在IT产业和信息服务领域的关键技术,加速信息化建设进程,进而提升工业化水平。
五、云计算的优势
1、具备规模经济性
具有相当的规模,Google云计算已经拥有100多万台服务器, Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。
2、虚拟化能力强
云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。
3、高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。
4、通用性强
云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。
5、高可伸缩性
“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。
6、按需服务
“云”是一个庞大的资源池,可以根据用户需求定制;可以像自来水,电,煤气那样提供计量服务。
7、价格低廉
由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势。
8、支持快速部署业务,快速开展服务
云计算的强大的管理系统可以快速地部署业务,并实现新业务需要的云计算平台其他业务已有的数据库和能力组件快速调用和整合。
六、云计算应运而生的原因
随着互联网的发展,Web 2.0的浪潮使得大众可以参与信息制造和编辑,从而导致信息增长具有无限性的趋势。而摩尔定律的终结,使得在技术上和经济上都没有办法依靠硬件性能的提升而解决这一问题。怎样低成本的高效快速解决无限增长的信息存储和计算问题是一个摆在科学家面前的命题。云计算是采用大规模低成本运算单元通过IP网络相连而组成的运算系统以提供运算服务的技术。它具有高性能、低成本、通用性强的特点。
七、云计算对于技术的影响
1、计算成为一种公共资源 过去,企业和个人的数据都存储在计算机里,随着海量数据的增长,高效且低成本地存储和处理变得十分困难,不仅需要大带宽的网络基础设施,还需要处理海量数据的计算与存储的云计算平台。云计算平台正逐步成为一种社会公共资源,为企业和个人提供信息服务。
2、云计算成为科学研究不可或缺的加速器科学研究需要大理的计算和存储能力,特别是新型的算法和软件,需要利用海量数据来验证和优化。云计算技术为大型算法的研究和难提供了一种廉价高效的方案。
3、云计算可以极大降低企业IT成本 云计算服务最主要的吸引力在于企业能够降低购买和维护硬件、软件以及其他设备的成本。与一家云服务厂商签订合同,便可以云服务厂商的虚拟服务器基础设施上运行选择的系统或应用。
4、云计算极大影响了互联网应用模式和产品开发方向 通过云计算,更多的应用能够以互联网服务的模式交付和运行。利用强大的互联网浏览器和通用的终端设备,用户可以很方便地操作各种软件应用。
八、云计算对各产业的影响
1、在互联网领域,使得信息消费模式发生巨变 个人及企业用户将不需要学习客户端软件的操作,只需要根据提供的简洁的界面和窗口,访问一下站点就可以得到服务。同时,网络化的应用软件能按需定制,收费灵活,并杜绝盗版。
2、在工业领域,助力工业化和信息化的融合 目前,大多数工业领域企业都在着手利用云计算整合其现有的数据中心,实现对既往投资的IT资源的充分利用。通过云计算来处理电信运营商所拥有的海量数据,以期降低IT系统的成本,提高IT系统的效率和性能,加强经营决策的实时程度,将是电信运营商使用云计算的一个重要领域。
3、在**领域,助力构建独立、安全的`国家级公众信息服务网络 云计算的特殊优势引起了各国政府的关注。日本内务部、美国国防部、英国政府都称将建立大规模的云计算基础设施,以支持所有政府运作所需的资讯科技系统,提高运营效率和降低成本。
九、云计算发展面临的主要问题
1、云计算标准尚无建立
目前,无论是云平台还是云服务的国际标准都没有形成,这就给云计算的发展带来瓶颈。
2、云计算的安全性
目前,安全性和隐私权可能是将服务迁移到云计算所面临的最大风险。灵活性、易于使用的服务和易于共享基础设施是云计算的优势,但人们的云计算使用方式可能会让很多公司的信息和知识产权面临风险。
3、政策法规不完善
云计算加速现有IT及信息服务业的变革,从而极大地改变着产业链格局和商业模式。面对新的产业链格局和新的商业模式,很多在政策法规领域的工作还没跟上
4、云观念的接受不容易
云计算服务也许未能提供大企业需要的可靠性、可管理性和支持程度。目前,许多云服务主要以中小型企业和消费者为主,而不是以大企业为目标。
5、云计算节省金钱的程度
目前,云计算并不昂贵,但是考虑到总拥有成本(包括重复性成本)、运营成本以及潜在的风险,这个问题则可能另有答案。
十、面对云计算,中国科技应如何发展?
云计算,对于中国既是机遇,更是挑战!它必将深刻改变IT及信息产业的格局,同时改变我们的生活。也可能会改变中国科技在全球的地位。作为中国的科技管理机构,应该直面挑战,抓住机遇!需要从国家层面重视云计算的技术变革,在教育、普及、重点研发、示范工程等诸多领域统筹规划,科学发展。
1、助力国家信息基础设施建设,推动国家信息化发展
随着各行各业信息化进程的不断深化,政府、大型企事业单位等重点客户面
临着许多困境与挑战:IT机房的建设和系统运维难,人工成本和能源消耗巨大等。云计算将可以提供可靠的基础软件、丰富的网络资源、低成本的构建和管理能力,加速国家信息基础设施的建设。
2、促进节能减排,建设资源节约型、环境友好型社会
云计算的集中化资源整合可以有效地降低能源消耗,提高电能利用率。实践表明,和传统数据中心相比,云计算能够节省约70%的电能消耗,节能效果显著。
3、发展我国云计算工业,保护中国的数据安全
以美国为代表的发达国家信息服务业的服务范围是跨国界的,其全球强势地位一时还难以撼动,其产业渗透在我国处处可见。我国大量互联网数据被聚集在北美的数据中心上,使用Google、微软、雅虎等搜索和邮箱的网民数量难以估计,国家的数据安全以及国民个人信息隐私的安全令人忧虑。同时,将公共事务处理任务部署到“云”中,可以更好地整合、共享有限的高性能计算资源,使其按需使用、灵活调配。借助云计算,我国将可能用较低的投入、较快的速度来创建自有的数据资源和知识资源,提高世界知识总量的拥有率、转化率和使用率。
4、促进产学研用相结合,加快科学技术创新
云计算是为了解决企业信息化发展的实际问题而由产业界推动的技术创新。海量数据处理是现代工业发展的一个标志。云计算关键技术问题和瓶颈只有在大规模集群环境中才能显现并获得解决,需要企业投入大量资金,联合高校、科研院所进行关键技术攻关。
5、吸引并培养尖端人才队伍,加快推进人才强国战略云计算是世界上最热闹的IT技术革命,是集硬件、软件、中间件综合的信息化尖端技术,需要大量的专业人才进行科技攻关。加强云计算的自主研发,有助于促进产学研用联合创新,并在创新过程中培养学科带头人以及专业研发人员。不仅如此,云计算本身将是吸引全球高层次人才的“聚宝盆”,开展云计算的研发将大大加速杰出人才的引进及优秀团队的培养。
虽然云计算的发展仍面临着许多的难题,但是云计算这种方式的确有其不可取代的优势,它被许多专家认为,会改变互联网的技术基础,甚至会影响整个产业的格局,云计算技术和基于云计算的服务的存在,会成为日后推动世界经济发展的重大力量。
云原生技术经验分享
(1)容器技术使用Linux系统内核的namespace技术隔离了进程;
(2)容器技术使用Linux系统内核的cgroup技术实现了进程的资源限制;
(3)容器技术使用镜像分发的技术实现了应用和运行环境的打包部署和分发,因为运行环境打包进了镜像中,保证了运行环境的统一,这大大方便了应用的部署;
(4)容器镜像的文件系统是联合文件系统,分层联合挂载,这样的好处就是可以很大程度上复用本机上的重复镜像文件层;
(5)容器技术相比虚拟机有那些优缺点:
首先,容器技术更高效的利用系统资源,容器不需要进行硬件虚拟以及运行完整操作系统等额外开销,容器对系统资源的利用率更高;
其次,使用的分层存储以及镜像的技术,使得应用重复部分的复用更为容易,磁盘利用率更高;
最后,容器的这些优势和特点也造成了相对于虚拟机的劣势:无法虚拟化运行与宿主物理机操作系统内核不同(因为共享物理机的内核)的操作系统应用。在资源隔离上也不如虚拟机。
2. 云原生的基础架构编排工具K8S的底层实现是使用go语言,想要很好的运维和开发K8S,必须掌握好go语言。
3. 认识与了解K8S:Kubernetes是谷歌开源的容器集群管理系统,是Google多年大规模容器管理技术Borg的开源版本。
(1)基于容器的应用部署、维护和滚动升级;
(2)负载均衡和服务发现;
(3)跨机器和跨地区的集群调度;
(4)自动伸缩;
(5)无状态服务和有状态服务;
(6)插件机制保证扩展性。
4. 什么是K8S及K8S的核心对象:Kubernetes是谷歌开源的容器集群管理系统,是Google多年大规模容器管理技术Borg的开源版本。Kubernetes的核心对象有:
(1)node:计算节点;
(2)namespce:隔离名称空间;
(3)pod:调度最小单元,其中必须包含1个或1个以上的容器;
(4)service:一种可以访问 Pod逻辑分组的策略,通常是记录了pod的IP和端口、名称等信息;
(5)ingress:对外暴露服务的对象,相比service的nodepod可以实现更强大的功能(反向代理等)。
(6)configmap:保存应用的配置;
(7)secret:安全的保存敏感信息;
(8)deployment:无状态应用的部署对象;
(9)replicaset:有状态应用的部署对象;
(10)crd:自定义资源对象;
- 点赞
- 收藏
- 关注作者
评论(0)