建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

小伙子

发帖: 335粉丝: 13

发消息 + 关注

发表于2021年04月08日 15:05:13 610 4
直达本楼层的链接
楼主
显示全部楼层
[经验交流] AIOps Engineering的实现相关技术问题理解


1、AI模型的开发环境和生产环境的主要差异是什么?

答:软件开发环境一般可分为三种:生产环境测试环境开发环境;三个环境也可以说是系统开发的三个阶段:开发->测试->上线,其中生产环境也就是通产说的真实的环境,最后交给用户的环境。AI模型应用的差异可理解为系统开发阶段不同,可靠性和安全性的不同,运维和安全的不同;上生产环境之前需要做规划和架构设计,生产环境的部署需要那些不只作用于本地的组件,比如监控,日志和证书管理,以及凭据等。再者开发团队的目标是在开发和测试新应用和代码的时候实现应用的敏捷而运维人员的目标是应用和数据的可靠性,可伸缩性,安全性和性能。后者需要一个强大的,企业级的,经过测试和验证的平台。开发和测试环境让事情变得过于简单,而真正的生产环境需要这样,或那样的需求,并且需要持续维护和迭代。

软件开发环境(Software Development Environment,SDE)是指在基本硬件和宿主软件的基础上,为支持系统软件和应用软件的工程化开发和维护而使用的一组软件,简称SDE。它由软件工具和环境集成机制构成,前者用以支持软件开发的相关过程、活动和任务,后者为工具集成和软件的开发、维护及管理提供统一的支持。

开发环境:开发环境是程序员专门用于开发的服务器,配置可以比较随意,为了开发调试方便,一般打开全部错误报告和测试工具,是最基础的环境。开发环境的分支,一般是feature分支。

测试环境:一般是克隆一份生产环境的配置,一个程序在测试环境工作不正常,那么肯定不能把它发布到生产服务器上,是开发环境到生产环境的过度环境。测试环境的分支一般是develop分支,部署到公司私有的服务器或者局域网服务器上,主要用于测试是否存在bug,一般会不让用户和其他人看到,并且测试环境会尽量与生产环境相似。

生产环境: 生产环境是指正式提供对外服务的,一般会关掉错误报告,打开错误日志,是最重要的环境。部署分支一般为master分支。

image.png


2、IT和CT应用AI的环境有什么主要的差异?

答:通信技术与信息技术是两个完全不同的范畴通信技术着重于消息传播的发送技术而信息技术着重于信息的编码或解码,以及在通信载体的传输方式。但随着技术的发展,这两种技术慢慢变得密不可分,从而渐渐融合成为一个范畴。

信息技术主要用于管理和处理信息所采用的各种技术总称。它主要是应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件。

通信技术主要包含传输接入、网络交换、移动通信、无线通信、光通信、卫星通信、支撑管理、专网通信等技术,现在热门的技术有5G、LTE、IPTV、VoIP、NGN和IMS。

所以就差异我们就简单谈谈AIOps在IT应用领域的应用。AIOps(Artificial Intelligence for IT Operations)智能运维,是指将AI应用于运维领域,基于已有的运维数据(日志/监控信息/应用信息等),通过机器学习的方式来进一步解决自动化运维没办法解决的问题。简单理解,就用使用机器学习算法来分析海量机器数据,从而来帮助SRE发现问题,解决问题。“机器学习”有点高大上,不太懂啊!不懂就是个人所认知的差异。


image.png




3、MLOps的目标是什么?围绕这个目标需要解决那些主要的问题。

答:MLops是ML的DevOps。数据科学家构建的机器学习(ML)模型需要与其他多个团队紧密合作,例如业务、工程和运营。这意味着了在沟通、协作和协调方面的存在挑战。MLOps的目标是通过完善的实践来简化此类挑战。此外,MLOps带来了敏捷性和速度,这是当今数字世界的基石。

缺乏协调和不正确的交接会导致延误和错误,团队之间的无效沟通会导致最终解决方案的延迟; 机器学习解决方案的评估通常在项目生命周期的末尾进行,由于开发团队通常在孤岛上工作,因此解决方案成为其他利益相关者的黑匣子。缺乏中间反馈使情况更加恶化。这些在时间,精力和资源方面构成了重大挑战。

MLOps:持续集成和持续交付(CI / CD),凭借MLOps的背景及以下内容描述了组成MLOps框架的不同组件;

用例发现: 此阶段涉及业务与数据科学家之间的协作,以定义业务问题并将其转化为ML和相关的相关KPI(关键绩效指标)可以解决的问题陈述和目标。

数据工程: 这一阶段涉及一个数据工程师和来自各种来源的数据科学家采集数据和准备建模的数据(处理/验证)之间的协作。

机器学习管道: 这个阶段的设计和部署一个管道与CI / CD集成。数据科学家使用管道进行多次实验和测试。该平台跟踪整个实验中的数据和模型沿袭以及相关的KPI。

生产部署: 此阶段负责安全,无缝地部署到所选的生产服务器,无论是公共云,本地部署还是混合部署。

生产监控: 此阶段包括模型监控和基础架构监控。使用已配置的KPI(例如输入数据分布的更改或模型性能的更改)连续监视模型。设置触发器以进行更多实验,以使用新算法,数据和超参数来生成ML管道的新版本。根据内存和计算要求监控基础架构,并根据需要进行扩展。

设置流水线,以便不断构建更新并准备准确,安全和无缝地进行生产。它们背后的工作流程是通过敏捷方法实现的。

可以说,MLOps借助敏捷的方法和技术工具扩展了CRISP-DM方法论(CRISP-DM跨行业数据挖掘标准流程),从而可以自动执行包括数据、机器学习模型、代码和环境在内的操作。

image.png

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

LiuTC

发帖: 38粉丝: 5

级别 : 实习版主

发消息 + 关注

发表于2021年04月08日 15:06:12
直达本楼层的链接
沙发
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

lucyandlily

发帖: 43粉丝: 3

级别 : 实习版主

发消息 + 关注

发表于2021年04月14日 10:52:34
直达本楼层的链接
板凳
显示全部楼层

谢谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

Jack20

发帖: 191粉丝: 173

发消息 + 关注

发表于2021年04月17日 16:34:38
直达本楼层的链接
地板
显示全部楼层

干货满满,谢谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

The one

发帖: 201粉丝: 7

发消息 + 关注

发表于2021年04月20日 07:18:32
直达本楼层的链接
5#
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200