作者小头像 Lv.1
21 成长值

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
TA还没获得勋章~
成长雷达
0
21
0
0
0

个人资料

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

他的回复:
关于数据仓库建议、感想一、当前数据平台之间存在的现象①需求响应慢一个需求就得半个小时,一个小时之久,降低了数据变现、问题排查速度。②数据质量不可靠经常存在数据不一致情况,有如下可能,1:上下游出错,如上游etl数据库导表同步延迟,同步失败2:统计方式不一致,如统计ip地域时,有可能因为ip数据字典文件不一致,导致统计地域值不同。3:哥们,你真的算错了,你再看看脚本与需求③数据不可信老大有一天突然问你,你这个数准吗,你经得起质疑吗,敢于拍着胸口说,That's correct。数据就是自己的招牌,不要砸了自己的招牌。④维护成本高数据冗余,带来的更新成本,一致成本运维,补数据成本元数据管理成本⑤数据安全不可控传统的业务系统天生就带有安防性质,数据分散在多个业务系统与数据库,数据泄露,也会隔离在某个业务领域。而数据仓库则不然,业务的覆盖范围广,时间周期长,数据泄露的损失非常大。二、hive数据仓库hadoop数据仓库 存储成本etl耗时hive低廉时间长传统RDW高时间段hadoop相比传统关系数据仓库etl耗时,但是存储成本低廉,因此更适合针对统计分析业务,建立宽维度表,降低多次etl带来的时间消耗。比如统计全站用户登陆 ,全站3g用户登陆,全站3g性别为男用户登陆,这其中的etl结果都可以多次复用,减轻存储成本。三、感想注册、用户、登陆是公司核心,流量是基础,其他产品围绕流量变现。数据仓库建模,第一要保证所有原始数据入库,保证数据可追查、可变现。第二针对核心业务,用户、注册、登陆,etl,形成大表,便于查询,按天分区第三对于在核心业务之上,衍生出来的第二批次业务,只保留当天etl表,历史etl数据不再保存需要考虑数据仓库现状,是基于hadoop&hive的,还是oracle的。不同的数据仓库因为成本运维不多,带来的设计方式也不同。
发布时间 2020/07/28 15:45:59 最后回复 hw04703201 2020/07/31 22:45:26 版块 人工智能
5795 38 1
他的回复:
截图2.关于ModelArts体验感受近期有机会学习了华为云AI开发平台ModelArts,了解到这是一个面向AI开发者的一站式开发平台,涉及到数据准备和标注,模型训练,部署为上线为在线服务,测试服务等开发全流程。针对不同的开发者有上手快,简便易学,由浅入深熟悉AI开发流程等优点,降低了AI开发难度和门槛,同时也能极大地提升对AI开发感兴趣的初学者的学习热情。针对不同经验的使用人群,ModelArts提供了多种使用方式。业务开发者:使用自动学习构建模型;AI初学者:使用预置算法构建模型;AI工程师:AI全流程开发通过查看ModelArts官方帮助文档和华为云AI实战营课程的学习,我熟悉了使用自动学习方法和预置算法构建模型,也从中受益很多。这次就根据自己的学习对自动学习和预置算法案例做一次记录和分享。自己体验了下预置算法构建模型的案例。FasterRCNN预置算法训练人车检测模型首先是数据集的准备。 和自动学习方法一样,从ModelArts开源数据集上下载数据集到本地,再上传到OBS。接着需要创建数据集需要对数据做人工或智能标注。 当使用智能标注时,在处理智能标注结果时还需要人工确认每类的每张图片是否正确分类,主观上觉得并没能减少工作量。从AI市场订阅ModelArts官方发布的物体检测算法FasterRCNN。 这里说一下,AI市场提供了很多已经训练好的效果不错的模型,自己也可以吧训练的模型放到上面,供开源使用,很贴心。然后创建训练作业。 选择训练数据来源和算法来源,还可以自定义模型超参数,来优化模型。后面就是和自动学习方法的步骤一样了,创建模型和部署上线测试,操作十分方便。赶紧选来一张图测试下,可以清楚地得到每个物体的类别和位置及其置信度。部署、测试完成之后要释放资源,避免持续收费。总结通过对自动学习方法和使用预置算法训练模型的学习,整个流程还是简单易懂的,自己实现了了案例,也加深了对AI开发流程的理解。其实,ModelArts还有很多方便高级的功能,需要后续继续学习发现。接下来会继续体验在ModelArts中自己实现程序,基于AI框架下训练部署模型。
发布时间 2020/07/20 14:48:02 最后回复 bgsfzb z 2020/07/31 23:22:15 版块 人工智能
6633 34 0
他的回复:
1.截图2.关于ModelArts体验感受近期有机会学习了华为云AI开发平台ModelArts,了解到这是一个面向AI开发者的一站式开发平台,涉及到数据准备和标注,模型训练,部署为上线为在线服务,测试服务等开发全流程。针对不同的开发者有上手快,简便易学,由浅入深熟悉AI开发流程等优点,降低了AI开发难度和门槛,同时也能极大地提升对AI开发感兴趣的初学者的学习热情。针对不同经验的使用人群,ModelArts提供了多种使用方式。业务开发者:使用自动学习构建模型;AI初学者:使用预置算法构建模型;AI工程师:AI全流程开发通过查看ModelArts官方帮助文档和华为云AI实战营课程的学习,我熟悉了使用自动学习方法和预置算法构建模型,也从中受益很多。这次就根据自己的学习对自动学习和预置算法案例做一次记录和分享。自己体验了下预置算法构建模型的案例。FasterRCNN预置算法训练人车检测模型首先是数据集的准备。 和自动学习方法一样,从ModelArts开源数据集上下载数据集到本地,再上传到OBS。接着需要创建数据集需要对数据做人工或智能标注。 当使用智能标注时,在处理智能标注结果时还需要人工确认每类的每张图片是否正确分类,主观上觉得并没能减少工作量。从AI市场订阅ModelArts官方发布的物体检测算法FasterRCNN。 这里说一下,AI市场提供了很多已经训练好的效果不错的模型,自己也可以吧训练的模型放到上面,供开源使用,很贴心。然后创建训练作业。 选择训练数据来源和算法来源,还可以自定义模型超参数,来优化模型。后面就是和自动学习方法的步骤一样了,创建模型和部署上线测试,操作十分方便。赶紧选来一张图测试下,可以清楚地得到每个物体的类别和位置及其置信度。部署、测试完成之后要释放资源,避免持续收费。总结通过对自动学习方法和使用预置算法训练模型的学习,整个流程还是简单易懂的,自己实现了了案例,也加深了对AI开发流程的理解。其实,ModelArts还有很多方便高级的功能,需要后续继续学习发现。接下来会继续体验在ModelArts中自己实现程序,基于AI框架下训练部署模型。