【数据湖案例】电影评分、标签分析

举报
lixinlong 发表于 2018/07/19 16:38:59 2018/07/19
【摘要】 本文利用数据湖工厂(DLF)、数据湖探索(DLI)对电影评分、打标签全量原始数据和每日增量数据进行分析,输出评分最高TOP100电影和TOP 10热门标签。重点介绍DLF脚本编辑、作业编辑、作业调度等功能。

本文利用数据湖工厂(DLF)、数据湖探索(DLI)对电影评分、打标签全量原始数据和每日增量数据进行分析,输出评分最高TOP100电影和TOP 10热门标签。重点介绍DLF脚本编辑、作业编辑、作业调度等功能。

  • 数据湖工厂(Data Lake Factory)提供一站式的大数据协同开发平台,帮忙用户轻松完成数据建模,数据集成,脚本开发,作业调度,运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。


数据准备

演示数据来自https://grouplens.org/datasets/movielens/,为了方便演示,我对数据的时间字段做了一些处理,根据日期分目录,保存在本文附件中。请将附件中的数据上传到OBS桶中,后面DLF和DLI直接对桶中的数据做处理。


待续




【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。