【数据湖案例】电影评分、标签分析
【摘要】 本文利用数据湖工厂(DLF)、数据湖探索(DLI)对电影评分、打标签全量原始数据和每日增量数据进行分析,输出评分最高TOP100电影和TOP 10热门标签。重点介绍DLF脚本编辑、作业编辑、作业调度等功能。
本文利用数据湖工厂(DLF)、数据湖探索(DLI)对电影评分、打标签全量原始数据和每日增量数据进行分析,输出评分最高TOP100电影和TOP 10热门标签。重点介绍DLF脚本编辑、作业编辑、作业调度等功能。
数据湖工厂(Data Lake Factory)提供一站式的大数据协同开发平台,帮忙用户轻松完成数据建模,数据集成,脚本开发,作业调度,运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。
数据准备
演示数据来自https://grouplens.org/datasets/movielens/,为了方便演示,我对数据的时间字段做了一些处理,根据日期分目录,保存在本文附件中。请将附件中的数据上传到OBS桶中,后面DLF和DLI直接对桶中的数据做处理。
待续
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)