大数据开发岗位的几个方向
【摘要】
大数据开发分了几个方向: 1.底层的基础平台开发 2.面向用户的数据产品开发 3.数据仓库开发 4.大数据分析 5.算法,数据挖掘
一、基础平台开发:
Java 为主。主要做统一数据开发平台、大数据源...
大数据开发分了几个方向:
1.底层的基础平台开发
2.面向用户的数据产品开发
3.数据仓库开发
4.大数据分析
5.算法,数据挖掘
一、基础平台开发:
Java 为主。主要做统一数据开发平台、大数据源码级别扩展优化、提供提升开发效率的工具、元数据管理、数据质量管理等。技能要求:Java,Zookeeper,Hadoop,Hive,Spark,Kafka等。
二、数据产品开发:
服务端 Java 为主,全部容器化管理服务。主要是数据报表平台、数据分析平台等。
三、数据仓库:
如果数据开发平台比较完善,一般以 sql 为主,不管是离线计算,还是实时计算,都只需要在数据开发平台上提交 sql 任务即可。更专注数据模型的建设,能够快速实现用户的数据分析需求。如果平台不够完善,实时计算可能还是需要写代码,scala 为主。技能要求:数据建模、报表开发、理解业务
四、数据分析:
sql为主。分析数据趋势,挖掘潜在价值。要求:数据分析技能➕Hadoop➕Hive➕部分Java
五、算法:
Scala,Python,R 。特征提取、算法模型的优化。要求:算法
文章来源: andyguo.blog.csdn.net,作者:山顶夕景,版权归原作者所有,如需转载,请联系作者。
原文链接:andyguo.blog.csdn.net/article/details/122548110
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)