大数据开发岗位的几个方向

举报
野猪佩奇996 发表于 2022/01/23 02:11:50 2022/01/23
【摘要】 大数据开发分了几个方向: 1.底层的基础平台开发 2.面向用户的数据产品开发 3.数据仓库开发 4.大数据分析 5.算法,数据挖掘 一、基础平台开发: Java 为主。主要做统一数据开发平台、大数据源...

大数据开发分了几个方向:
1.底层的基础平台开发
2.面向用户的数据产品开发
3.数据仓库开发
4.大数据分析
5.算法,数据挖掘

一、基础平台开发:

Java 为主。主要做统一数据开发平台、大数据源码级别扩展优化、提供提升开发效率的工具、元数据管理、数据质量管理等。技能要求:Java,Zookeeper,Hadoop,Hive,Spark,Kafka等。

二、数据产品开发:

服务端 Java 为主,全部容器化管理服务。主要是数据报表平台、数据分析平台等。

三、数据仓库:

如果数据开发平台比较完善,一般以 sql 为主,不管是离线计算,还是实时计算,都只需要在数据开发平台上提交 sql 任务即可。更专注数据模型的建设,能够快速实现用户的数据分析需求。如果平台不够完善,实时计算可能还是需要写代码,scala 为主。技能要求:数据建模、报表开发、理解业务

四、数据分析:

sql为主。分析数据趋势,挖掘潜在价值。要求:数据分析技能➕Hadoop➕Hive➕部分Java

五、算法:

Scala,Python,R 。特征提取、算法模型的优化。要求:算法

文章来源: andyguo.blog.csdn.net,作者:山顶夕景,版权归原作者所有,如需转载,请联系作者。

原文链接:andyguo.blog.csdn.net/article/details/122548110

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。