原来区别在这!
大家好,我是一哥~
之前很多人在群里问大数据的几个岗位有什么区别,也写过一篇文章说明每个岗位的工作和技能「原创」大数据岗位总结和相关书籍推荐。今天在知乎上看到一个不出的帖子,也给大家分享一下~
关于BI工程师、数据仓库工程师、ETL工程师、数据开发工程师(大数据开发工程师) ,到底有什么区别?
01
从工作内容来说
BI工程师更偏向于业务和前端,例如:能理解业务需求搭建KPI体系,搭建仪表盘,形成分析报告;
数据仓库工程师,ETL工程师都跟数据库比较相关。数仓工程师更偏向于数据库的架构设计、管理和运维;
ETL工程师要负责数据的抽取、清洗、加工和整理;
大数据开发工程师则是负责业务项目中离线和在线数据管道的开发和维护、算法型的离线特征和实时特征的开发和维护等工作。
02
从岗位薪酬来看
通常情况下:BI工程师<ETL工程师<数据仓库工程师<大数据开发工程师
BI工程师:
ETL工程师:
数据仓库工程师:
大数据开发工程师:
以上数据取自职友集,坐标上海,如侵权,请联系删除。
03
从技能要求来说
BI工程师:
计算机、数据统计分析相关专业优先
熟悉数据仓库各类建模理论,以及数据仓库数据层级关系,有维度建模的经验;
精通至少一种大型数据库系统例如:Oracle、DB2等;
精通SQL编程,有较好的SQL性能调优经验;
熟练使用至少一种BI前端工具;
ETL工程师
熟悉SQL数据分析(Azure Synapse、SQL Db、Databricks)
熟悉各种数据库Oracle, Mysql,DB2,OceanBase 及各种NewSql中的至少一种
良好的分布式计算、关系数据库管理系统和维度建模概念基础知识
基础扎实,熟悉shell、python编程,对后端开发常见技术有一定的理解,具备良好的编程习惯,积极参于编程开源社区组织优先;
对常见数据结构、算法、设计模式有一定了解;
数据仓库工程师
精通数据仓库模型设计方法论,熟悉数据仓库模型设计方法论,有实际的模型设计经验;
具有丰富的基于Hadoop/Flink/Hive/Spark/Odps等分布式系统的大数据开发经验,具备海量数据加工处理(ETL)相关经验,熟悉SQL和Java、Shell;
了解主流的 OLAP 引擎的优化原理,对Druid/Kylin/ClickHouse等有深入研究及优化经验;
熟悉数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、主数据管理、性能调优等;
擅长逻辑模型分析、设计,较强的抽象、概括、总结能力,善于发现、思考并能以产品的思路提出解决问题的方案;
大数据开发工程师
熟悉Java或Python编程
熟悉大数据计算框架Spark,Flink,熟悉Hadoop生态系统,消息中间件Kafka,有海量数据处理经验者优先考虑
了解机器学习算法,有利用分布式框架进行算法模型调用的优先考虑
熟悉分布式系统原理和架构设计,具有丰富的数据模型设计和分布式计算的开发经验
强大的工程技能:模块化设计,数据结构,算法,构建工具,测试和操作方面
关于各个岗位你怎么看?欢迎评论区留言~
作者:远山有灯
链接:https://www.zhihu.com/question/37411491/answer/2505444039
来源:知乎
识别二维码,加入数据交流群~
公众号推送规则变了
点击上方公众号名片,收藏公众号,不错过精彩内容推送!
文章来源: dataclub.blog.csdn.net,作者:数据社,版权归原作者所有,如需转载,请联系作者。
原文链接:dataclub.blog.csdn.net/article/details/125670093
- 点赞
- 收藏
- 关注作者
评论(0)