一个优秀的大数据开发工程师的日常是怎么样的?
【摘要】
大数据开发工程师,看起来很高端。但很多时候都是脱离不了开发的层面,基本上大部分人都是api的调用者。除了少部...
大数据开发工程师,看起来很高端。但很多时候都是脱离不了开发的层面,基本上大部分人都是api的调用者。除了少部分人是为了大数据开发的底层服务。
那么,作为优秀的大数据开发工程师是怎么样的体验呢,可以先聊聊技术方面的。
1、你需要有扎实的计算机理论基础,对数据结构以及算法有较强的功底。
2、熟悉Hadoop/Spark/Hive/Hbase/Flink 等大数据工具
3、精通SQL,熟悉常用的关系型数据库、非关系型数据库和数据仓库,具有SQL性能优化经验;
4、熟悉分布式相关系统开发的工作。
5、学习能力强,喜欢研究开源新技术。
6、保持好奇心,学会跟踪现在的技术流行度。说不定你现在弄的数据仓库,在几年后已经跟不上潮流。
在说完技术后,可以看下一下日常的工作流程方面。
1、在如何的有效利用数据前,我们通常需要的是如何先搭建好一个仓库。该数据仓库具有可拓展性,接入性强。
2、其次学会如何去解决问题。针对数据的问题,有时会出现最后产生的报表数据对不上,因为一份最终的数据往往来源于很多原始数据,中间又经过n多处理。要求你对数据敏感,并把握问题的本质,追根溯源,在尽可能的时间里解决问题。
3、最后数据的问题都是你的问题,在数据入库到数据落地使用的过程中,需要处理好有问题的数据,以及需要筛选有用的数据。
讲述完一堆繁琐的理论,那么如何在日常中提升自己呢?首先确定的是,实践出真知。不多点尝试,如何知道可能会发生的事情,任何的知识构建都离不开实践的积累。
多看市面上的一些工业流程,是什么理论,从哪里入手去做这事,然后基于这种理论能否进行对应的模仿操作。当没有积累的时候,模仿往往是入门的开始。
想要更加全面发展,那么就自己给自己创建对应的条件,从网上下载对应的数据以及如何去应用数据。
如果是小白,那么可以多参加线下沙龙,最后你会发现,来来去去很多都是针对业务逻辑进行相对应的开发。大数据,脱离不开业务基础。
多看点市面上的书,例如美团的大数据,分析他们使用的技术,以及技术上面对应的业务场景。看是否有借鉴作用,如果没有,能否作为知识库的积累,下次遇到相似的案例直接使用。
最后一种日常,大概就是bug往往发生在不经意之间。
文章来源: alice.blog.csdn.net,作者:大数据梦想家,版权归原作者所有,如需转载,请联系作者。
原文链接:alice.blog.csdn.net/article/details/103791826
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)