大数据学习规划
【摘要】
阶段时间技能输入输出SQL基础8.4-8.81.表关联方法和特性2.常用基础函数3.窗口函数4.常用优化策略5.hive数据存储格式及压缩格式和特点1、hive编程指南2、SQL 必知必会1、学习笔记2、...
| 阶段 | 时间 | 技能 | 输入 | 输出 |
|---|---|---|---|---|
| SQL基础 | 8.4-8.8 | 1.表关联方法和特性 2.常用基础函数 3.窗口函数 4.常用优化策略 5.hive数据存储格式及压缩格式和特点 |
1、hive编程指南 2、SQL 必知必会 |
1、学习笔记 2、考试 |
| ODEON平台使用 | 8.4-8.8 | 1.sql测试方法 2.workflow维护，报错如何查看 3.workflow如何部署 4.coordinate如何部署 5.如何用金蝉平台运维odeon 6.理解每一步的作用和用意 |
1、odeon帮助文档 2、wiki资料 H-odeon使用QA http://wiki.iflytek.com/pages/viewpage.action?pageId=362322698 |
1、workflow、coordinate任务部署且符合规范 |
| 数据仓库基础知识 | 8.8-8.15 | 1、数据仓库基本概念了解 2、数据仓库维度表、事实表 3、常用维度建模理论 4、熟悉数据仓库相关规范 |
1、阿里巴巴大数据之路 2、数据仓库生命周期工具箱 |
1、学习笔记 |
| HDFS知识学习 | 8.15-8.22 | 1、hadoop集群搭建 2、分布式计算基础知识学习与mr的原理 3、hdfs原理及常见操作、api等知识学习 |
1、学习笔记 |
|
| java/scala基础知识学习（数据开发必选，分析师选学） | 8.22-8.29 | 1.基础语法 2.代码规范 3.集合使用和特点 4、常见函数编程如隐式转换、闭包、部分函数等概念熟悉 |
1、疯狂java讲义 2、快学scala |
1、学习笔记 2、考试 |
| SPARK学习与实践 | 9月 | 1、spark基本概念及原理学习 2、spark core相关知识学习 3、dataframe相关算子学习 4、spark sql学习及常见优化 |
1、学习笔记 |
|
| KETTLE知识学习 | 1、熟悉kettle相关概念及基本概念 2、基于kettle完成相关的抽取 3、理解全量抽取、增量抽取，半增量的操作方式 4、熟悉其他如datax等相关的数据同步工具 |
|||
| 数据可视化学习与实践 | 1、了解常见的数据可视化手段如powerBI、echart等 2、基于白泽完成可视化制作 3、熟悉白泽的原理及架构 |
|||
| OLAP相关知识学习 | 1、熟悉olap相关基础知识 2、对常见的olap数据库如clickhouse、kylin、druid有所了解，对每种olap适合的场景有所认识 |
|||
| HBASE学习与实践 | 1、学习hbase基础知识，及原理 2、搭建hbase集群 3、熟悉常见的hbase操作 |
|||
| 大数据相关算法学习 | 熟悉大数据中bitmap、bloomfilter、倒排索引等常见的算法 对数据压缩算法有一定得了解 |
|||
| 消息队列学习与实践 | 1、kafka 2、zookeeper |
|||
| 数据架构知识学习 | 1、了解常见的数据平台架构涉及的相关组件 2、对lambda、kappa架构有所了解 3、熟悉odeon平台的数据架构 |
|||
| 实战 | 数据仓库建模实践 s1、承担2个以上的数据建模任务 2、按照规范输出相关的文档 3、完成任务的上线及运维 spark编程实践 基于spark完成2个以上任务的开发 flink编程实践 基于flink完成一个特定场景的代码上线 |
文章来源: hiszm.blog.csdn.net，作者：孙中明，版权归原作者所有，如需转载，请联系作者。
原文链接：hiszm.blog.csdn.net/article/details/119426144
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）