大数据应用场景和大数据职业发展需要掌握的技术技能构成

1、大数据的发展方向和应用场景

主要的应用场景
1、推荐系统
    电商 + 跨平台广告推荐
    抖音等视频系统的内容推荐

2、行业大数据
    政务：新型冠状病毒传播监测
    教育：学生综合分析
    物流：智慧物流
    保险：风险预测
    金融：用户画像获取优质客户
    房产：精准投策营销

3、网络安全
    态势感知

4、科技
    5G、物联网、人工智能 （决策支持、路径规划等）

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
 

2、大数据人才的学习和发展路线规划

大数据主要解决海量数据的采集、存储、计算

1、Java
    1、数据库技术，MySql
    2、Maven
    3、Linux
    4、Shell 编程
    5、分布式
    6、HDFS
    7、Zookeeper

2、Hadoop 生态，高效计算
    1、Hive
    2、Flume
    3、Kafka
    4、Hbase
    5、Sqoop
    6、Kylin
    7、Azkaban
    8、DataX

3、Spark 生态，数据挖掘和机器学习
    1、Scale
    2、Spark
    3、SparkStream
    4、Github / Git
    5、Elasticsearch
    6、Kibana
    7、Logstash
    8、Redis

4、Flink 生态，实时计算
    1、Flink
    2、Event Time 与 Window
    3、有状态计算
    4、Hudi
    5、ClickHouse
    6、Apache Doris

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
 

文章来源: wretchant.blog.csdn.net，作者：简简单单OnlineZuozuo，版权归原作者所有，如需转载，请联系作者。

原文链接：wretchant.blog.csdn.net/article/details/125459259