大数据要学些什么东西

举报
道友留步 发表于 2019/04/23 12:07:55 2019/04/23
【摘要】 1、要学Java,java跨平台,并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark,但了解 hadoop 有利于对其他的了解,并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为M...

1、要学Java,java跨平台,并且很多大数据的框架都是java开发。

2、hadoop 虽然现在好多都用spark,但了解 hadoop 有利于对其他的了解,并且现在也有很多是用的hadoop+spark

3、Linux 这个就不用说了

4、Hive   Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,十分适合数据仓库的统计分析

5、ZooKeeper  是Hadoop和Hbase的重要组件,是一个为分布式应用提供一致性服务的软件

6、HBase  是一个分布式的、面向列的开源数据库,它不同于一般的关系数据库,更适合于非结构化数据存储的数据库,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,大数据开发需掌握HBase基础知识、应用、架构以及高级用法等

7、Dubbo  是一个由阿里巴巴开源的、分布式的RPC(Remote Procedure Call Protocol-远程过程调用)和微服务框架,现为Apache顶级项目。

8、Spark 是专为大规模数据处理而设计的快速通用的计算引擎,其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求。spark 基于内存,据说速度可达hadoop的100倍

9、Flume 是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

10、 Kafka 是一种高吞吐量的分布式发布订阅消息系统,其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

11、Scala 是一门多范式的编程语言,大数据开发重要框架Spark是采用Scala语言设计的

12、Azkaban 是一个批量工作流任务调度器,可用于在一个工作流内以一个特定的顺序运行一组工作和流程,可以利用Azkaban来完成大数据的任务调度,大数据开发需掌握Azkaban的相关配置及语法规则。

13、Python 一个是爬虫 一个是算法

14、Go 对于高性能分布式系统领域而言,Go 语言无疑比大多数其它语言有着更高的开发效率。



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。