第1篇

Hadoop基础知识

　　　　(  第1章  初识Hadoop

　　　　(  第2章  Hadoop的安装与配置

　　　　(  第3章  Hadoop分布式文件系统

　　　　(  第4章  基于Hadoop 3的HDFS高可用

第1章  初识Hadoop

　　随着互联网的高速发展，越来越多的用户在日常使用网络的过程中产生了数量庞大的结构化数据，同时在日常生活中也产生了大量的非结构化数据，如视频、音频和图像等。因此，对大量数据的有效存储管理和计算分析成为了信息行业迫切需要解决的问题。大数据就是基于数据爆炸的现状产生的。

　　Hadoop的前身由Doug Cutting创建，起源于开源的网络搜索引擎Apache Nutch，本章将从大数据的技术、特点和存储计算模式为起点，初步探究大数据的雏形。

　　以下是本章主要涉及的知识点。

* 了解大数据的特点及在各行业中的应用。

* 了解大数据技术，掌握大数据与云计算和物联网的关系。

* 了解Hadoop的起源、发展和意义。

1.1  大数据初探

　　本章首先介绍大数据的基本概念，理解这些概念是进一步学习和掌握大数据的基础。了解概念后，才能从大数据和云计算中找到学习的技巧。

　　在当前的技术领域内，大家提的比较多的当属大数据了，那么到底什么是大数据呢？关于大数据的定义目前有很多种，其实“大数据”就是收集各种数据，经过分析后用来做有意义的事，其中包括对数据进行采集、管理、存储、搜索、共享、分析和可视化。

　　关于数据的采集、存储和分析较容易理解，因为当数据量足够大的时候，很难存储，如FaceBook每天生成500TB的数据，如何存储这些数据就成了一个问题。有时我们需要存储大量的数据并进行分析，将分析结果用于运营决策，给决策者提供运营参考，而传统的技术无法实现大批量数据的存储和计算，毕竟单台机器的存储和计算性能都是有限的。

1.1.1  大数据技术

　　那么，大数据技术又是什么呢？从本质上来说，大数据技术是发现大规模数据中的规律，通过对数据的分析实现对运营层决策的支持。在此处需要注意大数据技术与其他学科之间的关系，Excel也可以做数据分析，那么为什么还要用到大数据技术呢？

　　主要原因是，大数据技术面对的是大规模的数据，每一天都会有大批量的数据生成，如何存储与计算这批数据，就是大数据技术要解决的问题。