hadoop基础一：Hadoop简介、安装

你的点赞与评论是我最大的创作动力！

hadoop简介：

hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。
Apache Hadoop平台是一个框架，允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器，每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障（即高可用、高容错），高可用服务是基于计算机集群的，并且每一台计算机有可能出错。

hadoop应用：

1.大型网站web服务器的日志分析（中国银行的个人征信）
2.运营商流量经营分析
3.IPTV收视统计与点播介绍
4.城市交通卡口视频监控信息的实时分析

安装

linux下的安装方式有三种：
1.二进制解压安装
2.rpm安装
3.在线安装（不同平台的yum、apt、brew）
这里采用二进制解压安装，下载hadoop地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/

安装hadoop的前提是需要安装java，因为是java开发的。
1.解压安装包到指定的目录，如:

tar  -zxvf  压缩文件路径   -C  解压的文件路径

  

 

  
1
 

2.为hadoop配置环境变量，如：在/etc/profile下配置全局变量
如：

vim  /etc/profile

  

 

  
1
 

#set java environment
export JAVA_HOME=/opt/java/jdk1.8.0_241
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

# set hadoop environment
export HADOOP_HOME=/opt/hadoop/hadoop-2.10.0

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
 

3.配置hadoop的安装目录下的./etc/hadoop/hadoop-env.sh(告诉hadoop我们java安装的位置)
如下面的JAVA_HOME改成java安装的绝对路径（java环境变量配置好的话，下面也可以）：

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

  

 

  
1
  
2
 

4.测试是否安装成功

which hadoop

  

 

  
1
 

hadoop支持3种模型的使用，分别是下面三种：
Local (Standalone) Mode（单机版，用于程序的调试）
Pseudo-Distributed Mode（伪分布式）
Fully-Distributed Mode（全分布式）
有关介绍查看官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

文章来源: blog.csdn.net，作者：橙子园，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/Chenftli/article/details/104426226