SPARK安装过程

环境：

1、操作系统：CentOS-6.5-x86_64

2、JDK：jdk-8u40-linux-x64

3、HADOOP：hadoop-2.6.0

4、HBASE：hbase-0.98.11-hadoop2

5、MySQL-server-5.5.28-1.linux2.6.x86_64

6、HIVE1.1.0

共3台虚拟机，每台虚拟机500M内存足矣，一台作namenode，两台作datanode

192.168.120.10    nn1

192.168.120.11    dn1

192.168.120.12    dn2

前提：安装好HADOOP2.6.0，安装好用于导入、导出测试的

***********************************************************************************************************

1、在.bash_profile文件中增加环境变量：

export SCALA_HOME=/home/hadoop/scala

export SPARK_HOME=/home/hadoop/spark

export PATH=$PATH:$SCALS_HOME/bin

2、在nn1上下载并解压scala和spark软件安装包（hadoop用户）

tar -zxvf scala-2.11.6.tgz

tar -zxvf spark-1.3.1-bin-hadoop2.6.tgz

mv scala-2.11.6 scala

mv spark-1.3.1-bin-hadoop2.6 spark

－－－－－－－－－－－－－－－－－－－－－－－－－

-------如果是单机，3－5不需要做

  3、修改spark/conf/下slaves文件，修改内容如下：

   dn1

   dn2

  4、将spark， scala  目录，打包并复制到dn1,dn2上

  5、启动spark集群（在nn1上）

   cd ~

   spark/sbin/start-all.sh

－－－－－－－－－－－－－－－－－－－－－－－－－

6、检查进程

（1）在nn1上，运行jps

Master   #会多出这个进程。

（2）在dn1,dn2上，运行jps

Worker   #会多出这个进程。

7、测试：

cd 

spark/bin/spark-shell