《Spark数据分析:基于Python语言 》 —2.2 准备安装Spark
【摘要】 本节书摘来自华章计算机《Spark数据分析:基于Python语言 》 一书中第2章,第2.2节,作者是[澳] 杰夫瑞·艾文(Jeffrey Aven) ,王道远 译。
2.2 准备安装Spark
Spark是跨平台的应用程序,可以部署在如下操作系统上:
Linux(所有发行版)
Windows
Mac OS X
尽管没有具体的硬件要求,一般的Spark节点的推荐硬件配置如下所列:
8GB以上的内存(Spark是主要基于内存的处理框架,所以内存越多越好)。
至少是8核CPU。
10GB以上的网络带宽。
如果要用到存储的话,还要有充足的本地磁盘存储空间(RDD的磁盘存储最好使用SSD。如果该节点还运行着HDFS这样的分布式文件系统,最好为多磁盘使用JBOD配置。JBOD代表“Just a bunch of disks”(磁盘簇),表示使用没有组成RAID阵列(独立冗余磁盘阵列)的独立硬盘的配置方式。)
Spark是用Scala编写的,这是一种编译后运行在Java虚拟机(JVM)上的语言。Spark提供了Python(PySpark)、Scala和Java的编程接口。安装和运行Spark的软件要求如下所列:
Java(最好是JDK)。
Python,如果需要使用PySpark的话。
R,如果想通过R语言接口使用Spark,详见第8章。
Git、Maven或者SBT,如果想要从源代码编译构建Spark,或者编译Spark程序,会用到这些工具。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)