《Spark数据分析:基于Python语言 》 —2.2 准备安装Spark

举报
华章计算机 发表于 2020/02/12 18:09:47 2020/02/12
【摘要】 本节书摘来自华章计算机《Spark数据分析:基于Python语言 》 一书中第2章,第2.2节,作者是[澳] 杰夫瑞·艾文(Jeffrey Aven) ,王道远 译。

2.2 准备安装Spark

Spark是跨平台的应用程序,可以部署在如下操作系统上:

Linux(所有发行版)

Windows

Mac OS X

尽管没有具体的硬件要求,一般的Spark节点的推荐硬件配置如下所列:

8GB以上的内存(Spark是主要基于内存的处理框架,所以内存越多越好)。

至少是8核CPU。

10GB以上的网络带宽。

如果要用到存储的话,还要有充足的本地磁盘存储空间(RDD的磁盘存储最好使用SSD。如果该节点还运行着HDFS这样的分布式文件系统,最好为多磁盘使用JBOD配置。JBOD代表“Just a bunch of disks”(磁盘簇),表示使用没有组成RAID阵列(独立冗余磁盘阵列)的独立硬盘的配置方式。)

Spark是用Scala编写的,这是一种编译后运行在Java虚拟机(JVM)上的语言。Spark提供了Python(PySpark)、Scala和Java的编程接口。安装和运行Spark的软件要求如下所列:

Java(最好是JDK)。

Python,如果需要使用PySpark的话。

R,如果想通过R语言接口使用Spark,详见第8章。

Git、Maven或者SBT,如果想要从源代码编译构建Spark,或者编译Spark程序,会用到这些工具。


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。