Ubuntu下Spark开发环境搭建

预先准备

• 安装JDK，下载jdk-8u45-linux-x64.tar.gz，解压到/opt/jdk1.8.0_45

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

• 安装scala,下载scala-2.11.6.tgz，解压到/opt/scala-2.11.6

下地地址： http://www.scala-lang.org/

• 安装Spark，下载spark-1.3.1-bin-hadoop2.6.tgz，解压到/opt/spark-hadoop

下载地址：http://spark.apache.org/downloads.html

类型选择Pre-build for hadoop2.6 and later

配置环境变量

配置环境变量,编辑/etc/profile,执行以下命令

#Seting JDK JDK环境变量

export JAVA_HOME=/opt/jdk1.8.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH         

#Seting Scala Scala环境变量

export SCALA_HOME=/opt/scala-2.11.6
export PATH=${SCALA_HOME}/bin:$PATH

#Setting Spark Spark环境变量

export SPARK_HOME=/opt/spark-hadoop/

#PythonPath 将Spark中的pySpark模块增加的Python环境中

export PYTHONPATH=/opt/spark-hadoop/python

重启电脑，使/etc/profile永久生效。如果要临时生效的话，打开命令窗口，执行 source /etc/profile 在当前窗口生效

测试安装情况

1.打开命令窗口，切换到Spark根目录/opt/spark-hadoop

2.执行./bin/spark-shell,打开Scala到Spark的连接窗口

3.执行./bin/pyspark,打开Python到Spark的连接窗口

http://192.168.0.107:4040

python安装Spark应用

• 前面已设置PYTHONPATH，将pyspark加入到Python的搜寻路径中

• 打开Spark安装目录，将Python-》build文件夹下py4j,复至到Python目录下

• 打开命令行窗口，输入python,Python版本为2.7.6，注意Spark不支持Python3

• 输入import pyspark，证明开发前工作完成

• 使用Pycharm新建项项目，使用如下代码测试：

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("sparkDemo").setMaster("local")
sc = SparkContext(conf=conf)

参考资料

[1] Ubuntu下Spark开发环境搭建
[2] Spark入门学习路线