Spark 安裝

Spark是Hadoop的子項目。 因此，最好將Spark安裝到基于Linux的系統(tǒng)中。 以下步驟說明如何安裝Apache Spark。

步驟1：驗證Java安裝

Java安裝是安裝Spark的強制性要求之一。 嘗試使用以下命令驗證JAVA版本。

$java -version

如果Java已經(jīng)，安裝在系統(tǒng)上，你能看到以下響應 

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您沒有在系統(tǒng)上安裝Java，請在繼續(xù)下一步之前安裝Java。

步驟2：驗證Scala安裝

你應該使用Scala語言來實現(xiàn)Spark。 因此，讓我們使用以下命令驗證Scala安裝。

$scala -version

如果Scala是已經(jīng)安裝在系統(tǒng)中，你能看到以下響應 

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

如果您沒有在系統(tǒng)上安裝Scala，請繼續(xù)執(zhí)行Scala安裝的下一步。

步驟3：下載Scala

通過訪問以下鏈接下載Scala的最新版本:下載Scala。 對于本教程，我們使用scala-2.11.6版本。 下載后，您將在下載文件夾中找到Scala tar文件。

步驟4：安裝Scala

按照以下給出的安裝Scala的步驟。
提取Scala tar文件
鍵入以下命令以解壓縮Scala tar文件。

$ tar xvf scala-2.11.6.tgz

移動Scala軟件文件
使用以下命令將Scala軟件文件移動到相應的目錄（/ usr / local / scala）。

$ tar xvf scala-2.11.6.tgz

移動Scala軟件文件

使用以下命令將Scala軟件文件移動到相應的目錄（/ usr / local / scala）。

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit

為Scala設置PATH

使用以下命令設置Scala的PATH。

$ export PATH = $PATH:/usr/local/scala/bin

驗證Scala安裝

安裝后，最好驗證它。 使用以下命令驗證Scala安裝。

$scala -version

如果Scala是已經(jīng)安裝在系統(tǒng)中，你能看到以下響應

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

步驟5：下載Apache Spark

通過訪問以下鏈接下載Spark的最新版本。 對于本教程，我們使用spark-1.3.1-bin-hadoop2.6版本。 下載后，你會在下載文件夾中找到Spark tar文件。
步驟6：安裝Spark
按照以下步驟安裝Spark。
提取Spark tar
以下命令用于提取spark tar文件。

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

移動Spark tar軟件文件

以下命令用于將Spark軟件文件移動到相應的目錄（/ usr / local / spark）。

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

設置Spark的環(huán)境
將以下行添加到?/ .bashrc文件。 這意味著將spark軟件文件所在的位置添加到PATH變量。

export PATH = $PATH:/usr/local/spark/bin

使用以下命令獲取?/ .bashrc文件。

$ source ~/.bashrc

步驟7：驗證Spark安裝

編寫以下命令以打開Spark shell。

$spark-shell

如果spark安裝成功，那么您將找到以下輸出。

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
    ____             __
   / __/__ ___ _____/ /__
   _ / _ / _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_ version 1.4.0
      /_/
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>