全部課程
發(fā)布時間: 2022-03-09 17:16:37
怎么安裝Spark?Spark支持很多版本,目前主流的是1.6.0版本,為了便于學(xué)習(xí)先下載預(yù)編譯版本,訪問http://spark.apache.org選擇Download命令,之后進(jìn)入下載界面。
在Choose a Spark release下拉列表框中選擇1.6.0版本,這是最新的穩(wěn)定版本。在Choose a package type下拉列表框中選擇Pre-built for Hadoop 2.6 andlater選項(xiàng)。這里選擇源代碼版本或預(yù)編譯版本,由于之前安裝的Hadoop為2.6版本,這里選擇此項(xiàng),讀者可以根據(jù)實(shí)際環(huán)境進(jìn)行選擇。
在Choose a downloadtype下拉列表框中選擇Direct Download選項(xiàng)直接進(jìn)行下載,之后單擊出現(xiàn)的鏈接地址就可以下載了。下載界面如圖1所示。
圖1 下載界面
此外還需要下載Scala:訪問http://www.scala-lang.org/download/下載最新的穩(wěn)定版本,下載位置如圖2所示。
圖2 Scala下載位置
環(huán)境準(zhǔn)備
由于Spark是采用Scala語言編寫的,因此需要在Java虛擬機(jī)(JVM)上面運(yùn)行,為了更好地兼容其他的大數(shù)據(jù)軟件,這里建議至少在Java 7版本以上,如果需要進(jìn)行Scala和Python的開發(fā),需要安裝Scala和Python的解釋器(Python解釋器安裝方法請參考附錄)。
首先要確保Java環(huán)境變量存在,同上一節(jié)Hadoop配置,確保/etc/bashrc存在以下代碼行:
3.安裝
將Scala安裝到/opt目錄,使用命令如下:
安裝完成后,需要設(shè)置環(huán)境變量。確保以下配置在/etc/bashrc文件中存在:
安裝Spark命令如下:
將Spark安裝目錄設(shè)置為環(huán)境變量加入/etc/bashrc文件,命令如下:
上一篇: 分布式列存儲框架
下一篇: Spark框架