Zookeeper Wendy matlotlib 微信商家收款 unicode service download coldfusion npm安装vue spark项目 js键值对数组 linux查看mysql进程 linux自动获取ip etl数据 maya曲线建模 html下拉框默认选中 网页设计公司 java中的tostring 搭建java开发环境 java获取当前年份 java函数 java运算 java中基本数据类型 java的集合 java格式化日期 linux教程 linux用户管理 嵌入式开发教程 主板芯片组天梯图 rar去广告 dll之家 银头鲑鱼 电子商城系统 用流量打电话的软件 流程图工具 暴力猴插件 幽灵行动多少钱 暗黑3挂机plusready 珊瑚版 360越狱版
当前位置: 首页 > 学习教程  > 编程语言

Linux 安装spark教程

2020/8/11 20:18:23 文章标签:

Linux Spark的安装教程

  • 安装JDK
  • 安装Scala
  • 安装Spark

安装JDK

  1. 下载JDK: jdk-8u152-linux-x64.tar.gz
    链接: https://pan.baidu.com/s/1d1lEELsUrXAQ–sf_PDBtg
    提取码: ib5x
  2. 解压 : jdk-8u152-linux-x64.tar.gz
    可以新建一个文件夹,命名为 java,然后将安装包放在这个新建的文件夹中,有助于文件管理。
    命令中输入:
tar zxvf jdk-8u152-linux-x64.tar.gz
  1. 配置环境变量,命令行输入:
    编辑环境变量
sudo vim /etc/profile

vim命令:
i 插入,编辑
esc 退出编辑
shift+q 退出vim
wq 保存并退出(或者 :x)
在profile文件中添加如下环境变量即可

#JAVA Env
export JAVA_HOME=/home/mao/java/jdk1.8.0_152
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

添加完成后在终端命令行中输入:
刷新环境变量配置,让其立即生效

source /etc/profile
  1. 检验java是否安装成功,命令行输入:
Java -version

如果出现👇,恭喜安装成功啦

java version "1.8.0_152
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16 mixed mode)

到这里,Java环境配置好。

安装Scala

  1. 下载scala:
    https://downloads.lightbend.com/scala/2.13.3/scala-2.13.3.tgz
  2. 解压:scala-2.13.3.tgz
    同Java方法一样,新建一个文件夹scala,然后将安装好
    终端中输入:
tar zxvf scala-2.13.3.tgz
  1. 配置环境:终端输入 sudo vim/etc/profile

环境变量添加如下:

#Scala Env
export PATH="$PATH:/home/mao/scala/scala-2.13.3/bin"

:x 保存退出
然后 终端 输入 : source / etc/profile 立即生效
4. 检验是否安装成功

$ scala
Welcome to Scala version 2.13.3(Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152).
Type in expressions to have them evaluated.
Type :help for more information.

安装成功。

安装Spark

  1. 下载Spark:http://spark.apache.org/downloads.html
  2. 解压:spark-3.0.0-bin-hadoop2.7.tgz
tar –zxvf spark-3.0.0-bin-hadoop2.7.tgz
  1. 编辑环境变量:
sudo vim /etc/profile

文末添加:

#spark env
export PATH="$PATH:/home/mao/spark/spark-3.0.0-bin-hadoop2.7/bin"

再source /etc/profile

  1. 检验是否成功安装spark
    终端输入:
spark-shell

输出:
在这里插入图片描述
安装成功!
初步环境安装过程记录,下期再开始学着写代码。


本文链接: http://www.dtmao.cc/news_show_100317.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?