Spark入门及安装与配置

lnh2017 · · 231 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。
1.下载spark-2.1.0-bin-hadoop2.7.tgz 以下是Spark的官方下载地址: https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2.解压文件到/soft目录下 $>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft 3.创建软连接 创建软连接后,编译各种文件配置以及后期进行版本升级和替换非常方便。 $>cd /soft $>ln -s spark-2.3.0-bin-hadoop2.7 spark 4.配置环境变量 编辑/etc/profile环境变量文件: $>sudo nano /etc/profile 在文件末尾添加如下内容: ... SPARK_HOME=/soft/spark PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin 注意:将Spark的bin目录和sbin目录都添加到环境变量path中,而且Linux使用“:”作为分隔符。 5.环境变量生效 $>source /etc/profile 6.进入Spark-shell命令行 $>/soft/spark/spark-shell #进入scala命令提示符 $scala> 7.体验Spark-shell 因为Spark使用的scala语言,因此同Scala的使用完全一致。 $scala>1 + 1 #输出结果
231 次点击  
加入收藏 微博
1 回复  |  直到 2018-08-01 10:03:30
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传