扣丁学堂Linux培训简述Spark-shell批量命令执行脚本的方法

本篇文章扣丁学堂Linux培训小编给读者们分享一下Spark-shell批量命令执行脚本的方法，对Linux开发感兴趣或是想要学习Linux开发的小伙伴就随小编来了解一下吧。 批量执行spark-shell命令，并指定提交参数 #!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF import org.apache.spark.sql.SaveMode sql("set hive.exec.dynamic.partition=true") sql("set hive.exec.dynamic.partition.mode=nonstrict") sql("use hr") sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count !EOF 以上就是扣丁学堂Linux在线学习小编给大家分享的Spark-shell批量命令执行脚本的方法，希望对小伙伴们有所帮助，想要了解更多内容的小伙伴可以登录扣丁学堂官网咨询。 想要学好Linux开发小编给大家推荐口碑良好的扣丁学堂，扣丁学堂有专业老师制定的Linux学习路线图辅助学员学习，此外还有与时俱进的Linux课程体系和Linux视频教程供大家学习，想要学好Linux开发技术的小伙伴快快行动吧。