本文共 1682 字，大约阅读时间需要 5 分钟。

原因

DriverProgram:客户端;提交一个应用程序(application)以后,再提交一次,就无法查看到之前的提交信息了;使用历史服务器就可以。

准备

已安装好hadoop(注意插件之间的版本兼容)，spark。

开始

复制spark-defaults.conf.template为spark-defaults.conf

添加如下内容

# 作用:bin/spark-submit 后面跟了一大堆参数;这些参数如果放到了这个文件中;每次运行spark-submit的时候,会自动的从这个文件找参数;# 这个文件只需要放到运行bin/spark-submit的服务器上就可以(建议四台机器一块放)# 空格左边的叫键,右边叫值; 它会在bin/spark-submit后面的参数前面 加上spark;# spark standlone 的大哥spark.master                     spark://node7-2:7077# executor 的内存; 如果这里面要是木有,就还加上bin/spark-submit的参数上spark.executor.memory			 500m# 启用历史服务器spark.eventLog.enabled           true# 历史服务器会写一些日志,这个目录是日志的存储目录(如果目录不存在,得创建)spark.eventLog.dir               hdfs://node7-1:8020/spark/logs# 读取目录spark.history.fs.logDirectory	 hdfs://node7-1:8020/spark/logs

复制spark-env.sh.template为spark-env.sh

添加如下内容

SPARK_MASTER_HOST=bqy01# 设置zookeepr,不能换行SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bqy01:2181,bqy02:2181,bqy03:2181 -Dspark.deploy.zookeeper.dir=/spark"# 告诉Spark,hadoop放到哪里面了,前题是每一个Spark,的服务器上都装有hadoop# HADOOP_CONF_DIR=/data/module/hadoop/etc/hadoop/

启动历史服务器(一般来说:历史服务器是在客户端上启动;node7-1)

启动

sbin/start-history-server.sh

关闭

sbin/stop-history-server.sh

试行案例

普通版

bin/spark-submit \--master spark://bqy02:7077 \--name myPi \--executor-memory 500m \--total-executor-cores 2 \--class org.apache.spark.examples.SparkPi \examples/jars/spark-examples_2.11-2.4.4.jar \100

缩减版

# 会自动的从spark-defaults.conf加载文件# 省略了--master spark://bqy02:7077 挪到了spark-defaults.confbin/spark-submit  --name myPi --executor-memory 500m --total-executor-cores 2 --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.4.4.jar 100

查看

点击其中一个发现访问的就是4040的网页;

转载地址：http://qgrzi.baihongyu.com/