spark安装教程

2020-12-19 04:50:34 编辑 0 阅读量:710

spark安装需要有Hadoop的环境以及Scala，而Hadoop、Scala都依赖于Java环境，所以安装步骤如下：

Java安装(建议1.8版本)：
http://www.cnblogs.com/a2211009/p/4265225.html
Hadoop安装：
http://www.powerxing.com/install-hadoop/
Scala安装：
http://blog.csdn.net/wangkai_123456/article/details/53669094
spark安装：
http://www.powerxing.com/spark-quick-start-guide/
ps：
    1、禁用spark-shell中的INFO输出
Spark（和PySpark）的执行可以特别详细，很多INFO日志消息都会打印到屏幕。开发过程中，这些非常恼人，因为可能丢失Python栈跟踪或者print的输出。为了减少Spark输出 – 你可以设置$SPARK_HOME/conf下的log4j。首先，拷贝一份$SPARK_HOME/conf/log4j.properties.template文件，去掉“.template”扩展名。

```bash
~$ cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties
```

编辑新文件，用WARN替换代码中出现的INFO。你的log4j.properties文件类似：

```bash
# Set everything to be logged to the console
 log4j.rootCategory=WARN, console
 log4j.appender.console=org.apache.log4j.ConsoleAppender
 log4j.appender.console.target=System.err
 log4j.appender.console.layout=org.apache.log4j.PatternLayout
 log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
# Settings to quiet third party logs that are too verbose
 log4j.logger.org.eclipse.jetty=WARN
 log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
 log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=WARN
 log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=WARN

# Set everything to be logged to the console
 log4j.rootCategory=WARN, console
 log4j.appender.console=org.apache.log4j.ConsoleAppender
 log4j.appender.console.target=System.err
 log4j.appender.console.layout=org.apache.log4j.PatternLayout
 log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
# Settings to quiet third party logs that are too verbose
 log4j.logger.org.eclipse.jetty=WARN
 log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
 log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=WARN
 log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=WARN
```

2、加快提交任务速度
    在提交任务时，可能会有比较长的一段时间在上传程序依赖的jar，大概要耗时30s左右，造成任务提交速度超鸡慢，可能的日志如下：

```
17/02/08 18:26:23 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
17/02/08 18:26:29 INFO yarn.Client: Uploading resource file:/tmp/spark-91508860-fdda-4203-b733-e19625ef23a0/__spark_libs__4918922933506017904.zip -> hdfs://dbmtimehadoop/user/fuxin.zhao/.sparkStaging/application_1486451708427_0392/__spark_libs__4918922933506017904.zip
```

当配置了spark.yarn.jar参数后就可以解决这个问题。spark.yarn.jar等参数都是配置在$SPARK_HOME/conf/spark-defaults.conf中。

首先，在hdfs中建立相应的目录，并上传程序依赖的jar包

```bash
$ hdfs dfs -mkdir spark_lib
$ hdfs dfs -mkdir spark_lib/jars
$ hdfs dfs -put $SPARK_HOME/jars/* spark_lib/jars
```

然后，修改spark-defaults.conf。

```bash
# 如果没有spark-defaults.conf，可以由spark-defaults.conf.template复制修改
$ vim $SPARK_HOME/conf/spark-defaults.conf

# 端口和hadoop的中设置要一致
spark.yarn.jars                  hdfs://master:9000/spark_lib/jars/*.jar ##生效
#spark.yarn.jars                  hdfs://master:9000/spark_lib/jars/*   ##生效
##直接配置多个以逗号分隔的jar，也可以生效。
#spark.yarn.jars                 hdfs://master:9000/spark_lib/jars/activation-1.1.1.jar,hdfs://master:9000/spark_lib/jars/antlr-2.7.7.jar,hdfs://master:9000/spark_lib/jars/antlr4-runtime-4.5.3.jar
```

3、使用ipython作为交互命令行

```bash
# 在2.*.*版本的spark中，设置好PYSPARK_DRIVER_PYTHON就可以
$ sudo vim /etc/profile
$ export PYSPARK_DRIVER_PYTHON=ipython  # ipython就是调用在bash中调用ipython的方式
```

参考：
http://blog.jobbole.com/86232/

spark安装教程

附件: