运行spark的几种方式及示例

2020-12-14 02:41:07 编辑 2 阅读量:851

首先，spark集群要配置完成。

一、以yarn client的模式运行
1、shell运行：
pyspark --master yarn --deploy-mode client
2、任务运行：
    在任意目录下新建一个wordcount.py,内容为

```python
import sys
from pyspark import SparkContext, SparkConf
if __name__ == "__main__":
  # create Spark context with Spark configuration
  conf = SparkConf().setAppName("Spark Count")
  sc = SparkContext(conf=conf)
  # get threshold
  threshold = int(sys.argv[2])
  # read in text file and split each document into words
  tokenized = sc.textFile(sys.argv[1]).flatMap(lambda line: line.split(" "))
  # count the occurrence of each word
  wordCounts = tokenized.map(lambda word: (word, 1)).reduceByKey(lambda v1,v2:v1 +v2)
  # filter out words with fewer than threshold occurrences
  filtered = wordCounts.filter(lambda pair:pair[1] >= threshold)
  # count characters
  charCounts = filtered.flatMap(lambda pair:pair[0]).map(lambda c: c).map(lambda c: (c, 1)).reduceByKey(lambda v1,v2:v1 +v2)
  list = charCounts.collect()
  print repr(list)[1:-1]
```

这个就是一个小的任务，在shell中运行：

```bash
# wordcount.py就在当前目录，可以不用绝对路径，后面两个为参数，input/hdfs-site.xml指的是在hdfs://master:9000/user/hadoop/input/hdfs-site.xml如果没有的话，就自己建立目录，再先上传一个（或者用已有的），2 就是wordcoud.py里面定义需要的参数
$ spark-submit --master yarn --deploy-mode client --executor-memory 1g --name wordcount --conf "spark.app.id=woudcount" wordcount.py input/hdfs-site.xml 2
```

二、以yarn cluster模式运行
  1、shell运行
因为cluster无法看到实时的交互结果，所以shell下极少以cluster模式运行
2、任务运行：
To launch a Spark application in cluster mode:

```bash
$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options]
#For example:
# 在$SPARK_HOME目录下执行
$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 1g \
    --executor-memory 1g \
    --executor-cores 1 \
    examples/jars/spark-examples_2.11-2.0.2.jar \
    1000
```

三、本地运行
  1、shell运行

```bash
# local一般与cpu核心数相同，如果用local[*]表示用满核心
$ $SPARK_HOME/bin/pyspark --master local[4]
# 表示导入某些具体的包，在shell中可以import code
$ $SPARK_HOME/bin/pyspark --master local[4] --py-files code.py
```

四、standalone模式
  1、shell运行

```bash
# pyspark --master spark://hostname:port
$ pyspark --master spark://master:7077
```

2、提交任务

```bash
# --supervise: make sure that the driver is automatically restarted if it fails with non-zero exit code
$ spark-submit --master spark://master:7077 --supervise wordcount.py
```

yarn的好处：如果基于Spark on YARN部署模式，可以充分利用数据在Hadoop集群DataNode节点的本地性（Locality）特点，减少数据传输的通信开销。

运行spark的几种方式及示例

附件: