在spark streaming中创建广播变量

2020-12-19 09:30:17 编辑 0 阅读量:517

在spark streaming中，可以创建广播变量（近似理解为只读的全局变量），它会被分发到每个worker节点，这样可以避免在执行task时，每个task会去拉取数据，导致网络IO较高，处理速度变慢，执行内存消耗过多的问题。

```python
from pyspark import SparkContext, SparkConf
from pyspark.streaming import StreamingContext

# 设置任务名
conf = SparkConf().setAppName("bm25")
sc = SparkContext(conf=conf)
# 定义一个每0.5s拉取一次数据的流
ssc = StreamingContext(sc, 0.5)
...

# 广播变量可以是各种数据类型，但不能是诸如mongodb连接等东西
Lave_bc = ssc.sparkContext.broadcast(1449)

# lines为接收到的每条流，具体可以看官方文档
# 这里可以用Lave_bc.value的方式调用，但不能用lave = Lave_bc.value,然后再传入lave的方式，这样就相当于广播变量没用上
lines.map(lambda x: x).foreachRDD(lambda rdd: rdd.foreachPartition(lambda query: calcutor(query, Lave_bc.value)))
```

ps：
    配置参数中spark.python.worker.reuse会影响pyspark广播变量的使用，默认是true，作用：Reuse Python worker or not. If yes, it will use a fixed number of Python workers, does not need to fork() a Python process for every tasks. It will be very useful if there is large broadcast, then the broadcast will not be needed to transferred from JVM to Python worker for every task.

在spark streaming中创建广播变量

附件: