SparkStreaming任务因shuffle用时长导致任务整体变慢

问题背景与现象

之前SparkStreaming任务一个批次运行时间在5分钟内，现在变成了10分钟左右才完成一个批次，任务整体时间变长。

原因分析

1. 查看sparkUI的job运行信息，发现有部分task时间都较长，但也有部分task运行很快十几秒就完成了，对比task没发现数据倾斜的现象。

   

2. 查看对应的task日志，查看用时较长的地方发现如下信息。

   用时较短的task：

   

   用时较长的task：

   

3. 发现task用时差距主要是在shuffle获取blocks时的差距较大。

4. 调试DEBUG日志后查看多个task发现并不是连接某一个节点很慢，而是随机的，所以不存在单节点问题，只能从整体上去调优。

解决办法

在Spark客户端修改参数：

spark.authenticate.enableSaslEncryption=false

spark.reducer.maxSizeInFlight=96MB

spark.shuffle.file.buffer=64KB

spark.authenticate=false

spark.network.sasl.serverAlwaysEncrypt=false

spark.shuffle.service.enabled=false

修改完成后，每个批次任务都在2-3分钟完成。