1      简介：

多任务学习包括深度网络的构建和优化策略的选择，本文主要讲解优化策略部分，介绍一种平衡多个任务的损失函数的方法：动态权重平均。

2      优化策略（task balancing）：

• 传统多任务目标函数构造的问题：

多任务损失函数定义如下：

相应的，随机梯度下降的权重更新公式如下：

（注释：这里是共享层最后一层的权重，具体和多任务学习的网络构造有关，这里不做具体介绍。）

当某一个任务的梯度占据主导地位，或者任务梯度冲突时，权重更新可能并不是最优的。

• 改进方法（动态权重平均，Dynamic Weight Averaging(DWA)）

动态权重平均通过调整每个任务的权重$w_i$来实现每个任务学习速率相近。

核心公式如下：

其中，$w_i$为每个任务的权重，N为任务个数，T为一个常数，T越大，每个任务的损失权重越均匀。

$r_n(t-1)$为连续两个时刻loss相除的结果，越小，表明训练速度越快。

所以可以看出，训练速度越快的任务，对应的权重就会变小，这样就达到了平衡每个任务学习速率的目的。

3      参考文献

[1]. Vandenhende S, Georgoulis S, Van Gansbeke W, et al. Multi-Task Learning for Dense Prediction Tasks: A Survey[J]. arXiv preprint arXiv:2004.13379, 2020.

[2]. Liu S, Johns E, Davison A J. End-to-end multi-task learning with attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 1871-1880.