【CTR排序】多任务学习之MMOE模型

举报
野猪佩奇996 发表于 2022/09/25 04:29:00 2022/09/25
【摘要】 学习总结 常见的多任务模型有三种范式: hard parameter sharing:底部有shared bottom,然后上层用全连接层分别学习特定任务模式,但是当两个任务相关性没那...

学习总结

  • 常见的多任务模型有三种范式:
    • hard parameter sharing:底部有shared bottom,然后上层用全连接层分别学习特定任务模式,但是当两个任务相关性没那么好(比如排序中的点击率与互动,点击与停留时长),共用一套shared bottem参数的效果就可能没这么好了。
    • soft parameter sharing: 这个范式对应的结果从MOE->MMOE->PLE等。没有shared bottom,而是有不同权重的不同专家tower进行组合预测。
    • 任务序列依赖关系建模:如ESSM,DBMTL,ESSM2等都是属于该范式。这种适合于不同任务之间有一定的序列依赖关系。比如电商场景里面的ctr和cvr,其中cvr这个行为只有在点击之后才会发生。所以这种依赖关系如果能加以利用,可以解决任务预估中的样本选择偏差(SSB)和数据稀疏性(DS)问题
      • 样本选择偏差: 后一阶段的模型基于上一阶段采样后的样本子集训练,但最终在全样本空间进行推理,带来严重泛化性问题
      • 样本稀疏: 后一阶段的模型训练样本远小于前一阶段任务
  • MOE混合专家模型的几个思想:bagging模型集成思想、注意力机制(不同专家的决策地位不同)、multi-head机制(多个专家即多个head,代表了不同的非线性空间)。
  • Multi-gate Mixture-of-Experts(MMOE)的魅力就在于在MOE的基础上,对于每个任务都会涉及一个门控网络,这样,对于每个特定的任务,都能有一组对应的专家组合去进行预测。

文章来源: andyguo.blog.csdn.net,作者:山顶夕景,版权归原作者所有,如需转载,请联系作者。

原文链接:andyguo.blog.csdn.net/article/details/125471739

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。