不为人知的稠密特征加入CTR预估模型的方法

举报
wanderist 发表于 2019/12/28 15:01:57 2019/12/28
【摘要】 本文介绍了一种比较新颖的稠密特征加入CTR预估模型的方法并用图示的方法演示了基本稠密特征加入神经网络中过程。

稠密特征一般是相对稀疏特征来说的,我们知道类别特征经过独热编码之后比较稀疏,比如类别 [‘小猫’,‘小狗’,‘小熊’,‘小猴’] 被独热编码后的数据结构为[[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]],可以看到这种数据很稀疏,但是像桌子的长度这种稠密特征数据一般就是 [3.4,2.6,8.9,6.7] 这种。一般针对类别特征都是通过词嵌入的方法把稀疏特征转化为稠密特征然后再输入到神经网络中,不然直接输入会导致维度爆炸等问题,那么怎样把稠密数据加入到CTR预估网络模型中呢?


常规方法

1. 如图 1 所示,把原始的稠密特征直接和全连接层进行连接不和通过词嵌入转化的类别稠密特征进行交叉:

1577515081698098.png

▲ 图1.  直接送入全连接

右边的类别特征经过词嵌入后每个类别特征都被映射成了一个向量,不同的类别向量之间经过交叉运算得到交叉特征。而左边的原始稠密特征不和类别特征进行交叉,直接和高阶的交叉特征进行拼接作为全连接层的输入。


2. 如图 2 所示,把原始稠密特征离散化,转换为离散特征,然后和原始类别特征都进行词嵌入,之后再进行特征交叉。此时可以发现,这样相当于原始稠密特征参加了特征交叉:

1577515211471783.png

▲ 图2.  离散处理


3. 如图 3 所示,对每个原始稠密特征x维护一个词嵌入向量e,然后把原始稠密特征和权重向量相乘得到最终的特征向量,相当于一个稠密特征映射成一个特征向量,之后和类别映射的词嵌入矩阵进行拼接。此时仍然可以发现,这样相当于原始稠密特征也可以和类别特征进行交叉特征提取:

1577515419229039.png

▲ 图3.  稠密特征与embedding vector相乘

鲜为人知的Key-Value Memory方法

在ICMEW的一篇论文中提出了一种把Key-Value Memory [1] 应用到稠密特征处理上的方法,如图4所示,可以看到这个模型的输入是一个稠密特征q,输出是一个特征向量v,也就是实现了1维到多维的特征空间转换,那么具体看一下是怎样实现的。

1577515509966974.png

 图4.  Key-Value Memory模型结构 [1]

向量v的计算是通过对每个embedding vector  vi 进行加权求和得到的,公式表示为 :

1577515606935004.png

其中wi的计算为:

1577516104356491.png

Ki的计算等于

1577516144921601.png

其中要对q进行归一化。我的理解就是把一个稠密特征的值q映射成一个权重分布,再用这个权重分布去和维护的N个embedding vector加权求和,最后得到一个和词嵌入维度相同的向量v。得到向量v之后就和前面的方法一样,可以和类别特征进行特征交叉了。


总结

从上面几种方法可以发现,稠密特征要和词嵌入后的类别特征做交叉需要在同一个维度空间,也就是要把一维的稠密特征转化成和词嵌入维度相同的特征空间中,同时上面方法中的词嵌入矩阵相当于权重矩阵都可以进行优化学习。后续文章会有稠密特征加入CTR模型各个方法的具体实现代码,喜欢就关注一下吧

参考文献

[1Multi-modal Representation Learning for Short Video Understanding and Recommendation. ICME Workshops 2019: 687-690


点击以下标题查看更多往期内容: 



1577516269568358.png





【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。