MindSpore——详解推荐模型的原理与实践
传统的推荐系统以协同过滤为代表，而随着深度学习的快速发展，越来越多的研究者尝试应用深度学习技术到推荐系统中。在此我们主要介绍其中的Wide&Deep网络。
总体流程
在此我们以APP商店中的推荐系统为例，其整体流程可以如下图所示
给定一个查询，这个查询可能是用户相关的特征，推荐系统首先会从数据库中检索到查询相关的APP，由于APP的数量非常巨大，因此我们可以取最相关的100个检索结果作为候选APP，这一过程通常叫作粗排。
然后将候选的100个APP送入排序模型中，此处的排序模型就是我们下面将要介绍的Wide&Deep模型，这一过程也被叫作精排。
排序完成后，我们可以将点击概率最高的APP放置于用户最容易注意到的地方。无论用户是否点击了我们的推荐结果，我们都可以构造一个新的日志文件。在累积了一定数量的日志文件后，就可以继续微调排序模型，提高模型的准确程度。
Wide&Deep模型自从被提出后就引起来非常大的关注。正如其名，此模型主要可以分成两个部分，Wide部分和Deep部分。
Wide模型
它的设计目的是为了记住数据中特定的特征组合方式。例如前面介绍购买电脑的场景，购买了电脑主机的用户，再次购买显示器，键盘等物件的概率特别高。因此可以将用户最近是否购买了电脑作为输入模型的输入，也就是特征。
假设当前wide网络只有一个特征，当该特征取1时，y=wx可以得到y=0.9(假设w的值是0.9)，当该特征取0时，y=0。y输出值越大，会增大模型对应用户点击概率的估计。
回到我们APP应用推荐的场景中，可以看到图右侧的Cross Product Transformation，就是我们的wide部分的输入。Cross Product Transformation是指特征交叉，即将User Installed App和Impression APP进行组合。
例如用户手机已经安装了微信，且当前的待估计的APP为QQ，那么这个组合特征就是(User Installed App=’微信’, Impression APP=’QQ’)。
Deep模型
介绍完Wide部分，我们重新回来再看下Deep部分。Deep部分的设计是为了模型具有较好的泛化能力，在输入的数据没有在训练集中出现时，它依然能够保持相关性较好的输出。
在下图中，Deep模型输入都是一些含义不是非常明显的特征，例如设备类型，用户统计数据等类别特征(Categorical Features)。类别特征一般属于高维特征。
例如手机的种类可能存在成千上万个，因此我们通常把这些类别特征通过嵌入(Embedding)的方式，映射成低维空间的参数向量。这个向量可以被认为表示了原先这个类别特征的信息。对于连续特征，其数值本身就具备一定的含义，因此可以直接将和其他嵌入向量进行拼接。
在拼接完成后，可以得到大致为1200维度的向量。将其作为三层全连接层网络的输入，并且选择Relu作为激活函数，其中每层的输出维度分别为[1024, 512, 256]。
在广告点击率预估的场景中，模型的输出是一个0~1之间的值，表示当前候选APP被点击的概率。因此可以采用逻辑回归函数，将Wide&Deep部分的输出压缩到0~1在之间。
首先，Deep部分的输出是一个256维度的向量，可以通过一个线性变换将其映射为维度为1的值，然后和Wide部分的输出进行求和，将求和后的结果输入到逻辑回归函数中。
在介绍完模型之后，现在开始动手实践了，由于谷歌公司并没有将其在论文中使用的APP商店数据集进行公开，因此我们现在采用Criteo公司发布在Kaggle的广告点击率预估数据集Criteo。
在模型定义前，我们需要对数据进行预处理。数据处理的目的是将数据集中的特征取值映射为数值id，并且去除一些出现次数过少的特征值，避免特征值出现次数过少，导致当特征值对应的参数向量的更新次数过少，影响模型的精度。Criteo数据集由13类连续特征和26列类别特征，已经通过哈希方式映射为了32位数值。对应的标签(label)的取值为0和1。
还记得之前提到过的低维嵌入过程吗？映射操作是为了模型中的嵌入向量查找而准备的。例如，输入数据中的A，B，C被映射为了0,1,2。而0,1,2分别表示在嵌入矩阵中(Embedding Table)的第0行，第1行和第2行。
将Criteo数据集下载后解压，可以看到train.txt和test.txt文件。查看train.txt中的文件，可以看到其中某些行存在缺失。
我们可以调用
model_zoo/wide_and_deep/src/preprocess_data.py
进行数据的下载和处理，对于缺失值，可以将其标记为OOV(Out Of Vocabulary)对应的id。
介绍完数据处理后，我们在此开始定义模型。模型的核心代码在mindspore仓库下
model_zoo/wide_and_deep/src/wide_and_deep.py
在MindSpore中，网络的定义方式和Pytorch比较接近，先定义定义的操作，然后再construct函数中对调用对应的操作对输入进行处理。
首先我们再回忆下Wide&Deep网络，它由一个Wide部分和Deep部分。其中Wide部分是一个线性网络。
在实现上，我们将线性网络中的权重视为维度为1，通过嵌入矩阵查找的方式即可获得输入x对应的权重，然后将其和输入的mask相乘，将结果求和。
值得注意的是，我们将连续特征和类别特征进行等同处理，因此这里的mask是为了将连续特征和类别特征进行区而设计的。连续特征mask中的值即为连续特征值，类别特征mask中的值为1。Wide部分的核心代码如下所示，我们定义个名为self.wide_w的权重，它的形状为[词表大小,1]。
class WideDeepModel(nn.Cell):def __init__(self, config):super(WideDeepModel, self).__init__()…init_acts = [('Wide_w', [self.vocab_size, 1], self.emb_init),('V_l2', [self.vocab_size, self.emb_dim], self.emb_init),('Wide_b', [1], self.emb_init)]var_map = init_var_dict(self.init_args, init_acts)self.wide_w = var_map["Wide_w"]self.wide_b = var_map["Wide_b"]self.embeddinglookup = nn.EmbeddingLookup()self.mul = P.Mul()self.reduce_sum = P.ReduceSum(keep_dims=False)self.reshape = P.Reshape()self.square = P.Square()def construct(self, id_hldr, wt_hldr):mask = self.reshape(wt_hldr, (self.batch_size, self.field_size, 1))# Wide layerwide_id_weight = self.embeddinglookup(self.wide_w, id_hldr, 0)wx = self.mul(wide_id_weight, mask)wide_out = self.reshape(self.reduce_sum(wx, 1) + self.wide_b, (-1, 1))out = wide_out
class WideDeepModel(nn.Cell):def __init__(self, config):super(WideDeepModel, self).__init__()…init_acts = [('Wide_w', [self.vocab_size, 1], self.emb_init),('V_l2', [self.vocab_size, self.emb_dim], self.emb_init),('Wide_b', [1], self.emb_init)]var_map = init_var_dict(self.init_args, init_acts)self.wide_w = var_map["Wide_w"]self.wide_b = var_map["Wide_b"]self.embedding_table = var_map["V_l2"]self.dense_layer_1 = DenseLayer(self.all_dim_list[0],self.all_dim_list[1],self.weight_bias_init,self.deep_layer_act,convert_dtype=True, drop_out=config.dropout_flag)self.dense_layer_2 = DenseLayer(self.all_dim_list[1],self.all_dim_list[2],self.weight_bias_init,self.deep_layer_act,convert_dtype=True, drop_out=config.dropout_flag)self.dense_layer_3 = DenseLayer(self.all_dim_list[2],self.all_dim_list[3],self.weight_bias_init,self.deep_layer_act,convert_dtype=True, drop_out=config.dropout_flag)self.dense_layer_4 = DenseLayer(self.all_dim_list[3],self.all_dim_list[4],self.weight_bias_init,self.deep_layer_act,convert_dtype=True, drop_out=config.dropout_flag)self.dense_layer_5 = DenseLayer(self.all_dim_list[4],self.all_dim_list[5],self.weight_bias_init,self.deep_layer_act,use_activation=False, convert_dtype=True, drop_out=config.dropout_flag)self.embeddinglookup = nn.EmbeddingLookup()self.mul = P.Mul()self.reduce_sum = P.ReduceSum(keep_dims=False)self.reshape = P.Reshape()self.square = P.Square()self.shape = P.Shape()self.tile = P.Tile()self.concat = P.Concat(axis=1)self.cast = P.Cast()def construct(self, id_hldr, wt_hldr):"""Args:id_hldr: batch ids;wt_hldr: batch weights;"""mask = self.reshape(wt_hldr, (self.batch_size, self.field_size, 1))# Wide layerwide_id_weight = self.embeddinglookup(self.wide_w, id_hldr, 0)wx = self.mul(wide_id_weight, mask)wide_out = self.reshape(self.reduce_sum(wx, 1) + self.wide_b, (-1, 1))# Deep layerdeep_id_embs = self.embeddinglookup(self.embedding_table, id_hldr, 0)vx = self.mul(deep_id_embs, mask)deep_in = self.reshape(vx, (-1, self.field_size * self.emb_dim))deep_in = self.dense_layer_1(deep_in)deep_in = self.dense_layer_2(deep_in)deep_in = self.dense_layer_3(deep_in)deep_in = self.dense_layer_4(deep_in)deep_out = self.dense_layer_5(deep_in)out = wide_out + deep_outreturn out, self.embedding_table
model_zoo/wide_and_deep/train_and_eval.py
def test_train_eval(config):"""test_train_eval"""data_path = config.data_pathbatch_size = config.batch_sizeepochs = config.epochsds_train = create_dataset(data_path, train_mode=True, epochs=epochs, batch_size=batch_size)ds_eval = create_dataset(data_path, train_mode=False, epochs=epochs + 1, batch_size=batch_size)print("ds_train.size: {}".format(ds_train.get_dataset_size()))print("ds_eval.size: {}".format(ds_eval.get_dataset_size()))net_builder = ModelBuilder()train_net, eval_net = net_builder.get_net(config)train_net.set_train()auc_metric = AUCMetric()model = Model(train_net, eval_network=eval_net, metrics={"auc": auc_metric})eval_callback = EvalCallBack(model, ds_eval, auc_metric, config)callback = LossCallBack(config=config)ckptconfig = CheckpointConfig(save_checkpoint_steps=ds_train.get_dataset_size(), keep_checkpoint_max=5)ckpoint_cb = ModelCheckpoint(prefix='widedeep_train', directory=config.ckpt_path, config=ckptconfig)out = model.eval(ds_eval)print("=====" * 5 + "model.eval() initialized: {}".format(out))model.train(epochs, ds_train,callbacks=[TimeMonitor(ds_train.get_dataset_size()), eval_callback, callback, ckpoint_cb])
一旦训练完成后，就可以装载模型参数进行评估。评估网络和训练网络类似，只不过输出经过了一个Sigmoid层。
class PredictWithSigmoid(nn.Cell):def __init__(self, network):super(PredictWithSigmoid, self).__init__()self.network = networkself.sigmoid = P.Sigmoid()def construct(self, batch_ids, batch_wts, labels):logits, _, _, = self.network(batch_ids, batch_wts)pred_probs = self.sigmoid(logits)return logits, pred_probs, labels
采用AUC作为评价指标。AUC广泛的应用在分类模型的评估中，可以较好的反映模型学习的好坏，其值在0~1之间，值越高，模型的性能越好。
本文内容介绍了推荐系统的原理和实践代码。首先讲述了推荐系统在我们生活中的应用场景，并且介绍了推荐系统的核心原理。然后详细介绍了Wide&Deep网络以及相关的代码实践，期望可以帮助大家入门
参考文献
[1] Cheng H T, Koc L, Harmsen J, et al. Wide & deep learning for recommender systems[C]//Proceedings of the 1st workshop on deep learning for recommender systems. 2016: 7-10.
[2]https://www.mindspore.cn/tutorial/-zhCN/master/advanced_use/customized_debugging_information.html
- 点赞
- 收藏
- 关注作者
评论（0）