建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

HWC_EI_Rec...

发帖: 2粉丝: 0

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-6-18 14:37:06 1012 2 楼主 显示全部楼层
推荐系统示范用例(电商数据)

“为您推荐”用例内容

该用例为客户提供样本数据,使用该样本数据搭建一个推荐服务的详细引导,旨在通过具体的用例,帮助用户迅速体验华为云推荐系统的处理流程及相关联的资源环境。

在电商场景中,商城首页需要呈现出用户可能感兴趣的商品,该用例通过分析用户的行为数据、用户属性、物品属性,为每个客户定制的个性化推荐内容。

 

视频教程

在本文档完成配置资源、用例数据介绍、上传数据和整理数据的章节之后,即可按照视频提供的步骤进行操作,请参见:https://bbs.huaweicloud.com/videos/7c83dfa1274341f09c996deb382a24e5


配置资源

相关联的资源环境

使用推荐系统之前首先需创建所依赖的华为云其他资源,主要有大数据计算和表格存储两类。本例使用DLI作为大数据计算资源,Cloudtable作为表格存储资源。详情可参加见:https://support.huaweicloud.com/usermanual-res/res_01_0050.html

 

用例数据(见附件)

本用例数据包括(括号部分为推荐命名):用户行为表(events.csv)、物品属性表(item_properties.csv)、物品属性配置表(item_properties_config.csv)、用户属性表(user_properties.csv)和用户属性配置表(user_properties_config.csv)。除此之外,还有黑名单数据(black_list.csv)、白名单数据(write_list.csv)、自定义列表数据(customize.csv)和全局特征配置文件(global_feature_info.json)。数据链接如下:

https://bbs.huaweicloud.com/forum/forum.php?mod=attachment&aid=NTI4MjB8MjQ2Mzc3MTR8MTU2NzE1MzMzN3w5OTAzNHwxODg5NA%3D%3D


用户行为表

参数

说明

actionDateTime

时间戳

userId

用户ID

objectType

发生行为对象的名称。本例中指定为‘item’,表示是用户和物品本身发生的行为。

actionObject

对应行为发生的对象的值,在本例中是和物品发生关系,所以该项在本例中等同‘item ID’。

actionType

行为类型:

本例中仅包括(view:物品曝光)(collect:用户收藏了某个物品)(consume:消费)(dislike:点衰)

actionMeasure

发生行为的度量【?】。

 

用户属性表

参数

说明

userId

被推荐用户的唯一标识

userProperties

用户属性key-value串不同属性之间用\002(ASCII值)分隔,属性的key和value之间用\003(ASCII值)分隔。

例如,{k1:v2,k2:v2}表示为k1\003v1\002k2\003v2。

 

用户属性配置表

参数

说明

keyName

和用户属性表userProperties中每个key对应名称。

valueType

用于描述userProperties中每个key所对应的value的类型。   取值为: 字符型(string) 数值型(numerical) 字符数组型(strArray) kv数值型(map)。

 

物品属性表

参数

说明

itemId

物品ID,唯一标识

itemProperties

描述物品的key-value信息,key标识描述名称,value标识值。基本格式同用户属性表中userProperties基于隐私考虑,本例中的物品属性数据经过hash脱敏处理,连属性名称也做了隐藏。

物品属性配置表中的(159, 790, categoryid, 112, 776,   available, 364, 685)即为本例中出现的八个属性类型。

 

 

物品属性配置表

参数

说明

keyName

和用户属性表userProperties中每个key对应名称。

valueType

用于描述userProperties中每个key所对应的value的类型。 取值为: 字符型(string) 数值型(numerical) 字符数组型(strArray) kv数值型(map)。

 

上传数据

导入推荐系统的离线数据、特征工程产生的通用数据等都存放在OBS桶里。所以用户需在华为云使用OBS服务,创建新的OBS桶(可用已有的桶)如图1所示,推荐创建如下文件树(与附件一致):

[自定义obs桶名]----

----  obs-offline-data(用于存放用户行为表、用户属性表、用户属性配置表、物品属性表和物品属性配置表)

                ----  obs-customize-data(用户自定义列表customize.csv)

                ----  obs-filter-data(用户黑白名单)

                ----  obs-global-data(用于存放全局特征表,放入本例提供的global_feature_info.json文件)

                ----  obs-general-data(宽表,又名通用格式数据)

                ----  obs-pretrain-data(预训练数据)

                ----  obs-error-data(异常数据输出路径,来源于近线)

                ----  obs-nearline-data(近线任务结果数据,宽表形式)

                ----  obs-model-data(排序模型保存路径)

                ----  obs-config-data(计算引擎配置地址)

 

1 OBS页面示例

 

image.png

 

整理数据(配置特征工程)

特征工程简介

特征工程主要提供数据格式转换的功能,帮助我们将分散在物品表、用户表、行为表的数据转换成各项服务使用的内部格式。

特征工程包括两个转换功能:

1. 使用物品表、用户表、行为表的数据生成宽表(又名内部通用格式),用户画像库,物品画像库。【可加入宽表、用户画像库、物品画像库的介绍内容】

2. 利用宽表生成排序预处理数据。


初始用户画像-物品画像-标准宽表生成

操作步骤

步骤1  在“训练作业”下,单击“特征工程”页签,单击左上方“创建”,进入“创建特征工程”页面,如图2所示。


image.png


步骤填写基本信息,配置计算引擎和存储平台参数,根据业务需要在“添加特征工程”下拉框中选择一个‘初始用户画像-物品画像-标准宽表生成’策略,如图3所示。

 

image.png

 

步骤填写相关信息,在数据源的五个栏目中分别选择obs-offline-data文件夹中相应的文件。

注意点击红色圈内的编辑按钮,在弹出的编辑框内选择有表头。

 

image.png

 

image.png


步骤运行成功后,标准宽表(内部通用格式)将保存在本页面指定的‘结果保存路径’,可打开OBS相关路径(本例的obs-general-data文件夹)查看宽表文件。

 

排序样本预处理操作步骤

 

操作步骤

步骤在“训练作业”下,单击“特征工程”页签,单击左上方“创建”,进入“创建特征工程”页面,如图所示。


步骤填写基本信息,配置计算引擎和存储平台参数,根据业务需要在“添加特征工程”下拉框中选择一个‘排序样本预处理’策略,填写相关信息,在‘通用数据格式数据源根路径’选择本例创建的obs-general-data文件夹。

 

image.png

 

步骤单击“+增加用户特征”和“+增加物品特征按钮,在弹出框内设置成“不离散”,如下图所示。

 

image.png

 

image.png

 

步骤4   运行成功后,生成的排序预处理数据(训练数据, 测试数据等)将保存在本页面指定的‘结果保存路径’,可打开OBS相关路径(本例的obs-pretrain-data文件夹)查看。

 

配置离线召回策略

召回策略简介

召回是指对大量的物品做一个初选针对每一个用户形成个性化侯选集。

在不同的推荐场景下,选择使用不同的召回策略。根据本用例的目的,创建一个“为您推荐”推荐服务,离线的召回策略选择了基于物品的协同过滤推荐(基于用户行为信息,利用Item CF算法计算物品之间的相关性,然后基于特定用户的个人历史行为中直接关联的物品集合作为协同对象,物品协同对象集合的关联物品集合用于进行推荐候选集的生成)。


操作步骤

步骤在“训练作业”下,单击“召回策略”页签,单击左上方“创建”,进入“召回策略”页面,如图所示。


image.png


步骤单击“添加召回策略”,选择“基于物品的协同过滤推荐”,配置相关参数信息,单击“”按钮,设置数据参数,其表头在下拉框中选择,如下图所示。

 

image.png

 

步骤3 以上参数配置完成之后,单击确定


查看候选集ID

步骤运行召回策略的目的是取得召回候选集,在运行成功以后,打开召回策略的页面,单击本次任务的名称。


 

image.png


步骤进入任务详情页面,选择‘召回策略信息’,即可看到候选集ID(用户-物品候选集ID,下图中以85f922开头的字符串),之后传递到在线服务的ID即为该候选集ID

 

image.png

 

配置排序策略

排序策略简介

排序策略用于对召回策略生成的候选集进行二次排序,算出候选集里面各个物品的更精确的分数。


操作步骤

步骤在“训练作业”下,单击“排序策略”页签,单击左上方“创建”,进入“排序策略”页面,如图所示。


 

image.png


步骤在“添加排序策略”下拉框选择“LR”,并配置相关信息。


 

image.png


步骤以上参数配置完成之后,打开排序策略页面,该任务显示计算成功,如图所示。


image.png

 

配置过滤规则

过滤规则简介

过滤规则用于配置候选集的过滤方式,使之不进入候选集。


操作步骤

步骤在“训练作业”下,单击“过滤策略”页签,单击左上方“创建”,进入“过滤策略”页面,如图所示。


image.png


步骤2在“过滤策略”页面,配置相关参数信息,如下图所示。


image.png


步骤3 以上参数配置完成之后,单击确定

 

配置人工导入

人工导入简介

基于人工导入内容生成推荐候选集。用户可通过这个功能完全自定义一个推荐候选集。


操作步骤

步骤在“训练作业”下,单击“召回策略”页签,单击左上方“创建”,进入“召回策略”页面。

 

步骤在“召回策略”页面配置,基本信息、计算引擎和存储平台,并单击击“添加召回策略”,选择“业务规则-人工导入”,配置相关参数信息,如下图所示。


image.png


步骤3 以上参数信息配置完成后,单击确定即可。 

 

启动在线服务

在线服务简介

在线服务负责分析结果的应用过程,泛指部署线上服务后提供的推理服务,对外提供API接口。在完成上述步骤,产生了离线的推荐集后,即可启动在线服务取得指定用户的‘为您推荐’物品集。


操作步骤

步骤单击“在线服务”页签,再单击左上方“创建”,进入“创建在线服务”页面。如图所示。


image.png


步骤在“创建在线服务”页面配置,服务类型和配置在线流程。配置相关参数信息,如下图所示。

            其服务类型指定为‘推荐引擎’,并填写相关信息,主要是在各个选择框中选择以  上章节产生的结果。对应关系如下:

-          推荐结果设置:离线召回策略

-          容错:人工导入

-          过滤:过滤规则

-          排序:排序策略

-          画像:特征工程中的“初始用户画像-物品画像-标准宽表生成”

 

image.png


步骤以上参数信息配置完成后,单击确定,在线服务页面可查看任务状态,当该任务显示运行中,表示运行成功,则可进行下一步的调用。


image.png

 

调用在线服务

步骤在已创建好的在线服务,当状态显示运行中时,单击在线服务名称的“image.png,查看“预测接口”,单击右上方“image.png”按钮,即可将URL地址复制,如图所示。

 

image.png

 

步骤将该任务产生的URL,及本账号的Tokentoken的获取方式请参考【此处加token指导链接】),在程序中或者打开Postman调用。本例用postman作为例子。

 

步骤3  Headers页面设置如下图所示,将URLtoken粘贴到相应的地方,选择POST方式。

 

image.png

 

步骤4  Body页面设置如下图所示,选择raw,并如图填入json体,然后按‘send’发送请求。

 

image.png

 

步骤5 如果请求成功,则会得到如下图所示的结果(推荐物品集合(item id集合)。Json体中的id为推荐的itemIdscore为该物品的得分。


image.png


data.zip 1.05 MB,下载次数:11

举报
分享

分享文章到朋友圈

分享文章到微博

Joey啊

发帖: 50粉丝: 1

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-8-30 10:12:15 沙发 显示全部楼层

点赞 回复 举报

Joey啊

发帖: 50粉丝: 1

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-8-30 10:12:20 板凳 显示全部楼层

点赞 回复 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册