【最佳实践】使用Spark MLlib实现精准推荐

准备数据

ModelArts提供了用于训练的数据集和示例代码，执行如下步骤，下载数据集和示例代码，并上传至OBS中。

1. 在gitee的ModelArts-Lab工程中，单击“克隆/下载”，然后单击“下载ZIP”，下载工程。
2. 下载完成后，将“ModelArts-Lab-master.zip”文件解压缩，然后在“ModelArts-Lab-master\official_examples\Using_Spark_MLlib_to_Create_a_Precise_Recommendation_Application”目录中获取到训练数据集“ratings.csv”和示例代码“trainmodelsp.py” “customize_service.py”。

   表1 获取的文件说明

   文件名称	说明
   “ratings.csv”	训练数据集。数据集的详情如表2和表3所示。
   “trainmodelsp.py”	训练脚本。示例代码是使用ALS算法编写的Python训练脚本。
   “customize_service.py”	用户自定义的预测脚本，需与训练脚本“trainmodelsp.py”上传至相同OBS目录下。训练过程中，将被自动拷贝至相应的模型目录下。

   表2 数据源的具体字段及意义

   字段名	含义	类型	描述
   attr_1	用户ID	Int	消费者标识。
   attr_2	商品ID	Int	消费品标识。
   attr_3	评分	Real	消费者对消费品的评分（1-5）。

   表3 数据集样本数据

   attr_1	attr_2	attr_3
   1	146	5
   1	1198	4
   1	611	4
   2	914	3
   2	146	4

3. 进入OBS管理控制台，新建桶和文件夹，分别用于存储训练数据集和示例代码。例如新建“test-modelarts”桶，并在此桶下新建“sparkml/data”和“sparkml/code”文件夹。

   “sparkml/data”用于存放训练数据集“ratings.csv”，“sparkml/code”用于存放示例代码“trainmodelsp.py”和“customize_service.py”。

4. 将步骤2中获取的文件，上传至对应OBS路径下，即“sparkml/data”和“sparkml/code”文件夹。OBS上传文件的操作指导，请参见上传文件。

训练模型

1. 在ModelArts管理控制台，进入“训练管理 > 训练作业”页面，单击左上角的“创建”。
2. 如图1和图2所示，参考图中示例，填写训练作业相关参数，然后单击“下一步”。
   其中， “数据来源”和 “算法来源”即 准备数据上传的OBS路径及文件。 “训练输出位置”，建议新建一个OBS文件夹，用于存储训练输出的模型及其预测文件，例如 “sparkml/output”。

   图1 创建训练作业-基本信息
   

   图2 创建训练作业-参数设置
   
3. 在规格确认页面，确认信息无误后，单击“提交”。
4. 在“训练管理 > 训练作业”管理页面，当训练作业变为“运行成功”时，即完成了模型训练过程。如有问题，可单击作业名称，进入作业详情界面查看训练作业日志信息。
   

   训练作业需要花费一些时间，预计十几分钟。当训练时间超过一定时间（如1个小时），请及时手动停止，释放资源。否则会导致欠费，尤其对于使用GPU训练的模型项目。

部署模型

待训练作业运行完成后，可以将训练好的模型发布成预测服务。

1. 在“模型”页面，单击左上角“导入”，进入“导入模型”页面。
2. 如图3所示，参考图片示例填写参数，然后单击“立即创建”。

   其中，“选择元模型”的路径为训练作业中“训练输出位置”指定的路径。同时，系统将从选择的路径下自动匹配到训练作业生成的推理代码。

   图3 导入模型
   
3. 在模型列表中，当创建的模型处于“正常”状态时，表示模型导入成功。单击模型名称左侧的小三角，打开此模型下的所有版本。在对应版本所在行，您可以在操作列单击“部署>在线服务”，将模型部署为在线服务。
4. 在“部署”页面，请参考图4中的示例填写参数，然后单击“下一步”。
   图4 部署
   
5. 在“规格确认”页面，确认信息无误后的，单击“提交”。
6. 在线服务创建完成后，系统自动跳转至“部署上线>在线服务”页面。服务部署需要一定时间，耐心等待即可。当服务状态变为“运行中”时，表示服务部署成功。

预测结果

待部署模型运行完成后，可以验证发布的预测服务是否正常。

1. 在“部署上线>在线服务”页面，单击服务名称进入详情页面。
2. 在“预测”页签，参考图 测试服务所示样例，输入预测代码，然后单击“预测”。在右侧“返回结果”中，查看预测结果。

   预测请求代码如下所示。

   {
   "data": {
   "req_data": [
   {
   "input_1": 2,
   "input_2": 21
   }
   ]
   }
   }

   图5 测试服务
   

3. 在“调用指南”页签，可以获取调用API接口，并使用Postman工具进行测试。
   图6 调用指南