建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

locl tse

发帖: 21粉丝: 0

级别 : 版主

发消息 + 关注

发表于2020年04月24日 18:13:42 1472 1
直达本楼层的链接
楼主
显示全部楼层
[其他] [热身赛咨询]【来自麻婆豆腐】几个小问题

麻婆豆腐


话题:2角色:成员

发消息
发表于6 天前 阅读773回复2 楼主 倒序浏览只看该作者[热身赛咨询]几个小问题


第一,推断过程,我需要读取训练集数据构建历史流量信息,请问我该如何读取训练数据呢? 第二,训练过程结束后,我们需要配置一个json,这个json配置过程没有lgb模型,或我们需要多个模型如 lgb rnn 配置如何写? 第三,多个模型的配置文件怎么在推断过程读写。 第四,自己上传了外部数据,怎么读取和推断过程使用。


本主题由 华为云大赛小助手 于 5 天前 分类

点赞举报分享

C9


话题:0角色:成员

发消息
发表于6 天前 沙发只看该作者

同问,image.png

如果要用BaseSERvice类以外的框架,是否只能通过构建自定义镜像在线上训练实现,或上传自己训练好的docker镜像




点赞评论引用举报

w00523140


话题:0角色:成员

发消息
发表于6 天前 板凳只看该作者

你好,有以下说明供开发使用参考:


问题一:

    可以将加载模型相关的其他数据及文件与模型文件上传至OBS同目录下,再在customize-service.py脚本的preprocess和inference方法中实现相关读取和使用逻辑。在脚本中可以通过self.model_path获取模型文件在镜像中的路径(/home/work/predict/model/your_model_name.xxx),对这一路径做裁剪和再拼装,就可以拿到你上次至OBS的其他文件。具体可以参考附件中的实现样例

    

问题二

    目前机器学习推理原生不支持lgb还有GPU的使用。如果要使用需要自行通过dependency在导入模型时指定,在后续生成容器阶段会根据这一配置来pip安装lightgbm和rnn相关库,具体可以参考以下链接:https://support.huaweicloud.com/api-modelarts/modelarts_03_0076.html,需要在导入模型时指定模型涉及包的dependency(包名,版本号,限制)

image.png


问题三:

    config.json是对于推理服务使用的基础镜像的配置。如果要在镜像中使用多个模型的加载使用,可以在customize-service.py的inference中自定义实现多个模型的读取和使用(如果用到的模型比如lgb不原生支持,就需要通过dependency完成依赖安装)。这里更建议使用自定义镜像来处理这种场景,具体可以参考如下链接:https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0219.html。对于不原生支持的框架和多个模型的场景,自定义镜像更灵活,方便调试。


问题四:处理方式同问题一

lightgbm.zip5.18 KB,下载次数:39

评论麻婆豆腐 6 天前评论

对于第一个问题,我将其他文件,比如 weather.csv 上传到模型的文件下,之后,我在 def _preprocess(self, data): weather = pd.read_csv('./weather,csv') # 这样就可以读取吗 logger.info("customize service Begin to handle data from user data...") list_data = [] json_data = json.loads(data, object_pairs_hook=collections.OrderedDict) for element in json_data["data"]["req_data"]: array = [] for each in element: array.append(element[each]) list_data.append(array) return pd.DataFrame(list_data)

... 查看全部 w00523140 5 天前评论

评论 麻婆豆腐:因为是和模型放在同一个文件夹并被下载到镜像里,需要通过model_path去获取,而不能使用相对customize_service.py的路径。比如你说的weather.csv,假如它相对你的模型文件的路径是: obs_model_path │ │model_name.xxxx │ │data │ weather.csv 即weather.csv在与模型文件处于同级目录的data文件夹下面 它的路径可以这样获取: relative_path_to_weather = "data/weather.csv" #相对模型文件所在目录的路径 (path_to_model, model_file_name) = os.path.split(self.model_path) path_to_weather = os.path.join(path_to_model, relative_path_to_weather) 即/home/work/predict/model/data/weather.csv

... 查看全部 





举报
分享

分享文章到朋友圈

分享文章到微博

人生的旅途

发帖: 4粉丝: 0

级别 : 中级会员

发消息 + 关注

发表于2020年06月12日 10:01:00
直达本楼层的链接
沙发
显示全部楼层

mark,等大佬回答

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册