ModelArts MLS创建作业,下发到DLI执行样例

举报
星月菩提 发表于 2021/11/16 19:17:08 2021/11/16
8.7k+ 0 0
【摘要】 在Modelarts上编写代码,下发到dli上执行

1      上传数据

iris.csv上传到obs,并记录下obs的路径,供下一节使用。

2    将iris创建为dli外表

在上一节中,iris表被我上传到了obs://<YOUR-BUCKET>/<YOUR-OWN-DIR>/iris.csv

进入如下页面

执行如下语句

CREATE TABLE `iris` (`sepal_length` STRING, `sepal_width` STRING, `petal_length` STRING, `petal_width` STRING, `species` STRING)
USING csv
OPTIONS (
  `timestampformat` 'yyyy-MM-dd HH:mm:ss',
  `quote` '"',
  `dateformat` 'yyyy-MM-dd',
  `escape` '\\',
  `header` 'true',
  `delimiter` ','
)
COMMENT ''
LOCATION 'obs://<YOUR-BUCKET>/<YOUR-OWN-DIR>/iris.csv'
TBLPROPERTIES (
  'hive.serialization.extend.nesting.levels' = 'true'
)

3      创建notebook MLS

Notebook配置如下

进入Notebook,点击打开

上传dgc-mls-dli-iris-demo.mlsnotebook


双机上传的mls文件

4      配置MLS作业

4.1      配置输入数据

配置为章节2中创建的table

4.2      配置输出数据

右键保存为DLI表算子,选择设置参数

OBS PATH填写为存在的obs目录即可

DLI_table设置为任意table

5      生成python文件

确定后生成python文件

6      创建通用队列,已经拥有通用队列请跳过

7      上传python文件到obs

例如我将代码上传到了

8      创建Spark作业

进入dli页面,创建作业

所属队列设置为刚刚创建的spark队列,

应用程序设置为步骤7中的python文件位置

点击执行后,作业被下发到dli中进行运行

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

作者其他文章

评论(0

抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。