ModelArts MLS创建作业,下发到DLI执行样例
【摘要】 在Modelarts上编写代码,下发到dli上执行
1 上传数据
将iris.csv上传到obs,并记录下obs的路径,供下一节使用。
2 将iris创建为dli外表
在上一节中,iris表被我上传到了obs://<YOUR-BUCKET>/<YOUR-OWN-DIR>/iris.csv
进入如下页面
执行如下语句
CREATE TABLE `iris` (`sepal_length` STRING, `sepal_width` STRING, `petal_length` STRING, `petal_width` STRING, `species` STRING)
USING csv
OPTIONS (
`timestampformat` 'yyyy-MM-dd HH:mm:ss',
`quote` '"',
`dateformat` 'yyyy-MM-dd',
`escape` '\\',
`header` 'true',
`delimiter` ','
)
COMMENT ''
LOCATION 'obs://<YOUR-BUCKET>/<YOUR-OWN-DIR>/iris.csv'
TBLPROPERTIES (
'hive.serialization.extend.nesting.levels' = 'true'
)
3 创建notebook MLS
Notebook配置如下
进入Notebook,点击打开
上传dgc-mls-dli-iris-demo.mls到notebook
双机上传的mls文件
4 配置MLS作业
4.1 配置输入数据
配置为章节2中创建的table
4.2 配置输出数据
右键保存为DLI表算子,选择设置参数
OBS PATH填写为存在的obs目录即可
DLI_table设置为任意table
5 生成python文件
确定后生成python文件
6 创建通用队列,已经拥有通用队列请跳过
7 上传python文件到obs
例如我将代码上传到了
8 创建Spark作业
进入dli页面,创建作业
所属队列设置为刚刚创建的spark队列,
应用程序设置为步骤7中的python文件位置
点击执行后,作业被下发到dli中进行运行
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)