如何接入数据治理中心 DataArts Studio 【玩转华为云】

举报
皮牙子抓饭 发表于 2023/04/27 14:46:22 2023/04/27
【摘要】 接入DataArts Studio需要进行以下步骤:1. 创建和配置 DataArts Studio 实例:在 ModelArts 控制台创建 DataArts Studio 实例,并进行配置和参数设置。2. 准备数据:在 DataArts Studio 中使用数据源管理工具,连接数据源并将数据准备好。3. 创建数据治理任务:在 DataArts Studio 中创建数据治理任务,并设置任务...

接入DataArts Studio需要进行以下步骤:

1. 创建和配置 DataArts Studio 实例:在 ModelArts 控制台创建 DataArts Studio 实例,并进行配置和参数设置。

2. 准备数据:在 DataArts Studio 中使用数据源管理工具,连接数据源并将数据准备好。

3. 创建数据治理任务:在 DataArts Studio 中创建数据治理任务,并设置任务的输入、输出、转换、规则等。

4. 运行任务:将任务提交运行,查看运行结果。

5. 监控任务:在 DataArts Studio 中对任务运行情况进行监控和管理,包括查看任务状态、日志等。

以下是使用Java SDK接入DataArts Studio的示例代码,具体可参考文档:https://support.huaweicloud.com/devg-darts/darts_02_0001.html

//1. 配置AK/SK,创建DataArts Studio实例
String ak = "your-access-key";
String sk = "your-secret-key";
String projectId = "your-project-id";
String region = "cn-north-1";
DataArtsConfiguration configuration = new DataArtsConfiguration(ak, sk, projectId, region);
DataArtsClient client = new DataArtsClient(configuration);
CreateStudioRequest request = new CreateStudioRequest();
//设置DataArts Studio实例名称、类型、计算资源、VPC等
request.setName("your-studio-name");
request.setType(StudioTypeEnum.NORMAL);
request.setResourceSpec("DataArts.Small");
request.setVpcId("your-vpc-id");
CreateStudioResponse response = client.createStudio(request);

//2. 准备数据
DataArtsSourceManagement sourceManagement = new DataArtsSourceManagement(client);
//连接数据源,例如OBS、HDFS等
sourceManagement.connectSource(new ConnectSourceRequest("your-source-name", SourceTypeEnum.OBS, "your-access-key", "your-secret-key", "your-endpoint"));
//创建数据源,例如CSV文件、数据库表等
sourceManagement.createSource(new CreateSourceRequest("your-source-name", SourceTypeEnum.OBS, "your-bucket", "your-object-key", "your-access-key", "your-secret-key"));
//准备数据

//3. 创建数据治理任务
DataArtsTaskManagement taskManagement = new DataArtsTaskManagement(client);
CreateTaskRequest taskRequest = new CreateTaskRequest();
//设置任务输入、输出、转换、规则等
taskRequest.setInput("your-input-data");
taskRequest.setOutput("your-output-data");
taskRequest.setTransform("your-transform-rule");
taskRequest.setRule("your-data-rule");
CreateTaskResponse taskResponse = taskManagement.createTask(taskRequest);

//4. 运行任务
SubmitTaskRequest submitRequest = new SubmitTaskRequest();
submitRequest.setTaskId(taskResponse.getTaskId());
SubmitTaskResponse submitResponse = taskManagement.submitTask(submitRequest);

//5. 监控任务
TaskStatusRequest statusRequest = new TaskStatusRequest();
statusRequest.setTaskId(submitResponse.getTaskId());
TaskStatusResponse statusResponse = taskManagement.getTaskStatus(statusRequest);

注意,以上示例代码仅供参考,具体的接入方式和调用接口需根据实际情况进行修改。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。