flow 命令的安装与使用

举报
AI浩 发表于 2021/12/22 22:20:14 2021/12/22
【摘要】 文章目录 1 安装2 初始化3 Data`download``upload``upload-history` 3 Job`submit``stop``query``view``conf...

1 安装

pip install fate-client

  
 
  • 1

如果觉得下载速度太慢可以考虑指定国内源,例:

pip install fate-client -i https://pypi.tuna.tsinghua.edu.cn/simple


  
 
  • 1
  • 2

2 初始化

init

  • 介绍: Fate Flow 命令行初始化命令。用户可选择提供fate服务器配置文件路径或指定fate服务器ip地址及端口进行初始化。注意:若用户同时使用上述两种方式进行初始化,CLI将优先读取配置文件内容,而用户所配置的服务器ip地址及端口信息将被忽略。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --server-conf-path FATE服务器配置文件路径
2 ip --ip FATE服务器ip地址
3 port --port FATE服务器端口
4 reset --reset 如果指定,初始化信息将被重置
  • 示例
# configure values in conf/service_conf.yaml
flow init -c /data/projects/fate/conf/service_conf.yaml
# alternatively, input real ip address and port info to initialize cli
flow init --ip 127.0.0.1 --port 9380

  
 
  • 1
  • 2
  • 3
  • 4

单机版没有.yaml文件,所以只能使用第二种初始化方式,我在集群部署时,使用第二种初始化后,flow命令一直无法使用,所以使用第一种初始化方式。

image-20210823113102859

upload

  • 介绍: 上传数据表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
2 verbose --verbose 如果指定,用户将在控制台获得上传进度(默认不开启)
3 drop --drop 如果指定,旧版已上传数据将被新上传的同名数据替换(默认不替换)
  • 示例
flow data upload -c fate_flow/examples/upload_guest.json
flow data upload -c fate_flow/examples/upload_host.json --verbose --drop

  
 
  • 1
  • 2

image-20210823113514141

3 Data

download

  • 介绍: 下载数据表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
  • 示例
flow data download -c fate_flow/examples/download_host.json

  
 
  • 1

upload

  • 介绍: 上传数据表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
2 verbose --verbose 如果指定,用户将在控制台获得上传进度(默认不开启)
3 drop --drop 如果指定,旧版已上传数据将被新上传的同名数据替换(默认不替换)
  • 示例
flow data upload -c fate_flow/examples/upload_guest.json
flow data upload -c fate_flow/examples/upload_host.json --verbose --drop

  
 
  • 1
  • 2

upload_guest.json的内容:

{
  "file": "examples/data/breast_homo_guest.csv",
  "head": 1,
  "partition": 10,
  "work_mode": 0,
  "namespace": "experiment",
  "table_name": "breast_homo_guest"
}

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

字段说明:

  1. file: 文件路径

  2. table_name&namespace: 存储数据表的标识符号

  3. head: 指定数据文件是否包含表头

  4. partition: 指定用于存储数据的分区数

  5. work_mode: 指定工作模式,0代表单机版,1代表集群版

  6. backend: 指定后端,0代表EGGROLL, 1代表SPARK加RabbitMQ, 2代表SPARK加Pulsar

upload-history

  • 介绍: 检索上传数据历史。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 limit -l --limit 返回结果数量限制(默认:10)
2 job_id -j --job_id Job ID
  • 示例
flow data upload-history -l 20
flow data upload-history --job-id $JOB_ID

  
 
  • 1
  • 2

3 Job

submit

  • 介绍: 提交执行pipeline任务。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
2 dsl_path -d --dsl-path DSL文件路径. 如果任务为预测任务,该字段可以不输入。另外,用户可以提供可用的自定义DSL文件用于执行预测任务。
  • 示例
flow job submit -c test_homolr_train_job_conf.json -d test_homolr_train_job_dsl.json

  
 
  • 1

image-20210823133333517

stop

  • 介绍: 取消或终止指定任务。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
  • 示例

    flow job stop -j $JOB_ID
    
        
       
    • 1

query

  • 介绍: 检索任务信息。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 status -s --status 任务状态
  • 示例

    flow job query -r guest -p 9999 -s complete
    flow job query -j $JOB_ID
    
        
       
    • 1
    • 2

view

  • 介绍: 检索任务数据视图。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 status -s --status 任务状态
  • 示例

    flow job view -j $JOB_ID -s complete
    
        
       
    • 1

config

  • 介绍: 下载指定任务的配置文件到指定目录。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 output_path -o --output-path 输出目录
  • 示例

    flow job config -j $JOB_ID -r host -p 10000 --output-path ./examples/
    
        
       
    • 1

log

  • 介绍: 下载指定任务的日志文件到指定目录。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 output_path -o --output-path 输出目录
  • 示例

    flow job log -j JOB_ID --output-path ./examples/
    
        
       
    • 1

list

  • 介绍: 展示任务列表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 limit -l --limit 返回数量限制(默认:10)
  • 示例
flow job list
flow job list -l 30

  
 
  • 1
  • 2

dsl

  • 介绍: 预测DSL文件生成器。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 cpn_list --cpn-list 用户指定组件名列表
2 cpn_path --cpn-path 用户指定带有组件名列表的文件路径
3 train_dsl_path --train-dsl-path 训练dsl文件路径
4 output_path -o --output-path 输出目录路径
  • 示例
flow job dsl --cpn-path fate_flow/examples/component_list.txt --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json

flow job dsl --cpn-path fate_flow/examples/component_list.txt --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json -o fate_flow/examples/

flow job dsl --cpn-list "dataio_0, hetero_feature_binning_0, hetero_feature_selection_0, evaluation_0" --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json -o fate_flow/examples/

flow job dsl --cpn-list [dataio_0,hetero_feature_binning_0,hetero_feature_selection_0,evaluation_0] --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json -o fate_flow/examples/

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

4 Model

load

  • 介绍: 加载模型。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
2 job_id -j --job_id Job ID
  • 示例
flow model load -c fate_flow/examples/publish_load_model.json
flow model load -j $JOB_ID

  
 
  • 1
  • 2

bind

  • 介绍: 绑定模型。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
2 job_id -j --job_id Job ID
  • 示例
flow model bind -c fate_flow/examples/bind_model_service.json
flow model bind -c fate_flow/examples/bind_model_service.json -j $JOB_ID

  
 
  • 1
  • 2

import

  • 介绍: 导入模型。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
2 from-database –from-database 如果指定且有可用的数据库环境,fate flow将从根据任务配置文件从数据库中导入模型。
  • 示例
flow model import -c fate_flow/examples/import_model.json
flow model import -c fate_flow/examples/restore_model.json --from-database

  
 
  • 1
  • 2

export

  • 介绍: 导出模型。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
2 to-database --to-database 如果指定且有可用的数据库环境,fate flow将从根据任务配置文件将模型导出到数据库中。
  • 示例
flow model export -c fate_flow/examples/export_model.json
flow model export -c fate_flow/examplse/store_model.json --to-database

  
 
  • 1
  • 2

migrate

  • 介绍: 迁移模型。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 conf_path -c --conf-path 任务配置文件路径
  • 示例
flow model migrate -c fate_flow/examples/migrate_model.json

  
 
  • 1

tag-list

  • 介绍: 展示模型的标签列表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
  • 示例
flow model tag-list -j $JOB_ID

  
 
  • 1

tag-model

  • 介绍: 对模型添加标签。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 tag_name -t --tag-name 标签名
3 remove --remove 如果指定,带有指定标签名的标签将被模型的标签列表中移除
  • 示例
flow model tag-model -j $JOB_ID -t $TAG_NAME
flow model tag-model -j $JOB_ID -t $TAG_NAME --remove

  
 
  • 1
  • 2

deploy

  • 介绍: 配置模型预测DSL。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 model_id --model-id 模型ID
2 model_version --model-version 模型版本
3 cpn_list --cpn-list 组件列表
4 cpn_path --cpn-path 组件列表文件路径
5 dsl_path --dsl-path 用户指定预测DSL文件路径
  • 示例
flow model deploy --model-id $MODEL_ID --model-version $MODEL_VERSION

  
 
  • 1

get-predict-dsl

  • 介绍: 获取模型预测DSL。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 model_id --model-id 模型ID
2 model_version --model-version 模型版本
3 output_path -o --output-path 输出路径
  • 示例
flow model get-predict-dsl --model-id $MODEL_ID --model-version $MODEL_VERSION -o ./examples/

  
 
  • 1

get-predict-conf

  • 介绍: 获取模型预测Conf模板。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 model_id --model-id 模型ID
2 model_version --model-version 模型版本
3 output_path -o --output-path 输出路径
  • 示例
flow model get-predict-conf --model-id $MODEL_ID --model-version $MODEL_VERSION -o ./examples/

  
 
  • 1

get-model-info

  • 介绍: 获取模型信息。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 model_id --model-id 模型ID
2 model_version --model-version 模型版本
2 role -r --role 角色
3 party_id -p --party-id Party ID
3 detail --detail 若指定,详细信息将被展示
  • 示例
flow model get-model-info --model-id $MODEL_ID --model-version $MODEL_VERSION
flow model get-model-info --model-id $MODEL_ID --model-version $MODEL_VERSION --detail

  
 
  • 1
  • 2

5 Component (TRACKING)

parameters

  • 介绍: 检索指定组件的参数。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
  • 示例
flow component parameters -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

  
 
  • 1

metric-all

  • 介绍: 检索指定任务的所有metric数据。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
  • 示例

    flow component metric-all -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0
    
        
       
    • 1

metrics

  • 介绍: 检索指定任务指定组件的metric数据。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
  • 示例

    flow component metrics -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0
    
        
       
    • 1

metric-delete

  • 介绍: 删除指定metric数据。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 date -d --date 8位日期, 形如 ‘YYYYMMDD’
2 job_id -j --job_id Job ID
  • 示例
# 注意:如果同时键入date参数与job_id参数,CLI将优先检测date参数数据,job_id参数将被忽略。
flow component metric-delete -d 20200101
flow component metric-delete -j $JOB_ID

  
 
  • 1
  • 2
  • 3

output-model

  • 介绍: 检索指定组件模型。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
  • 示例

    flow component output-model -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0
    
        
       
    • 1

output-data

  • 介绍: 下载指定组件的输出数据。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
5 output_path -o --output-path 输出目录
6 limit -l --limit 默认返回全部
  • 示例

    flow component output-data -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0 --output-path ./examples/
    
        
       
    • 1

output-data-table

  • 介绍: 查看数据表名及命名空间。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
  • 示例

    flow component output-data-table -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0
    
        
       
    • 1

list

  • 介绍: 展示指定任务的组件列表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
  • 示例
flow component list -j $JOB_ID

  
 
  • 1

get-summary

  • 介绍: 获取指定组件的概要。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
5 output_path -o --output-path 输出目录路径
  • 示例
flow component get-summary -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

flow component get-summary -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0 -o ./examples/

  
 
  • 1
  • 2
  • 3

6 Task

query

  • 介绍: 检索Task信息。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 job_id -j --job_id Job ID
2 role -r --role 角色
3 party_id -p --party_id Party ID
4 component_name -cpn --component_name 组件名
5 status -s --status 任务状态
  • 示例
flow task query -j $JOB_ID -p 9999 -r guest
flow task query -cpn hetero_feature_binning_0 -s complete

  
 
  • 1
  • 2

list

  • 介绍: 展示Task列表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 limit -l --limit 返回结果数量限制(默认:10)
  • 示例
flow task list
flow task list -l 25

  
 
  • 1
  • 2

7 Table

info

  • 介绍: 检索数据表信息。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 namespace -n --namespace 命名空间
2 table_name -t --table-name 数据表名
  • 示例
flow table info -n $NAMESPACE -t $TABLE_NAME

  
 
  • 1

delete

  • 介绍: 删除指定数据表。
  • 参数
编号 参数 Flag_1 Flag_2 必要参数 参数介绍
1 namespace -n --namespace 命名空间
2 table_name -t --table_name 数据表名
  • 示例
flow table delete -n $NAMESPACE -t $TABLE_NAME

  
 
  • 1

8 Queue

clean

  • 介绍: 取消所有在队列中的Job。
  • 参数: 无
  • 示例
flow queue clean
| -------- | -------- |
| 1    | namespace  | `-n`   | `--namespace`  | 是       | 命名空间 |
| 2    | table_name | `-t`   | `--table-name` | 是       | 数据表名 |

- *示例*:


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

flow table info -n $NAMESPACE -t $TABLE_NAME


### `delete`

- *介绍*: 删除指定数据表。
- *参数*:

| 编号 | 参数       | Flag_1 | Flag_2         | 必要参数 | 参数介绍 |
| ---- | ---------- | ------ | -------------- | -------- | -------- |
| 1    | namespace  | `-n`   | `--namespace`  | 否       | 命名空间 |
| 2    | table_name | `-t`   | `--table_name` | 否       | 数据表名 |

- *示例*:


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

flow table delete -n $NAMESPACE -t $TABLE_NAME


# 8 Queue

### `clean`

- *介绍*: 取消所有在队列中的Job。
- *参数*: 无
- *示例*:


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

flow queue clean


  
 

    文章来源: wanghao.blog.csdn.net,作者:AI浩,版权归原作者所有,如需转载,请联系作者。

    原文链接:wanghao.blog.csdn.net/article/details/119868443

    【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。