您现在的位置是：首页 > 其他

当前栏目

flow 命令的安装与使用

安装命令 Flow 使用

2023-09-14 09:14:37 时间

1 安装

pip install fate-client

如果觉得下载速度太慢可以考虑指定国内源，例：

pip install fate-client -i https://pypi.tuna.tsinghua.edu.cn/simple

2 初始化

init

介绍： Fate Flow 命令行初始化命令。用户可选择提供fate服务器配置文件路径或指定fate服务器ip地址及端口进行初始化。注意：若用户同时使用上述两种方式进行初始化，CLI将优先读取配置文件内容，而用户所配置的服务器ip地址及端口信息将被忽略。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--server-conf-path`	否	FATE服务器配置文件路径
2	ip		`--ip`	否	FATE服务器ip地址
3	port		`--port`	否	FATE服务器端口
4	reset		`--reset`	否	如果指定，初始化信息将被重置

示例：

# configure values in conf/service_conf.yaml
flow init -c /data/projects/fate/conf/service_conf.yaml
# alternatively, input real ip address and port info to initialize cli
flow init --ip 127.0.0.1 --port 9380

单机版没有.yaml文件，所以只能使用第二种初始化方式，我在集群部署时，使用第二种初始化后，flow命令一直无法使用，所以使用第一种初始化方式。

upload

介绍：上传数据表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径
2	verbose		`--verbose`	否	如果指定，用户将在控制台获得上传进度（默认不开启）
3	drop		`--drop`	否	如果指定，旧版已上传数据将被新上传的同名数据替换（默认不替换）

示例：

flow data upload -c fate_flow/examples/upload_guest.json
flow data upload -c fate_flow/examples/upload_host.json --verbose --drop

3 Data

`download`

介绍：下载数据表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径

示例：

flow data download -c fate_flow/examples/download_host.json

`upload`

介绍：上传数据表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径
2	verbose		`--verbose`	否	如果指定，用户将在控制台获得上传进度（默认不开启）
3	drop		`--drop`	否	如果指定，旧版已上传数据将被新上传的同名数据替换（默认不替换）

示例：

flow data upload -c fate_flow/examples/upload_guest.json
flow data upload -c fate_flow/examples/upload_host.json --verbose --drop

upload_guest.json的内容：

{
  "file": "examples/data/breast_homo_guest.csv",
  "head": 1,
  "partition": 10,
  "work_mode": 0,
  "namespace": "experiment",
  "table_name": "breast_homo_guest"
}

字段说明：

file: 文件路径
table_name&namespace: 存储数据表的标识符号
head: 指定数据文件是否包含表头
partition: 指定用于存储数据的分区数
work_mode: 指定工作模式，0代表单机版，1代表集群版
backend: 指定后端，0代表EGGROLL， 1代表SPARK加RabbitMQ， 2代表SPARK加Pulsar

`upload-history`

介绍：检索上传数据历史。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	limit	`-l`	`--limit`	否	返回结果数量限制（默认：10）
2	job_id	`-j`	`--job_id`	否	Job ID

示例：

flow data upload-history -l 20
flow data upload-history --job-id $JOB_ID

3 Job

`submit`

介绍：提交执行pipeline任务。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径
2	dsl_path	`-d`	`--dsl-path`	否	DSL文件路径. 如果任务为预测任务，该字段可以不输入。另外，用户可以提供可用的自定义DSL文件用于执行预测任务。

示例：

flow job submit -c test_homolr_train_job_conf.json -d test_homolr_train_job_dsl.json

`stop`

介绍：取消或终止指定任务。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID

示例：
```
flow job stop -j $JOB_ID
```

`query`

介绍：检索任务信息。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	否	Job ID
2	role	`-r`	`--role`	否	角色
3	party_id	`-p`	`--party_id`	否	Party ID
4	status	`-s`	`--status`	否	任务状态

示例：

flow job query -r guest -p 9999 -s complete
flow job query -j $JOB_ID

`view`

介绍：检索任务数据视图。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	否	角色
3	party_id	`-p`	`--party_id`	否	Party ID
4	status	`-s`	`--status`	否	任务状态

示例：
```
flow job view -j $JOB_ID -s complete
```

`config`

介绍：下载指定任务的配置文件到指定目录。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	output_path	`-o`	`--output-path`	是	输出目录

示例：

flow job config -j $JOB_ID -r host -p 10000 --output-path ./examples/

`log`

介绍：下载指定任务的日志文件到指定目录。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	output_path	`-o`	`--output-path`	是	输出目录

示例：

flow job log -j JOB_ID --output-path ./examples/

`list`

介绍：展示任务列表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	limit	`-l`	`--limit`	否	返回数量限制（默认：10）

示例：

flow job list
flow job list -l 30

`dsl`

介绍：预测DSL文件生成器。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	cpn_list		`--cpn-list`	否	用户指定组件名列表
2	cpn_path		`--cpn-path`	否	用户指定带有组件名列表的文件路径
3	train_dsl_path		`--train-dsl-path`	是	训练dsl文件路径
4	output_path	`-o`	`--output-path`	否	输出目录路径

示例：

flow job dsl --cpn-path fate_flow/examples/component_list.txt --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json

flow job dsl --cpn-path fate_flow/examples/component_list.txt --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json -o fate_flow/examples/

flow job dsl --cpn-list "dataio_0, hetero_feature_binning_0, hetero_feature_selection_0, evaluation_0" --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json -o fate_flow/examples/

flow job dsl --cpn-list [dataio_0,hetero_feature_binning_0,hetero_feature_selection_0,evaluation_0] --train-dsl-path fate_flow/examples/test_hetero_lr_job_dsl.json -o fate_flow/examples/

4 Model

`load`

介绍：加载模型。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	否	任务配置文件路径
2	job_id	`-j`	`--job_id`	否	Job ID

示例：

flow model load -c fate_flow/examples/publish_load_model.json
flow model load -j $JOB_ID

`bind`

介绍：绑定模型。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径
2	job_id	`-j`	`--job_id`	否	Job ID

示例：

flow model bind -c fate_flow/examples/bind_model_service.json
flow model bind -c fate_flow/examples/bind_model_service.json -j $JOB_ID

`import`

介绍：导入模型。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径
2	from-database		–from-database	否	如果指定且有可用的数据库环境，fate flow将从根据任务配置文件从数据库中导入模型。

示例：

flow model import -c fate_flow/examples/import_model.json
flow model import -c fate_flow/examples/restore_model.json --from-database

`export`

介绍：导出模型。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径
2	to-database		`--to-database`	否	如果指定且有可用的数据库环境，fate flow将从根据任务配置文件将模型导出到数据库中。

示例：

flow model export -c fate_flow/examples/export_model.json
flow model export -c fate_flow/examplse/store_model.json --to-database

`migrate`

介绍：迁移模型。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	conf_path	`-c`	`--conf-path`	是	任务配置文件路径

示例：

flow model migrate -c fate_flow/examples/migrate_model.json

`tag-list`

介绍：展示模型的标签列表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID

示例：

flow model tag-list -j $JOB_ID

`tag-model`

介绍：对模型添加标签。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	tag_name	`-t`	`--tag-name`	是	标签名
3	remove		`--remove`	否	如果指定，带有指定标签名的标签将被模型的标签列表中移除

示例：

flow model tag-model -j $JOB_ID -t $TAG_NAME
flow model tag-model -j $JOB_ID -t $TAG_NAME --remove

`deploy`

介绍：配置模型预测DSL。
参数：

编号	参数	Flag_2	必要参数	参数介绍
1	model_id	`--model-id`	是	模型ID
2	model_version	`--model-version`	是	模型版本
3	cpn_list	`--cpn-list`	否	组件列表
4	cpn_path	`--cpn-path`	否	组件列表文件路径
5	dsl_path	`--dsl-path`	否	用户指定预测DSL文件路径

示例：

flow model deploy --model-id $MODEL_ID --model-version $MODEL_VERSION

`get-predict-dsl`

介绍：获取模型预测DSL。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	model_id		`--model-id`	是	模型ID
2	model_version		`--model-version`	是	模型版本
3	output_path	`-o`	`--output-path`	是	输出路径

示例：

flow model get-predict-dsl --model-id $MODEL_ID --model-version $MODEL_VERSION -o ./examples/

`get-predict-conf`

介绍：获取模型预测Conf模板。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	model_id		`--model-id`	是	模型ID
2	model_version		`--model-version`	是	模型版本
3	output_path	`-o`	`--output-path`	是	输出路径

示例：

flow model get-predict-conf --model-id $MODEL_ID --model-version $MODEL_VERSION -o ./examples/

`get-model-info`

介绍：获取模型信息。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	model_id		`--model-id`	否	模型ID
2	model_version		`--model-version`	是	模型版本
2	role	`-r`	`--role`	否	角色
3	party_id	`-p`	`--party-id`	否	Party ID
3	detail		`--detail`	否	若指定，详细信息将被展示

示例：

flow model get-model-info --model-id $MODEL_ID --model-version $MODEL_VERSION
flow model get-model-info --model-id $MODEL_ID --model-version $MODEL_VERSION --detail

5 Component (TRACKING)

`parameters`

介绍：检索指定组件的参数。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	component_name	`-cpn`	`--component_name`	是	组件名

示例：

flow component parameters -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

`metric-all`

介绍：检索指定任务的所有metric数据。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	component_name	`-cpn`	`--component_name`	是	组件名

示例：

flow component metric-all -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

`metrics`

介绍：检索指定任务指定组件的metric数据。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	component_name	`-cpn`	`--component_name`	是	组件名

示例：

flow component metrics -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

`metric-delete`

介绍：删除指定metric数据。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	date	`-d`	`--date`	否	8位日期, 形如 ‘YYYYMMDD’
2	job_id	`-j`	`--job_id`	否	Job ID

示例：

# 注意：如果同时键入date参数与job_id参数，CLI将优先检测date参数数据，job_id参数将被忽略。
flow component metric-delete -d 20200101
flow component metric-delete -j $JOB_ID

`output-model`

介绍：检索指定组件模型。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	component_name	`-cpn`	`--component_name`	是	组件名

示例：

flow component output-model -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

`output-data`

介绍：下载指定组件的输出数据。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	component_name	`-cpn`	`--component_name`	是	组件名
5	output_path	`-o`	`--output-path`	是	输出目录
6	limit	`-l`	`--limit`	否	默认返回全部

示例：

flow component output-data -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0 --output-path ./examples/

`output-data-table`

介绍：查看数据表名及命名空间。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	component_name	`-cpn`	`--component_name`	是	组件名

示例：

flow component output-data-table -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

`list`

介绍：展示指定任务的组件列表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID

示例：

flow component list -j $JOB_ID

`get-summary`

介绍：获取指定组件的概要。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	是	Job ID
2	role	`-r`	`--role`	是	角色
3	party_id	`-p`	`--party_id`	是	Party ID
4	component_name	`-cpn`	`--component_name`	是	组件名
5	output_path	`-o`	`--output-path`	否	输出目录路径

示例：

flow component get-summary -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0

flow component get-summary -j $JOB_ID -r host -p 10000 -cpn hetero_feature_binning_0 -o ./examples/

6 Task

`query`

介绍：检索Task信息。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	job_id	`-j`	`--job_id`	否	Job ID
2	role	`-r`	`--role`	否	角色
3	party_id	`-p`	`--party_id`	否	Party ID
4	component_name	`-cpn`	`--component_name`	否	组件名
5	status	`-s`	`--status`	否	任务状态

示例：

flow task query -j $JOB_ID -p 9999 -r guest
flow task query -cpn hetero_feature_binning_0 -s complete

`list`

介绍：展示Task列表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	limit	`-l`	`--limit`	否	返回结果数量限制（默认：10）

示例：

flow task list
flow task list -l 25

7 Table

`info`

介绍：检索数据表信息。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	namespace	`-n`	`--namespace`	是	命名空间
2	table_name	`-t`	`--table-name`	是	数据表名

示例：

flow table info -n $NAMESPACE -t $TABLE_NAME

`delete`

介绍：删除指定数据表。
参数：

编号	参数	Flag_1	Flag_2	必要参数	参数介绍
1	namespace	`-n`	`--namespace`	否	命名空间
2	table_name	`-t`	`--table_name`	否	数据表名

示例：

flow table delete -n $NAMESPACE -t $TABLE_NAME

8 Queue

`clean`

介绍：取消所有在队列中的Job。
参数：无
示例：

flow queue clean
| -------- | -------- |
| 1    | namespace  | `-n`   | `--namespace`  | 是       | 命名空间 |
| 2    | table_name | `-t`   | `--table-name` | 是       | 数据表名 |

- *示例*：

flow table info -n $NAMESPACE -t $TABLE_NAME


### `delete`

- *介绍*： 删除指定数据表。
- *参数*：

| 编号 | 参数       | Flag_1 | Flag_2         | 必要参数 | 参数介绍 |
| ---- | ---------- | ------ | -------------- | -------- | -------- |
| 1    | namespace  | `-n`   | `--namespace`  | 否       | 命名空间 |
| 2    | table_name | `-t`   | `--table_name` | 否       | 数据表名 |

- *示例*：

flow table delete -n $NAMESPACE -t $TABLE_NAME


# 8 Queue

### `clean`

- *介绍*： 取消所有在队列中的Job。
- *参数*： 无
- *示例*：

flow queue clean

猜你喜欢

spring的有状态BEAN和无状态BEAN
mysql YEARWEEK(date[,mode]) 函数查询上周数据以及本周数据
Go语言自学系列 | go语言数据类型
[Javascript] Compose multiple functions for new behavior in JavaScript
EF Core索引
数据挖掘案例:基于 ReliefF和K-means算法的应用
基尼指数——基尼系数是指国际上通用的、用以衡量一个国家或地区居民收入差距的常用指标。基尼系数介于0-1之间，基尼系数越大，表示不平等程度越高。
（C++）已知String类的定义，实现其函数体
C++使用技巧(十二):命令行参数使用方法main(int argc, char *argv[])
flask实现token方案
行人重识别02-08：fast-reid(BoT)-pytorch编程规范(fast-reid为例)5-BoT网络模型构建
postgresql数据库安装以及使用pgadmin连接postgresql数据库
软考中级(软件设计师)——操作系统(占6-8分)
开源DataBase组件：FluentMigrator

相关主题

Mysql安装命令
安装命令
weblogic安装
安装虚拟机
PHP安装问题
linux下安装nginx
Linux 安装
安装 Docker
CDH安装(二)
PS - 安装
kubeadm安装kubernetes集群
python安装，pycharm安装
python安装、pycharm安装
mac 安装adb
redis 安装命令
ubuntu安装命令
mysql安装下载
Node之安装篇

当前栏目

flow 命令的安装与使用

文章目录

1 安装

2 初始化

3 Data

download

upload

upload-history

3 Job

submit

stop

query

view

config

log

list

dsl

4 Model

load

bind

import

export

migrate

tag-list

tag-model

deploy

get-predict-dsl

get-predict-conf

get-model-info

5 Component (TRACKING)

parameters

metric-all

metrics

metric-delete

output-model

output-data

output-data-table

list

get-summary

6 Task

query

list

7 Table

info

delete

8 Queue

clean

相关文章

`download`

`upload`

`upload-history`

`submit`

`stop`

`query`

`view`

`config`

`log`

`list`

`dsl`

`load`

`bind`

`import`

`export`

`migrate`

`tag-list`

`tag-model`

`deploy`

`get-predict-dsl`

`get-predict-conf`

`get-model-info`

`parameters`

`metric-all`

`metrics`

`metric-delete`

`output-model`

`output-data`

`output-data-table`

`list`

`get-summary`

`query`

`list`

`info`

`delete`

`clean`