飞桨x昇腾生态适配方案:02_常用环境变量
【摘要】 训练常用环境变量本节介绍的环境变量建议在训练前提前设置好。 NPU私有格式0为关闭,建议关闭:export FLAGS_npu_storage_format=0 NPU在线编译false为关闭,建议小模型关闭,大模型打开:export FLAGS_npu_jit_compile=false aclnn_scale在大模型场景设置False性能更好,小模型场景设置True性能更好:expor...
训练常用环境变量
本节介绍的环境变量建议在训练前提前设置好。
NPU私有格式
0为关闭,建议关闭:
export FLAGS_npu_storage_format=0
NPU在线编译
false为关闭,建议小模型关闭,大模型打开:
export FLAGS_npu_jit_compile=false
aclnn_scale
在大模型场景设置False性能更好,小模型场景设置True性能更好:
export FLAGS_npu_scale_aclnn=True
aclnn_split
在大模型场景设置False性能更好,小模型场景设置True性能更好:
export FLAGS_npu_split_aclnn=True
npu算子加黑名单
npu算子加黑名单跑cpu,禁用NPU算子名单,可用来暂时规避精度问题,或者确认问题算子(set_value为算子名称):
export CUSTOM_DEVICE_BLACK_LIST=“set_value”
指定NPU卡号
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
Paddle view机制
当前在NPU部分模型上性能较差,0为关闭,建议关闭:
export FLAGS_use_stride_kernel=0
Paddle内存分配方式
默认为最大值申请,可能在个别模型上引入内存问题,建议使用auto_growth随使用申请
export FLAGS_allocator_strategy_kernel=auto_growth
kernel缓存大小
设置kernel缓存大小,以防止模型训练后期性能衰减
export ASCEND_MAX_OP_CACHE_SIZE=5000
CANN日志环境变量
设置日志打屏
1为打屏,可开启后将日志重定向到.log文件中
export ASCEND_SLOG_PRINT_TO_STDOUT=1
设置日志等级
0为INFO级,所有的日志均输出,3为ERROR级
export ASCEND_GLOBAL_LOG_LEVEL=0
Paddle日志环境变量
Paddle的glog等级中,0为无日志,10为全开日志,一般开启到3即可
export GLOG_v=3
开启glog后重定向.log文件需要在语句最后加入 2>&1 命令,例如:
python tools/train.py -c PP-OCRv4_server_rec_ic15_data.yaml -o
Global.use_gpu=False Global.use_npu=True > ocr.log 2>&1
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)