尧图网站建设 
--modify_mixlist【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况全量芯片支持功能说明混合精度场景下修改算子使用的混合精度黑白灰名单自行指定哪些算子允许降精度哪些算子不允许降精度。黑白灰名单可从${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json内置优化策略文件中查看“precision_reduce”参数下的flag参数值其中${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。xxx请根据实际产品进行选择。若取值为true白名单表示混合精度模式下允许降低精度。若取值为false黑名单表示混合精度模式下不允许降低精度。不配置该参数灰名单表示混合精度模式下当前算子的混合精度处理机制和前一个算子保持一致即如果前一个算子支持降精度处理当前算子也支持降精度如果前一个算子不允许降精度当前算子也不支持降精度。关联参数开启混合精度方式--precision_mode参数设置为allow_mix_precision、allow_mix_precision_fp16、allow_mix_precision_bf16。--precision_mode_v2参数设置为mixed_float16、mixed_bfloat16、mixed_hif8。与--precision_mode参数不能同时配置建议使用--precision_mode_v2。bf16仅在如下产品型号支持Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas 200I/500 A2 推理产品hif8仅在Ascend 950PR/Ascend 950DT支持。参数取值参数值混合精度名单路径以及文件名。参数值格式路径和文件名支持大小写字母a-zA-Z、数字0-9、下划线_、短横线-、句点.、中文汉字。参数值约束名单格式为*.json格式文件中的算子列表由用户指定多个算子使用英文逗号分隔。配置的算子类型必须为基于Ascend IR定义的算子的OpType算子类型查看方法请参见如何确定原始框架网络模型中的算子与AI处理器支持的算子的对应关系。推荐配置及收益无。示例黑白灰名单查询示例如下flag参数值为true表示白名单为false表示黑名单不配置flag参数表示灰名单Conv2D:{ ...... precision_reduce:{ flag:true }, ...... }混合精度名单样例如下ops_info.json为文件名示例OpTypeA、OpTypeB、OpTypeC、OpTypeD为算子示例。{ black-list: { // 黑名单 to-remove: [ // 黑名单算子转换为灰名单算子配置该参数时请确保被转换的算子已经存在于黑名单中 OpTypeA ], to-add: [ // 白名单或灰名单算子转换为黑名单算子 OpTypeB ] }, white-list: { // 白名单 to-remove: [ // 白名单算子转换为灰名单算子配置该参数时请确保被转换的算子已经存在于白名单中 OpTypeC ], to-add: [ // 黑名单或灰名单算子转换为白名单算子 OpTypeD ] } }假设算子A默认在白名单中如果您希望将该算子配置为黑名单算子则配置示例和系统处理逻辑为将该算子添加到黑名单中{ black-list: { to-add: [A] } }则系统会将该算子从白名单中删除并添加到黑名单中最终该算子在黑名单中。将该算子从白名单中删除同时添加到黑名单中{ black-list: { to-add: [A] } white-list: { to-remove: [A] } }则系统会将该算子从白名单中删除并添加到黑名单中最终该算子在黑名单中。对于只从黑/白名单中删除而不添加到白/黑名单的场景系统会将该算子添加到灰名单中配置示例如下例如从白名单删除某个算子{ white-list: { to-remove: [A] } }则系统会将该算子从白名单中删除然后添加到灰名单中最终该算子在灰名单中。将配置好的_ops_info.json_文件上传到ATC工具所在服务器任意目录例如上传到_$HOME/module_使用示例如下atc --precision_modeallow_mix_precision --modify_mixlist$HOME/module/ops_info.json ...依赖约束无。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN/GE混合精度名单修改
--modify_mixlist【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况全量芯片支持功能说明混合精度场景下修改算子使用的混合精度黑白灰名单自行指定哪些算子允许降精度哪些算子不允许降精度。黑白灰名单可从${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json内置优化策略文件中查看“precision_reduce”参数下的flag参数值其中${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。xxx请根据实际产品进行选择。若取值为true白名单表示混合精度模式下允许降低精度。若取值为false黑名单表示混合精度模式下不允许降低精度。不配置该参数灰名单表示混合精度模式下当前算子的混合精度处理机制和前一个算子保持一致即如果前一个算子支持降精度处理当前算子也支持降精度如果前一个算子不允许降精度当前算子也不支持降精度。关联参数开启混合精度方式--precision_mode参数设置为allow_mix_precision、allow_mix_precision_fp16、allow_mix_precision_bf16。--precision_mode_v2参数设置为mixed_float16、mixed_bfloat16、mixed_hif8。与--precision_mode参数不能同时配置建议使用--precision_mode_v2。bf16仅在如下产品型号支持Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas 200I/500 A2 推理产品hif8仅在Ascend 950PR/Ascend 950DT支持。参数取值参数值混合精度名单路径以及文件名。参数值格式路径和文件名支持大小写字母a-zA-Z、数字0-9、下划线_、短横线-、句点.、中文汉字。参数值约束名单格式为*.json格式文件中的算子列表由用户指定多个算子使用英文逗号分隔。配置的算子类型必须为基于Ascend IR定义的算子的OpType算子类型查看方法请参见如何确定原始框架网络模型中的算子与AI处理器支持的算子的对应关系。推荐配置及收益无。示例黑白灰名单查询示例如下flag参数值为true表示白名单为false表示黑名单不配置flag参数表示灰名单Conv2D:{ ...... precision_reduce:{ flag:true }, ...... }混合精度名单样例如下ops_info.json为文件名示例OpTypeA、OpTypeB、OpTypeC、OpTypeD为算子示例。{ black-list: { // 黑名单 to-remove: [ // 黑名单算子转换为灰名单算子配置该参数时请确保被转换的算子已经存在于黑名单中 OpTypeA ], to-add: [ // 白名单或灰名单算子转换为黑名单算子 OpTypeB ] }, white-list: { // 白名单 to-remove: [ // 白名单算子转换为灰名单算子配置该参数时请确保被转换的算子已经存在于白名单中 OpTypeC ], to-add: [ // 黑名单或灰名单算子转换为白名单算子 OpTypeD ] } }假设算子A默认在白名单中如果您希望将该算子配置为黑名单算子则配置示例和系统处理逻辑为将该算子添加到黑名单中{ black-list: { to-add: [A] } }则系统会将该算子从白名单中删除并添加到黑名单中最终该算子在黑名单中。将该算子从白名单中删除同时添加到黑名单中{ black-list: { to-add: [A] } white-list: { to-remove: [A] } }则系统会将该算子从白名单中删除并添加到黑名单中最终该算子在黑名单中。对于只从黑/白名单中删除而不添加到白/黑名单的场景系统会将该算子添加到灰名单中配置示例如下例如从白名单删除某个算子{ white-list: { to-remove: [A] } }则系统会将该算子从白名单中删除然后添加到灰名单中最终该算子在灰名单中。将配置好的_ops_info.json_文件上传到ATC工具所在服务器任意目录例如上传到_$HOME/module_使用示例如下atc --precision_modeallow_mix_precision --modify_mixlist$HOME/module/ops_info.json ...依赖约束无。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考