--allow_hf32【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品不支持Atlas 训练系列产品不支持功能说明该参数预留当前版本暂不支持。是否启用HF32自动代替float32数据类型的功能当前版本该参数仅针对Conv类算子与Matmul类算子生效。HF32是昇腾推出的专门用于算子内部计算的单精度浮点类型与其他常用数据类型的比较如下图所示。可见HF32与float32支持相同的数值范围但尾数位精度11位却接近FP1610位。通过降低精度让HF32单精度数据类型代替原有的float32单精度数据类型可大大降低数据所占空间大小实现性能的提升。图 1HF32与其他数据类型比较 关联参数针对同一个算子如果通过--op_precision_mode参数配置了enable_hi_float_32_execution或enable_float_32_execution该场景下不建议再与--allow_hf32参数同时使用若同时使用则优先级如下op_precision_mode(ByNodeName按节点名称设置精度模式) allow_hf32 op_precision_mode(ByOpType按算子类型设置精度模式)由于--allow_hf32是使用HF32自动代替float32要想该参数生效必须保证涉及算子的输入或者输出类型为float32。由于--precision_mode_v2参数默认值为fp16原始网络模型中算子类型为float32时会被强制转为float16类型该场景下使用--allow_hf32参数不生效建议修改--precision_mode_v2参数值为origin--precision_mode参数默认值为force_fp16建议修改为must_keep_origin_dtype或者force_fp32。参数取值参数值true针对Conv类算子与Matmul类算子开启FP32数据类型自动转换为HF32数据类型的功能。具体涉及哪些算子请参见CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/impl_mode/allow_hf32_matmul_t_conv_t.ini该文件不支持用户修改。false针对Conv类算子与Matmul类算子关闭FP32数据类型自动转换为HF32数据类型的功能。具体涉及哪些算子请参见CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/impl_mode/allow_hf32_matmul_f_conv_f.ini该文件不支持用户修改。参数默认值针对Conv类算子默认开启FP32到HF32的转换针对Matmul类算子默认关闭该转换功能。推荐配置及收益无。示例atc --allow_hf32true ...若在模型转换日志中能搜索到“ge.exec.allow_hf32”则说明参数设置生效。依赖约束无。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考