尧图网站建设 
基础功能【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/geCLUSTER_CONFIG设置集群配置文件路径用于配置目标执行逻辑设备信息以生成HCCL任务多卡分布式训练场景下使用。此参数实际对应的options参数为ge.cluster_config。若模型中包含通信算子当前仅支持AllGather通信算子该参数必填。配置示例{ge::ir_option::CLUSTER_CONFIG, /home/test/cluster_config.json}cluster_config.json配置示例如下{ RankTable: { status: completed, version: 1.2, server_count: 2, server_list: [ { server_id: node_0, device: [ { device_id: 0, rank_id: 0 } ] }, { server_id: node_1, device: [ { device_id: 0, rank_id: 1 } ] } ] }, HcclCommConfig: { hcclCommName: global name } }参数说明解释如下RankTable配置的核心定义了参与计算的节点和rank信息。status必选rank table可用标识。completed表示rank table可用。initializing表示rank table不可用。version必选rank table模板版本信息请配置为1.2。server_count可选参与集合通信的AI Server个数。server_list必选参与集合通信的AI Server列表。server_id必选AI Server标识字符串类型长度小于等于64请确保全局唯一。配置示例node_0。device必选Device列表。device_id必选AI处理器的物理ID即Device在AI Server上的序列号。rank_id必选rank唯一标识请配置为整数从0开始配置且全局唯一取值范围[0, 总Device数量-1]。HcclCommConfigHCCL通信层的全局配置信息。hcclCommName必选全局通信组的名称或标识符。产品支持情况Ascend 950PR/Ascend 950DT不支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品不支持Atlas 训练系列产品不支持IPV350不支持DETERMINISTIC是否开启确定性计算。此参数实际对应的options参数为ge.deterministic。默认情况下不开启确定性计算算子在相同的硬件和输入下多次执行的结果可能不同。这个差异的来源一般是因为在算子实现中存在异步的多线程执行会导致浮点数累加的顺序变化。当开启确定性计算功能时算子在相同的硬件和输入下多次执行将产生相同的输出。通常建议不开启确定性计算因为确定性计算往往会导致算子执行变慢进而影响性能。当发现模型多次执行结果不同或者是进行精度调优时可开启确定性计算辅助模型调试、调优。参数取值0默认值不开启确定性计算。1开启确定性计算。配置示例{ge::ir_option::DETERMINISTIC, 1}产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持ENABLE_SINGLE_STREAM静态shape场景下是否启用模型推理顺序单流串行执行。此参数实际对应的options参数为ge.enableSingleStream。其中流Stream用于维护一些异步操作的执行顺序确保按照应用程序中的代码调用顺序在Device上执行。参数取值true表示启用模型推理顺序单流串行执行。false默认值表示关闭模型推理时多流并行执行。参数值约束模型中存在Cmo算子和如下控制类算子时不能使用单Stream特性只能使用默认值false。MergeSwitchEnterRefEnter配置示例{ge::ir_option::ENABLE_SINGLE_STREAM, true}产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持HCCL_SUB_COMM_CONFIG设置HCCL子通信域配置文件路径用于配置HCCL子通信参数。多卡分布式训练场景下使用。此参数实际对应的options参数为ge.hccl_sub_comm_config。若模型中包含通信算子当前仅支持AllGather通信算子该参数必填。若模型算子包含子通信域参数但在模型编译时未指定HCCL_SUB_COMM_CONFIG参数系统将默认依据集群的实际业务配置执行。配置示例{ge::ir_option::CLUSTER_CONFIG, /home/test/cluster_config.json} {ge::ir_option::HCCL_SUB_COMM_CONFIG, /home/test/sub_comm_config.json}sub_comm_config.json文件示例如下{ GroupList: [ { RankIds: [0,1], HcclCommconfig: { hcclCommName: test_group } } ] }其中RankIdsrank唯一标识请配置为整数从0开始配置且全局唯一取值范围[0, 总Device数量-1]。建议rank_id按照Device物理连接顺序进行排序即将物理连接上较近的Device编排在一起否则可能会对性能造成影响。例如若device_ip按照物理连接从小到大设置则rank_id也建议按照从小到大的顺序设置。hcclCommName通信组命名供程序调用和区分。产品支持情况Ascend 950PR/Ascend 950DT不支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品不支持Atlas 训练系列产品不支持IPV350不支持OPTION_HOST_ENV_OS此参数实际对应的options参数为ge.host_env_os。若模型编译环境的操作系统及其架构与模型运行环境不一致时则需使用本参数设置模型运行环境的操作系统类型。如果不设置则默认取模型编译环境的操作系统类型。模型编译环境的操作系统及其架构与模型运行环境不一致时需要与OPTION_HOST_ENV_CPU参数配合使用通过OPTION_HOST_ENV_OS参数设置操作系统类型、通过OPTION_HOST_ENV_CPU参数设置操作系统架构。参数取值查看${INSTALL_DIR}/opp/built-in/op_graph/lib/下打包的算子so的OS类型。参数默认值查看${INSTALL_DIR}/opp/scene.info文件中的取值。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。配置示例{ge::OPTION_HOST_ENV_OS, linux}, {ge::OPTION_HOST_ENV_CPU, x86_64}产品支持情况全量芯片支持。OPTION_HOST_ENV_CPU此参数实际对应的options参数为ge.host_env_cpu。若模型编译环境的操作系统及其架构与模型运行环境不一致时则需使用本参数设置模型运行环境的操作系统架构。如果不设置则默认取模型编译环境的操作系统架构。如果模型编译环境的操作系统及其架构与模型运行环境不一致需要与OPTION_HOST_ENV_OS参数配合使用通过OPTION_HOST_ENV_OS参数设置操作系统类型、通过OPTION_HOST_ENV_CPU参数设置操作系统架构。参数取值查看${INSTALL_DIR}/opp/built-in/op_graph/lib/下打包的算子so的OS/CPU类型。参数默认值查看${INSTALL_DIR}/opp/scene.info文件中的取值。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。配置示例{ge::OPTION_HOST_ENV_OS, linux}, {ge::OPTION_HOST_ENV_CPU, x86_64}若转换后的离线模型包含操作系统类型、架构例如xxx_linux_x86_64.om则说明该模型运行的环境只能是x86_64架构的linux操作系统。若转换后的离线模型不包含操作系统类型、架构例如xxx.om则说明CANN软件包所支持的操作系统都支持该模型运行。产品支持情况全量芯片支持。SOC_VERSION图编译时使用的AI处理器型号。此参数实际对应的options参数为ge.socVersion。若当前环境存在AI处理器该参数可选。若当前环境不存在AI处理器即开发环境该参数必填。参数取值soc_version查询方法为针对如下产品在安装AI处理器的服务器执行npu-smi info命令进行查询获取Name信息。实际配置值为AscendName例如Name取值为xxxyy实际配置值为Ascendxxxyy。Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas 200I/500 A2 推理产品Atlas 推理系列产品Atlas 训练系列产品针对Atlas A3 训练系列产品/Atlas A3 推理系列产品在安装AI处理器的服务器执行npu-smi info -t board -iid-c_chip_id_命令进行查询获取Chip Name和NPU Name信息实际配置值为Chip Name_NPU Name。例如Chip Name取值为AscendxxxNPU Name取值为1234实际配置值为Ascendxxx_1234。其中id设备id通过npu-smi info -l命令查出的NPU ID即为设备id。chip_id芯片id通过npu-smi info -m命令查出的Chip ID即为芯片id。针对Ascend 950PR/Ascend 950DT在安装AI处理器的服务器执行npu-smi info -t board -i_id_命令进行查询获取Chip Name和NPU Name信息实际配置值为Chip Name_NPU Name。例如Chip Name取值为AscendxxxNPU Name取值为1234实际配置值为Ascendxxx_1234。其中id为设备id通过npu-smi info -l命令查出的NPU ID即为设备id。IPV350参数值Ascend035配置示例{ge::ir_option::SOC_VERSION, soc_version}产品支持情况全量芯片支持。VIRTUAL_TYPE是否支持离线模型在昇腾虚拟化实例特性生成的虚拟设备上运行。此参数实际对应的options参数为ge.virtual_type。当前芯片算力比较大云端用户或者小企业完全不需要使用这么大算力昇腾虚拟化实例特性支持对芯片的算力进行切分可满足用户根据自己的业务按需申请算力的诉求。虚拟设备是指按照指定算力在芯片上申请的虚拟加速资源。参数取值0默认值离线模型不在昇腾虚拟化实例特性生成的虚拟设备上运行。1离线模型在不同算力的虚拟设备上运行。配置示例{ge::ir_option::VIRTUAL_TYPE, 1}使用约束参数取值为1时进行模型转换则转换后离线模型参与计算的逻辑AI Core核数可能比实际aicore_num核数大为aicore_num支持配置范围的最小公倍数例如aicore_num支持配置范围为{1,2,4,8}参数取值为1转换后的离线模型NPU运行核数可能为8。参数取值为1时转换后的模型如果包括如下算子会默认使用单核该场景下将会导致转换后的模型推理性能下降。DynamicRNNPadV2DSquareSumV2DynamicRNNV2DynamicRNNV3DynamicGRUV产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN/ge基础功能配置参数
基础功能【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/geCLUSTER_CONFIG设置集群配置文件路径用于配置目标执行逻辑设备信息以生成HCCL任务多卡分布式训练场景下使用。此参数实际对应的options参数为ge.cluster_config。若模型中包含通信算子当前仅支持AllGather通信算子该参数必填。配置示例{ge::ir_option::CLUSTER_CONFIG, /home/test/cluster_config.json}cluster_config.json配置示例如下{ RankTable: { status: completed, version: 1.2, server_count: 2, server_list: [ { server_id: node_0, device: [ { device_id: 0, rank_id: 0 } ] }, { server_id: node_1, device: [ { device_id: 0, rank_id: 1 } ] } ] }, HcclCommConfig: { hcclCommName: global name } }参数说明解释如下RankTable配置的核心定义了参与计算的节点和rank信息。status必选rank table可用标识。completed表示rank table可用。initializing表示rank table不可用。version必选rank table模板版本信息请配置为1.2。server_count可选参与集合通信的AI Server个数。server_list必选参与集合通信的AI Server列表。server_id必选AI Server标识字符串类型长度小于等于64请确保全局唯一。配置示例node_0。device必选Device列表。device_id必选AI处理器的物理ID即Device在AI Server上的序列号。rank_id必选rank唯一标识请配置为整数从0开始配置且全局唯一取值范围[0, 总Device数量-1]。HcclCommConfigHCCL通信层的全局配置信息。hcclCommName必选全局通信组的名称或标识符。产品支持情况Ascend 950PR/Ascend 950DT不支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品不支持Atlas 训练系列产品不支持IPV350不支持DETERMINISTIC是否开启确定性计算。此参数实际对应的options参数为ge.deterministic。默认情况下不开启确定性计算算子在相同的硬件和输入下多次执行的结果可能不同。这个差异的来源一般是因为在算子实现中存在异步的多线程执行会导致浮点数累加的顺序变化。当开启确定性计算功能时算子在相同的硬件和输入下多次执行将产生相同的输出。通常建议不开启确定性计算因为确定性计算往往会导致算子执行变慢进而影响性能。当发现模型多次执行结果不同或者是进行精度调优时可开启确定性计算辅助模型调试、调优。参数取值0默认值不开启确定性计算。1开启确定性计算。配置示例{ge::ir_option::DETERMINISTIC, 1}产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持ENABLE_SINGLE_STREAM静态shape场景下是否启用模型推理顺序单流串行执行。此参数实际对应的options参数为ge.enableSingleStream。其中流Stream用于维护一些异步操作的执行顺序确保按照应用程序中的代码调用顺序在Device上执行。参数取值true表示启用模型推理顺序单流串行执行。false默认值表示关闭模型推理时多流并行执行。参数值约束模型中存在Cmo算子和如下控制类算子时不能使用单Stream特性只能使用默认值false。MergeSwitchEnterRefEnter配置示例{ge::ir_option::ENABLE_SINGLE_STREAM, true}产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持HCCL_SUB_COMM_CONFIG设置HCCL子通信域配置文件路径用于配置HCCL子通信参数。多卡分布式训练场景下使用。此参数实际对应的options参数为ge.hccl_sub_comm_config。若模型中包含通信算子当前仅支持AllGather通信算子该参数必填。若模型算子包含子通信域参数但在模型编译时未指定HCCL_SUB_COMM_CONFIG参数系统将默认依据集群的实际业务配置执行。配置示例{ge::ir_option::CLUSTER_CONFIG, /home/test/cluster_config.json} {ge::ir_option::HCCL_SUB_COMM_CONFIG, /home/test/sub_comm_config.json}sub_comm_config.json文件示例如下{ GroupList: [ { RankIds: [0,1], HcclCommconfig: { hcclCommName: test_group } } ] }其中RankIdsrank唯一标识请配置为整数从0开始配置且全局唯一取值范围[0, 总Device数量-1]。建议rank_id按照Device物理连接顺序进行排序即将物理连接上较近的Device编排在一起否则可能会对性能造成影响。例如若device_ip按照物理连接从小到大设置则rank_id也建议按照从小到大的顺序设置。hcclCommName通信组命名供程序调用和区分。产品支持情况Ascend 950PR/Ascend 950DT不支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品不支持Atlas 训练系列产品不支持IPV350不支持OPTION_HOST_ENV_OS此参数实际对应的options参数为ge.host_env_os。若模型编译环境的操作系统及其架构与模型运行环境不一致时则需使用本参数设置模型运行环境的操作系统类型。如果不设置则默认取模型编译环境的操作系统类型。模型编译环境的操作系统及其架构与模型运行环境不一致时需要与OPTION_HOST_ENV_CPU参数配合使用通过OPTION_HOST_ENV_OS参数设置操作系统类型、通过OPTION_HOST_ENV_CPU参数设置操作系统架构。参数取值查看${INSTALL_DIR}/opp/built-in/op_graph/lib/下打包的算子so的OS类型。参数默认值查看${INSTALL_DIR}/opp/scene.info文件中的取值。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。配置示例{ge::OPTION_HOST_ENV_OS, linux}, {ge::OPTION_HOST_ENV_CPU, x86_64}产品支持情况全量芯片支持。OPTION_HOST_ENV_CPU此参数实际对应的options参数为ge.host_env_cpu。若模型编译环境的操作系统及其架构与模型运行环境不一致时则需使用本参数设置模型运行环境的操作系统架构。如果不设置则默认取模型编译环境的操作系统架构。如果模型编译环境的操作系统及其架构与模型运行环境不一致需要与OPTION_HOST_ENV_OS参数配合使用通过OPTION_HOST_ENV_OS参数设置操作系统类型、通过OPTION_HOST_ENV_CPU参数设置操作系统架构。参数取值查看${INSTALL_DIR}/opp/built-in/op_graph/lib/下打包的算子so的OS/CPU类型。参数默认值查看${INSTALL_DIR}/opp/scene.info文件中的取值。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。配置示例{ge::OPTION_HOST_ENV_OS, linux}, {ge::OPTION_HOST_ENV_CPU, x86_64}若转换后的离线模型包含操作系统类型、架构例如xxx_linux_x86_64.om则说明该模型运行的环境只能是x86_64架构的linux操作系统。若转换后的离线模型不包含操作系统类型、架构例如xxx.om则说明CANN软件包所支持的操作系统都支持该模型运行。产品支持情况全量芯片支持。SOC_VERSION图编译时使用的AI处理器型号。此参数实际对应的options参数为ge.socVersion。若当前环境存在AI处理器该参数可选。若当前环境不存在AI处理器即开发环境该参数必填。参数取值soc_version查询方法为针对如下产品在安装AI处理器的服务器执行npu-smi info命令进行查询获取Name信息。实际配置值为AscendName例如Name取值为xxxyy实际配置值为Ascendxxxyy。Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas 200I/500 A2 推理产品Atlas 推理系列产品Atlas 训练系列产品针对Atlas A3 训练系列产品/Atlas A3 推理系列产品在安装AI处理器的服务器执行npu-smi info -t board -iid-c_chip_id_命令进行查询获取Chip Name和NPU Name信息实际配置值为Chip Name_NPU Name。例如Chip Name取值为AscendxxxNPU Name取值为1234实际配置值为Ascendxxx_1234。其中id设备id通过npu-smi info -l命令查出的NPU ID即为设备id。chip_id芯片id通过npu-smi info -m命令查出的Chip ID即为芯片id。针对Ascend 950PR/Ascend 950DT在安装AI处理器的服务器执行npu-smi info -t board -i_id_命令进行查询获取Chip Name和NPU Name信息实际配置值为Chip Name_NPU Name。例如Chip Name取值为AscendxxxNPU Name取值为1234实际配置值为Ascendxxx_1234。其中id为设备id通过npu-smi info -l命令查出的NPU ID即为设备id。IPV350参数值Ascend035配置示例{ge::ir_option::SOC_VERSION, soc_version}产品支持情况全量芯片支持。VIRTUAL_TYPE是否支持离线模型在昇腾虚拟化实例特性生成的虚拟设备上运行。此参数实际对应的options参数为ge.virtual_type。当前芯片算力比较大云端用户或者小企业完全不需要使用这么大算力昇腾虚拟化实例特性支持对芯片的算力进行切分可满足用户根据自己的业务按需申请算力的诉求。虚拟设备是指按照指定算力在芯片上申请的虚拟加速资源。参数取值0默认值离线模型不在昇腾虚拟化实例特性生成的虚拟设备上运行。1离线模型在不同算力的虚拟设备上运行。配置示例{ge::ir_option::VIRTUAL_TYPE, 1}使用约束参数取值为1时进行模型转换则转换后离线模型参与计算的逻辑AI Core核数可能比实际aicore_num核数大为aicore_num支持配置范围的最小公倍数例如aicore_num支持配置范围为{1,2,4,8}参数取值为1转换后的离线模型NPU运行核数可能为8。参数取值为1时转换后的模型如果包括如下算子会默认使用单核该场景下将会导致转换后的模型推理性能下降。DynamicRNNPadV2DSquareSumV2DynamicRNNV2DynamicRNNV3DynamicGRUV产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考