ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

CANN/ge算子描述获取接口

CANN/ge算子描述获取接口 aclmdlCreateAndGetOpDesc【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明获取指定算子的描述信息包括算子名、输入tensor描述、输出tensor描述如果查询不到指定算子则返回报错。该接口不支持动态Shape场景。使用场景举例执行整网模型推理时如果产生AI Core报错可以调用本接口获取报错算子的描述信息再做进一步错误排查。推荐的接口调用顺序如下定义并实现异常回调函数fn(aclrtExceptionInfoCallback类型)回调函数原型请参见aclrtSetExceptionInfoCallback 。实现回调函数的关键步骤如下在异常回调函数fn内调用aclrtGetDeviceIdFromExceptionInfo、aclrtGetStreamIdFromExceptionInfo、aclrtGetTaskIdFromExceptionInfo接口分别获取Device ID、Stream ID、Task ID。在异常回调函数fn内调用aclmdlCreateAndGetOpDesc接口获取算子的描述信息。在异常回调函数fn内调用aclGetTensorDescByIndex接口获取指定算子输入/输出的tensor描述。在异常回调函数fn内调用如下接口获取tensor描述中的数据进行进一步分析。例如调用aclGetTensorDescAddress接口获取tensor数据的内存地址用户可从该内存地址中获取tensor数据、调用aclGetTensorDescType接口获取tensor描述中的数据类型、调用aclGetTensorDescFormat接口获取tensor描述中的Format、调用aclGetTensorDescNumDims接口获取tensor描述中的Shape维度个数、调用aclGetTensorDescDimV2接口获取Shape中指定维度的大小。调用aclrtSetExceptionInfoCallback接口设置异常回调函数。执行模型推理。如果存在AI Core报错则触发回调函数fn获取算子的信息进行进一步分析。函数原型aclError aclmdlCreateAndGetOpDesc(uint32_t deviceId, uint32_t streamId, uint32_t taskId, char *opName, size_t opNameLen, aclTensorDesc **inputDesc, size_t *numInputs, aclTensorDesc **outputDesc, size_t *numOutputs)参数说明参数名输入/输出说明deviceId输入Device ID。调用aclrtGetDeviceIdFromExceptionInfo接口获取异常信息中的Device ID作为本接口的输入。streamId输入Stream ID。调用aclrtGetStreamIdFromExceptionInfo接口获取异常信息中的Stream ID作为本接口的输入。taskId输入Task ID。调用aclrtGetTaskIdFromExceptionInfo接口获取异常信息中的Task ID作为本接口的输入。opName输出算子名称字符串的指针。opNameLen输入算子名称字符串长度。若用户指定的长度比实际算子名称的长度短则返回报错。inputDesc输出算子所有输入的tensor描述的指针指向一块连续内存的首地址。numInputs输出输入个数的指针。outputDesc输出算子所有输出的tensor描述的指针指向一块连续内存的首地址。numOutputs输出输出个数的指针。返回值说明返回0表示成功返回其他值表示失败请参见aclError。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表