尧图网站建设 
MNNConvert 完整指南四步完成 ONNX 转 MNN 模型转换与校验【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNNMNN 是主打轻量高速的推理引擎它的模型导出工具 MNNConvert 负责把 ONNX、TorchScript 等格式的训练产物做 MNN 模型转换输出可直接部署到手机、嵌入式设备的 .mnn 推理文件。先动手ONNX 转 MNN 的完整流程不急着讲原理先把一条转换链路完整跑通。假设你手上已有一个mobilenetv2.onnx环境里能调用MNNConvert获取方式见下一节。第一步执行转换命令./MNNConvert -f ONNX \ --modelFile mobilenetv2.onnx \ --MNNModel mobilenetv2.mnn \ --bizCode myapp-f ONNX声明源框架--MNNModel指定输出文件--bizCode是写进模型头的业务标识随便起一个可识别的名字即可。第二步校验推理结果转换成功不等于结果正确。MNN 在tools/script目录提供了校验脚本会分别用 ONNXRuntime 和 MNN 跑同一份输入并逐值对比cd build python3 ../tools/script/testMNNFromOnnx.py mobilenetv2.onnx # 末尾打印 TEST_SUCCESS 即表示转换与推理均正确 python3 ../tools/script/testMNNFromOnnx.py mobilenetv2.onnx DEBUG看到TEST_SUCCESS就可以放心把.mnn文件交给下游。若出现TESTERROR第二个命令会在日志里直接报出首个出错的算子名排错方式后面细讲。MNNConvert 在模型导出中的角色一句话定位MNNConvert 是 MNN 工具链里的格式转换器输入是各家框架的模型文件输出是 MNN 原生.mnn文件中间顺带做图优化和权重量化。多框架入口TF、TFLite、ONNX、Caffe、TorchScript 都能转内置图优化转换时即可调整优化级别平衡体积与速度权重压缩支持 2~8bit 权重量化与 FP16 存储结构可读可以把.mnn双向转成 JSON方便人工检查与修改产出通用一个.mnn文件可在 Android、iOS、Linux 等多端推理它属于离线转换环节转换完成后的推理、部署与它无关所以工具本身不需要跟目标设备跑在同一台机器上。MNNConvert 安装教程两种方式任选方式一源码编译需要 CMake 3.10 以上编译器 GCC 4.9 或 Clang 3.9。转换工具默认不参与编译要显式打开MNN_BUILD_CONVERTER含义见 docs/compile/cmake.mdgit clone https://gitcode.com/GitHub_Trending/mn/MNN cd MNN mkdir build cd build cmake -DMNN_BUILD_CONVERTERON .. make -j4完成后build目录里就有MNNConvert可执行文件。注意若模型含自定义 TorchScript 算子还需追加-DMNN_BUILD_TORCHON。方式二pip 安装普通用户推荐这条路装完直接拿到命令行工具mnnconvert参数与源码版完全一致pip install MNN mnnconvert -f ONNX --modelFile model.onnx --MNNModel model.mnn两者的区别只在于编译版可控制优化开关和额外依赖pip 版开箱即用、升级方便。校验脚本在本地找不到MNNConvert时会自动回退用 pymnn 做校验所以 pip 用户同样能完成完整验证。MNNConvert 常用参数速查表框架类型映射源框架-f取值模型文件格式TensorFlowTF.pb必须是 frozen modelTensorFlow LiteTFLITE.tfliteONNXONNX.onnxCaffeCAFFE.caffemodel.prototxtPyTorchTORCH.ptTorchScripttorch.jit导出MNNMNN.mnnJSONJSON.json核心参数说明参数作用--modelFile输入模型文件路径--MNNModel输出的.mnn文件路径--bizCode写入模型头的业务标识--prototxtCaffe 模型的结构描述文件--optimizeLevel图优化级别0 不优化 / 1 任意输入正确默认/ 2 仅常见输入正确--optimizePrefer优化取向0 默认 / 1 偏小 / 2 偏快--weightQuantBits卷积、矩阵乘、LSTM 权重量化位宽2~8默认 0 不量化--fp16上述算子权重改存 FP16体积减半速度不变--debug输出更多转换日志排查转换失败用--info配-f MNN打印输入名、形状、模型版本等基本信息--JsonFile配-f MNN把模型 dump 成 JSON--saveStaticModel/--inputConfigFile固定输入形状解决动态 shape 问题完整参数含义可参考官方文档docs/tools/convert.md。MNN 模型量化三种手段压体积体积是端侧部署的第一道坎。三个参数按代价从小到大排列可单独用也可叠加手段典型命令片段体积效果精度与速度FP16 存储--fp16权重类算子减半精度基本无损速度与 FP32 相同8bit 权重量化--weightQuantBits 8约缩小 4 倍内部测试精度基本无损4bit 权重量化--weightQuantBits 4约缩小 8 倍精度略有损失需自行校验以 ONNX 转 MNN 时做 8bit 量化为例MNNConvert -f ONNX --modelFile model.onnx --MNNModel model.mnn --weightQuantBits 8 MNNConvert -f ONNX --modelFile model.onnx --MNNModel model.mnn --fp16量化只改存储格式加载时解码回 float32 执行因此推理速度与不量化版本一致。若转换后发现结果偏差优先怀疑位宽选得太低退回到 8bit 或用校验脚本复测。转换结果如何校验以及定位问题层四类模型各有一个对应脚本放在 tools/script/ 目录testMNNFromTf.py— 对应.pbtestMNNFromTflite.py— 对应.tflitetestMNNFromOnnx.py— 对应.onnxtestMNNFromTorch.py— 对应 TorchScript.pt前置依赖测试 pb / tflite 需pip install tensorflow测试 onnx 需pip install onnxruntime测试 torchscript 需pip install torch。结果分三种读法打印TEST_SUCCESS转换与推理一致通过打印TESTERROR且给出DiffMax能转出来但某层输出有偏差追加DEBUG参数脚本会基于支配树做二分查找直接输出首个错误算子例如### First Error Node is : Add_15免去逐层人工试两个常见坑动态输入形状时脚本默认生成的输入可能不合法需手工改脚本里的输入部分模型末层若是 Identity会因图优化被合并掉此时改校验 Identity 前一层即可。MNN 与 JSON 双向互转调试模型结构.mnn是二进制肉眼不可读。把它 dump 成 JSON 后每个算子的类型、输入输出索引、卷积参数、权重数组全部摊开改完还能转回去相当于给模型加了个可视化编辑器。MNN 转 JSONMNNConvert -f MNN --modelFile model.mnn --JsonFile model.jsonJSON 转回 MNNMNNConvert -f JSON --modelFile model.json --MNNModel model_new.mnn典型使用场景怀疑某个算子的 stride、padding 转错了打开 JSON 对照原模型参数想微调个别算子行为直接在 JSON 里改再转回配合--info参数快速确认输入输出名不用解析整个文件MNNConvert 排错手册高频问题对照现象排查方向TF 模型转换直接失败确认用的是 frozen PB 而非 SavedModelPyTorch 模型转换报错先用torch.jit.trace或torch.jit.script导出 TorchScript别直接喂.pt权重文件转换成功但精度有偏差换--optimizeLevel 1再用校验脚本DEBUG模式定位具体层转换后文件太大加--weightQuantBits 8或--fp16动态输入形状报错--saveStaticModel配--inputConfigFile指定固定 shape校验脚本报缺依赖按模型类型安装对应 runtime如onnxruntime四步排查流程确认源模型文件完整、格式与-f声明一致重跑一次看原始报错加--debug拿到详细转换日志区分是转换阶段失败还是推理结果错误运行对应校验脚本并追加DEBUG锁定首个错误算子若错误集中在个别层降低--optimizeLevel或调整量化位宽后复测写在最后MNNConvert 把多框架模型 → 一个 .mnn 文件这条链路压成了几条命令配合校验脚本转换是否可信当场就能验证。掌握本文的命令组合日常 ONNX 转 MNN 与量化压缩基本不用再查资料。【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MNNConvert 完整指南：四步完成 ONNX 转 MNN 模型转换与校验
MNNConvert 完整指南四步完成 ONNX 转 MNN 模型转换与校验【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNNMNN 是主打轻量高速的推理引擎它的模型导出工具 MNNConvert 负责把 ONNX、TorchScript 等格式的训练产物做 MNN 模型转换输出可直接部署到手机、嵌入式设备的 .mnn 推理文件。先动手ONNX 转 MNN 的完整流程不急着讲原理先把一条转换链路完整跑通。假设你手上已有一个mobilenetv2.onnx环境里能调用MNNConvert获取方式见下一节。第一步执行转换命令./MNNConvert -f ONNX \ --modelFile mobilenetv2.onnx \ --MNNModel mobilenetv2.mnn \ --bizCode myapp-f ONNX声明源框架--MNNModel指定输出文件--bizCode是写进模型头的业务标识随便起一个可识别的名字即可。第二步校验推理结果转换成功不等于结果正确。MNN 在tools/script目录提供了校验脚本会分别用 ONNXRuntime 和 MNN 跑同一份输入并逐值对比cd build python3 ../tools/script/testMNNFromOnnx.py mobilenetv2.onnx # 末尾打印 TEST_SUCCESS 即表示转换与推理均正确 python3 ../tools/script/testMNNFromOnnx.py mobilenetv2.onnx DEBUG看到TEST_SUCCESS就可以放心把.mnn文件交给下游。若出现TESTERROR第二个命令会在日志里直接报出首个出错的算子名排错方式后面细讲。MNNConvert 在模型导出中的角色一句话定位MNNConvert 是 MNN 工具链里的格式转换器输入是各家框架的模型文件输出是 MNN 原生.mnn文件中间顺带做图优化和权重量化。多框架入口TF、TFLite、ONNX、Caffe、TorchScript 都能转内置图优化转换时即可调整优化级别平衡体积与速度权重压缩支持 2~8bit 权重量化与 FP16 存储结构可读可以把.mnn双向转成 JSON方便人工检查与修改产出通用一个.mnn文件可在 Android、iOS、Linux 等多端推理它属于离线转换环节转换完成后的推理、部署与它无关所以工具本身不需要跟目标设备跑在同一台机器上。MNNConvert 安装教程两种方式任选方式一源码编译需要 CMake 3.10 以上编译器 GCC 4.9 或 Clang 3.9。转换工具默认不参与编译要显式打开MNN_BUILD_CONVERTER含义见 docs/compile/cmake.mdgit clone https://gitcode.com/GitHub_Trending/mn/MNN cd MNN mkdir build cd build cmake -DMNN_BUILD_CONVERTERON .. make -j4完成后build目录里就有MNNConvert可执行文件。注意若模型含自定义 TorchScript 算子还需追加-DMNN_BUILD_TORCHON。方式二pip 安装普通用户推荐这条路装完直接拿到命令行工具mnnconvert参数与源码版完全一致pip install MNN mnnconvert -f ONNX --modelFile model.onnx --MNNModel model.mnn两者的区别只在于编译版可控制优化开关和额外依赖pip 版开箱即用、升级方便。校验脚本在本地找不到MNNConvert时会自动回退用 pymnn 做校验所以 pip 用户同样能完成完整验证。MNNConvert 常用参数速查表框架类型映射源框架-f取值模型文件格式TensorFlowTF.pb必须是 frozen modelTensorFlow LiteTFLITE.tfliteONNXONNX.onnxCaffeCAFFE.caffemodel.prototxtPyTorchTORCH.ptTorchScripttorch.jit导出MNNMNN.mnnJSONJSON.json核心参数说明参数作用--modelFile输入模型文件路径--MNNModel输出的.mnn文件路径--bizCode写入模型头的业务标识--prototxtCaffe 模型的结构描述文件--optimizeLevel图优化级别0 不优化 / 1 任意输入正确默认/ 2 仅常见输入正确--optimizePrefer优化取向0 默认 / 1 偏小 / 2 偏快--weightQuantBits卷积、矩阵乘、LSTM 权重量化位宽2~8默认 0 不量化--fp16上述算子权重改存 FP16体积减半速度不变--debug输出更多转换日志排查转换失败用--info配-f MNN打印输入名、形状、模型版本等基本信息--JsonFile配-f MNN把模型 dump 成 JSON--saveStaticModel/--inputConfigFile固定输入形状解决动态 shape 问题完整参数含义可参考官方文档docs/tools/convert.md。MNN 模型量化三种手段压体积体积是端侧部署的第一道坎。三个参数按代价从小到大排列可单独用也可叠加手段典型命令片段体积效果精度与速度FP16 存储--fp16权重类算子减半精度基本无损速度与 FP32 相同8bit 权重量化--weightQuantBits 8约缩小 4 倍内部测试精度基本无损4bit 权重量化--weightQuantBits 4约缩小 8 倍精度略有损失需自行校验以 ONNX 转 MNN 时做 8bit 量化为例MNNConvert -f ONNX --modelFile model.onnx --MNNModel model.mnn --weightQuantBits 8 MNNConvert -f ONNX --modelFile model.onnx --MNNModel model.mnn --fp16量化只改存储格式加载时解码回 float32 执行因此推理速度与不量化版本一致。若转换后发现结果偏差优先怀疑位宽选得太低退回到 8bit 或用校验脚本复测。转换结果如何校验以及定位问题层四类模型各有一个对应脚本放在 tools/script/ 目录testMNNFromTf.py— 对应.pbtestMNNFromTflite.py— 对应.tflitetestMNNFromOnnx.py— 对应.onnxtestMNNFromTorch.py— 对应 TorchScript.pt前置依赖测试 pb / tflite 需pip install tensorflow测试 onnx 需pip install onnxruntime测试 torchscript 需pip install torch。结果分三种读法打印TEST_SUCCESS转换与推理一致通过打印TESTERROR且给出DiffMax能转出来但某层输出有偏差追加DEBUG参数脚本会基于支配树做二分查找直接输出首个错误算子例如### First Error Node is : Add_15免去逐层人工试两个常见坑动态输入形状时脚本默认生成的输入可能不合法需手工改脚本里的输入部分模型末层若是 Identity会因图优化被合并掉此时改校验 Identity 前一层即可。MNN 与 JSON 双向互转调试模型结构.mnn是二进制肉眼不可读。把它 dump 成 JSON 后每个算子的类型、输入输出索引、卷积参数、权重数组全部摊开改完还能转回去相当于给模型加了个可视化编辑器。MNN 转 JSONMNNConvert -f MNN --modelFile model.mnn --JsonFile model.jsonJSON 转回 MNNMNNConvert -f JSON --modelFile model.json --MNNModel model_new.mnn典型使用场景怀疑某个算子的 stride、padding 转错了打开 JSON 对照原模型参数想微调个别算子行为直接在 JSON 里改再转回配合--info参数快速确认输入输出名不用解析整个文件MNNConvert 排错手册高频问题对照现象排查方向TF 模型转换直接失败确认用的是 frozen PB 而非 SavedModelPyTorch 模型转换报错先用torch.jit.trace或torch.jit.script导出 TorchScript别直接喂.pt权重文件转换成功但精度有偏差换--optimizeLevel 1再用校验脚本DEBUG模式定位具体层转换后文件太大加--weightQuantBits 8或--fp16动态输入形状报错--saveStaticModel配--inputConfigFile指定固定 shape校验脚本报缺依赖按模型类型安装对应 runtime如onnxruntime四步排查流程确认源模型文件完整、格式与-f声明一致重跑一次看原始报错加--debug拿到详细转换日志区分是转换阶段失败还是推理结果错误运行对应校验脚本并追加DEBUG锁定首个错误算子若错误集中在个别层降低--optimizeLevel或调整量化位宽后复测写在最后MNNConvert 把多框架模型 → 一个 .mnn 文件这条链路压成了几条命令配合校验脚本转换是否可信当场就能验证。掌握本文的命令组合日常 ONNX 转 MNN 与量化压缩基本不用再查资料。【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考