尧图网站建设 
人工智能深度学习计算机视觉【免费下载链接】tensorrtxImplementation of popular deep learning networks with TensorRT network definition API项目地址https://gitcode.com/gh_mirrors/te/tensorrtx点击查看免费下载本篇指南围绕 tensorrtx 仓库中的 mobilenet/mobilenetv2 示例完整讲解如何基于 TensorRT 网络定义 APINetwork Definition API手写搭建 MobileNetV2 图像分类模型并将其序列化为 engine 文件完成推理。文章将结合 README.md 与 mobilenet_v2.cpp、mobilenet_v2.py 两份源码深入剖析 ReLU6 的等价拆解、BatchNorm 的 Scale 层折叠、倒残差块Inverted Residual与线性瓶颈Linear Bottleneck的逐层构建最终给出可直接复制的完整部署步骤。MobileNetV2 架构与 tensorrtx 中的定位MobileNetV2 出自论文MobileNetV2: Inverted Residuals and Linear Bottlenecks其核心贡献是倒残差结构Inverted Residual Block先用 1×1 卷积对输入做通道扩张expansion再执行 3×3 深度可分离卷积depthwise convolution最后用 1×1 卷积将通道数压缩回较小的输出维度形成窄 → 宽 → 窄的瓶颈结构。同时在每个 block 的最后一个 1×1 投影层之后去掉非线性激活线性瓶颈并在满足步长为 1 且输入输出通道数相等时加入残差连接。在 tensorrtx 仓库中mobilenet/mobilenetv2目录通过纯 TensorRT 网络定义 API不依赖任何 parser逐层构建出该网络目录包含README.md部署步骤与核心技巧说明mobilenet_v2.cppC 版本编译产物为mobilenetmobilenet_v2.pyTensorRT Python API 版本产物为mobilenetv2.engineCMakeLists.txtC 构建配置logging.h 与 macros.hTensorRT 日志与跨版本宏macros.h依据NV_TENSORRT_MAJOR是否大于等于 8 定义TRT_NOEXCEPT等兼容宏。两大核心技巧用 TensorRT 基础层等价实现 ReLU6 与 BatchNormREADME 开门见山地列出了本示例使用的两个关键技巧理解它们是读懂源码的前提。技巧一ReLU6(x) ReLU(x) − ReLU(x−6)MobileNetV2 的激活函数是 ReLU6输出截断到 [0, 6]但 TensorRT 原生激活层并不直接提供 ReLU6。源码给出的等价拆解是ReLU6(x) ReLU(x) - ReLU(x - 6)具体到 mobilenet_v2.cpp 的convBnRelu函数中实现分四步对 BN 输出做一次ActivationType::kRELU得到relu1 ReLU(x)用一个ScaleMode::kUNIFORM的 Scale 层shift -6scale 1power 1对同一输入做平移等价于计算x - 6对平移结果再做一次 ReLU得到relu2 ReLU(x - 6)用ElementWiseOperation::kSUB做逐元素减法relu1 - relu2即ReLU6(x)。float* shval reinterpret_castfloat*(malloc(sizeof(float) * 1)); shval[0] -6.0; // scale 1.0, power 1.0 IScaleLayer* scale1 network-addScale(*bn1-getOutput(0), ScaleMode::kUNIFORM, shift, scale, power); IActivationLayer* relu2 network-addActivation(*scale1-getOutput(0), ActivationType::kRELU); IElementWiseLayer* ew1 network-addElementWise(*relu1-getOutput(0), *relu2-getOutput(0), ElementWiseOperation::kSUB);Python 版 mobilenet_v2.py 使用完全相同的思路shift np.array(-6.0)、scale np.array(1.0)、power np.array(1.0)add_scale(..., modetrt.ScaleMode.UNIFORM, ...)后接 ReLU再做trt.ElementWiseOperation.SUB。值得注意的是只有扩张层1×1 或 3×3 卷积后才使用 ReLU6瓶颈块最后的 1×1 投影层之后不接激活这正是论文中的线性瓶颈设计源码中通过addBatchNorm2d直接输出而没有再接convBnRelu。技巧二BatchNorm 折叠为 Scale 层TensorRT 网络定义 API 中没有直接的 BatchNorm 层但推理阶段 BN 可以折叠进卷积之后的逐通道缩放/平移中。addBatchNorm2d函数mobilenet_v2.cpp利用 BN 参数计算两个逐通道向量scale[i] gamma[i] / sqrt(var[i] eps) shift[i] beta[i] - mean[i] * gamma[i] / sqrt(var[i] eps)其中gammaweight、betabias、running_mean、running_var均来自 .wts 权重文件eps取1e-5。随后构造ScaleMode::kCHANNEL的 Scale 层power 恒为 1.0float* scval reinterpret_castfloat*(malloc(sizeof(float) * len)); for (int i 0; i len; i) { scval[i] gamma[i] / sqrt(var[i] eps); // scale } float* shval reinterpret_castfloat*(malloc(sizeof(float) * len)); for (int i 0; i len; i) { shval[i] beta[i] - mean[i] * gamma[i] / sqrt(var[i] eps); // shift } IScaleLayer* scale_1 network-addScale(input, ScaleMode::kCHANNEL, shift, scale, power);由于y scale * x shift上述两个向量恰好等价于对 BN 输出做gamma * (x - mean) / sqrt(var eps) beta的仿射变换。Python 版 add_batch_norm_2d 用 NumPy 直接计算scale gamma / np.sqrt(var eps)、shift -mean / var * gamma beta注意 Python 侧对var先取平方根效果一致。这一折叠技巧避免了逐层展开 BN 计算大幅减少算子数量。网络结构源码映射从 features.0 到 classifiercreateEnginemobilenet_v2.cpp与 Python 版create_enginemobilenet_v2.py逐块复刻了 PyTorch MobileNetV2 的features序列与classifier。输入张量形状为{1, 3, 224, 224}INPUT_H INPUT_W 224输入 blob 名为data输出 blob 名为prob输出维度为 1000 类OUTPUT_SIZE 1000。前段卷积与 17 个倒残差块convBnRelu(network, ..., 32, 3, 2, 1, features.0.)构建首个 3×3、步长 2 的常规卷积含 BN 与 ReLU6输出 32 通道。随后invertedRes依次串联mobilenet_v2.cppblocklname输入通道 → 输出通道步长 s扩张系数 exp备注features.132 → 1611线性瓶颈无 ReLU6features.216 → 2426features.324 → 2416features.424 → 3226features.5 ~ 632 → 3216重复 2 次features.732 → 6426features.8 ~ 1064 → 6416重复 3 次features.1164 → 9616features.12 ~ 1396 → 9616重复 2 次features.1496 → 16026features.15 ~ 16160 → 16016重复 2 次features.17160 → 32016invertedRes的逻辑mobilenet_v2.cppint hidden inch * exp; bool use_res_connect (s 1 inch outch);exp ! 1标准倒残差convBnRelu(1×1 扩张输出hidden通道) →convBnRelu(3×3 深度可分离groups hidden) → 1×1 投影卷积 → BN不加激活即线性瓶颈exp 1如 features.1跳过扩张卷积直接 3×3 深度可分离 → 1×1 投影 → BN仅当s 1 inch outch时用ElementWiseOperation::kSUM将输入与瓶颈输出相加构成残差连接。最后一个 1×1 卷积features.18将特征扩到 1280 通道随后进入分类头。分类头全局平均池化 矩阵乘分类头同样以 API 手写完成mobilenet_v2.cppaddPoolingNd(..., PoolingType::kAVERAGE, DimsHW{7, 7})做 7×7 全局平均池化addShuffle将池化输出 reshape 为{1, 1280}将全连接权重classifier.1.weight1000×1280注册为IConstantLayer通过addMatrixMultiply对权重做MatrixOperation::kTRANSPOSE完成 1280 → 1000 的线性映射将偏置classifier.1.bias注册为常量层用ElementWiseOperation::kSUM相加输出张量命名为prob并markOutput。环境准备与 .wts 权重文件格式权重文件格式tensorrtx 系列示例采用自定义的.wtsweights文本格式其规范在loadWeights函数mobilenet_v2.cpp中有完整体现第一行为权重块总数count之后每行格式为[name] [size] data x size in hex即权重名、元素个数、以及按十六进制表示、空格分隔的 float32 原始字节数据big-endian。Python 侧 load_weights 通过struct.unpack(f, bytes.fromhex(...))解析同样的格式并断言cur_count 2 len(splits)校验行内数据完整性。权重名与 PyTorch 的 state_dict 命名一一对应例如features.0.0.weight、features.0.1.weightBN 的 gamma、features.0.1.bias、features.0.1.running_mean、features.0.1.running_var以及分类头的classifier.1.weight/classifier.1.bias这与源码中weightMap[lname .weight]等拼接逻辑吻合。权重生成与放置位置按照 README 的步骤.wts由外部 PyTorch 实现导出README 指向pytorchx/mobilenet本仓库内并未包含权重生成脚本。导出后C 版在createEngine中以loadWeights(../mobilenetv2.wts)加载由于程序默认从build/目录运行../恰好指向mobilenet/mobilenetv2/目录因此权重文件应命名为mobilenetv2.wts并放置于 mobilenet/mobilenetv2 目录下README 中同时出现mobilenet.wts与mobilenetv2.wts两种写法实际源码以mobilenetv2.wts为准Python 版从WEIGHT_PATH ./mobilenetv2.wts加载同样放在mobilenet/mobilenetv2目录下。C 部署CMake 构建、序列化与推理CMakeLists.txt 解析CMakeLists.txt 的内容要点使用 C11默认CMAKE_BUILD_TYPE为Debug显式指定 CUDA 头文件目录/usr/local/cuda/include与链接目录/usr/local/cuda/lib64TensorRT 头文件目录/usr/include/x86_64-linux-gnu/与链接目录/usr/lib/x86_64-linux-gnu/注释明确说明如果你的 CUDA/TensorRT 安装位置不同需要自行调整这两处路径生成可执行文件mobilenet链接nvinfer与cudart两个库并附加-O2 -pthread。编译与运行README 给出的完整构建命令如下cd tensorrtx/mobilenet/mobilenetv2 mkdir build cd build cmake .. make sudo ./mobilenet -s // serialize model to plan file i.e. mobilenet.engine sudo ./mobilenet -d // deserialize plan file and run inference程序入口mainmobilenet_v2.cpp只接受两个参数参数行为-s调用APIToModel以 FP32DataType::kFLOAT、maxBatchSize 1构建引擎并序列化为mobilenet.engine-d从mobilenet.engine反序列化引擎创建IExecutionContext执行推理-s阶段的构建流程为createInferBuilder创建 builder →createBuilderConfig创建配置 →createEngine逐层建网 →engine-serialize()输出到磁盘随后释放权重 map 的堆内存。推理输出验证-d阶段mobilenet_v2.cpp首先构造一个全 1 的3×224×224输入张量data[i] 1.0然后通过doInference连续执行 100 次推理并打印每次耗时毫秒输出 1000 维prob向量的完整数值分布。doInference的 I/O 流程mobilenet_v2.cpp采用较新的 TensorRT 显式 I/O 风格cudaMalloc分配设备端输入/输出缓冲cudaMemcpyAsync将输入 DMA 到 GPUcontext.setTensorAddress绑定张量地址context.enqueueV3(stream)异步推理最后同步拷贝回 host。由于示例网络只有两个 I/O 张量代码通过assert(engine.getNbIOTensors() 2)做了前置校验。最后一步对照 README 所述see if the output is same as pytorchx/mobilenet即将 TensorRT 输出与 PyTorch 端相同输入下的输出进行比对验证算子等价性。注意示例默认喂入的是全 1 张量若要跑真实图片需自行补充 ImageNet 预处理resize 到 224×224、减均值除方差、HWC→CHW可参考同仓库mobilenet/mobilenetv3/mobilenet_v3.py中preprocess_image的预处理思路。TensorRT Python API 部署Python 版同样支持-s/-d两种模式mobilenet_v2.pycd tensorrtx/mobilenet/mobilenetv2 python mobilenet_v2.py -s // serialize model to plan file i.e. mobilenetv2.engine python mobilenet_v2.py -d // deserialize plan file and run inference运行前需安装 Python 依赖tensorrt、pycuda、numpyREADME 明确列出这三项。两模式的入口解析逻辑若-s与-d同时给出或都未给出程序打印参数用法并退出-sAPI_to_model创建 builder 与 config以trt.float32构建并序列化引擎写入mobilenetv2.engine-dtrt.Runtime.deserialize_cuda_engine反序列化创建IExecutionContext构造全 1 输入经allocate_buffersdo_inference执行execute_async_v3打印输出向量的前 10 个与后 10 个元素。Python 侧的网络构建函数与 C 版逐层对应conv_bn_relu↔convBnRelu、inverted_res↔invertedRes、add_batch_norm_2d↔addBatchNorm2d且 block 参数features.1.到features.18.的通道数、步长、扩张系数完全一致方便交叉对照阅读。关键函数源码级解析为便于后续移植或改造这里按调用链梳理核心函数loadWeights解析.wts文本权重返回mapstring, Weights加载失败文件打不开或 count 非法会触发assert直接终止addBatchNorm2d将 BN 的gamma/beta/mean/var折叠为IScaleLayerkCHANNEL模式eps由调用方传入本例统一为1e-5convBnReluConv含分组数g→ BN → 两个 ReLU 之差实现 ReLU6返回IElementWiseLayer其中p (ksize - 1) / 2自动推导 padding保证 stride 2 时空间尺寸减半invertedRes倒残差块容器内部按exp分支选择扩张 深度可分离或纯深度可分离路径按use_res_connect决定是否叠加残差createEngine串起全部 block 与分类头builder-buildEngineWithConfig产出引擎doInference统一的内存管理与流式异步推理封装。部署自检清单与常见注意事项按 README 与源码可归纳以下检查点用于排查部署问题权重文件位置与命名确认mobilenetv2.wts存在于 mobilenet/mobilenetv2 目录且由匹配的 PyTorch 实现MobileNetV2输入 224×224、1000 类导出C 版从build/目录运行时以../mobilenetv2.wts定位TensorRT/CUDA 环境编译前确认 CMakeLists.txt 中的 CUDA/usr/local/cuda与 TensorRT/usr/include/x86_64-linux-gnu路径与机器实际安装一致否则需按注释说明自行修改-s与-d必须分步执行-s只生成mobilenet.engineC或mobilenetv2.enginePython-d依赖该文件存在main对非-s/-d参数一律返回错误码数值一致性验证README 要求将输出与 PyTorch 端比对若不一致优先检查权重文件命名映射features.x.y.*前缀拼接与eps取值C/Python 均为1e-5算子等价性前提ReLU6 的两 ReLU 相减与 BN 的 Scale 折叠都要求输入为 FP32本例构建时固定DataType::kFLOAT若后续切换 INT8/FP16 精度需重新评估数值误差输入预处理对齐真实图片部署时需按 ImageNet 标准resize 224×224、均值[0.485, 0.456, 0.406]、方差[0.229, 0.224, 0.225]预处理并转为 CHW 的 float32 张量示例代码本身使用全 1 输入仅用于流程验证。至此你已经掌握了从.wts权重加载、算子级等价实现、逐 block 建网到 engine 序列化与推理的完整链路可据此将 mobilenet/mobilenetv2 的示例迁移到自己的项目中或参考同一套手动建网方法部署其他 CNN 分类模型。赞分享人工智能深度学习计算机视觉【免费下载链接】tensorrtxImplementation of popular deep learning networks with TensorRT network definition API项目地址https://gitcode.com/gh_mirrors/te/tensorrtx点击查看免费下载相关推荐Android折叠屏适配终极指南Jetpack WindowManager实战技巧Android折叠屏适配终极指南Jetpack WindowManager实战技巧 在当今多形态移动设备时代折叠屏设备正成为Android生态的重要一环。A移动开发示例工程如何为Google I/O App实现完美折叠屏适配开发者必备的终极指南如何为Google I/O App实现完美折叠屏适配开发者必备的终极指南 Google I/O App作为展示Google开发者大会信息的官方应用其折叠屏适移动开发前端如何4步让老Mac运行macOS SequoiaOpenCore Legacy Patcher完整实战指南如何4步让老Mac运行macOS SequoiaOpenCore Legacy Patcher完整实战指南 那台2013年的iMac还能用但关于本机冷冷操作系统固件驱动开发上一篇ThinkPad散热优化完整攻略一步到位的风扇控制解决方案下一篇EasyFormaterAndroid数据格式化工具使用详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 tensorrtx 部署 MobileNetV2：ReLU6 与 BatchNorm 折叠技巧及 C++/Python 双 API 实战指南
人工智能深度学习计算机视觉【免费下载链接】tensorrtxImplementation of popular deep learning networks with TensorRT network definition API项目地址https://gitcode.com/gh_mirrors/te/tensorrtx点击查看免费下载本篇指南围绕 tensorrtx 仓库中的 mobilenet/mobilenetv2 示例完整讲解如何基于 TensorRT 网络定义 APINetwork Definition API手写搭建 MobileNetV2 图像分类模型并将其序列化为 engine 文件完成推理。文章将结合 README.md 与 mobilenet_v2.cpp、mobilenet_v2.py 两份源码深入剖析 ReLU6 的等价拆解、BatchNorm 的 Scale 层折叠、倒残差块Inverted Residual与线性瓶颈Linear Bottleneck的逐层构建最终给出可直接复制的完整部署步骤。MobileNetV2 架构与 tensorrtx 中的定位MobileNetV2 出自论文MobileNetV2: Inverted Residuals and Linear Bottlenecks其核心贡献是倒残差结构Inverted Residual Block先用 1×1 卷积对输入做通道扩张expansion再执行 3×3 深度可分离卷积depthwise convolution最后用 1×1 卷积将通道数压缩回较小的输出维度形成窄 → 宽 → 窄的瓶颈结构。同时在每个 block 的最后一个 1×1 投影层之后去掉非线性激活线性瓶颈并在满足步长为 1 且输入输出通道数相等时加入残差连接。在 tensorrtx 仓库中mobilenet/mobilenetv2目录通过纯 TensorRT 网络定义 API不依赖任何 parser逐层构建出该网络目录包含README.md部署步骤与核心技巧说明mobilenet_v2.cppC 版本编译产物为mobilenetmobilenet_v2.pyTensorRT Python API 版本产物为mobilenetv2.engineCMakeLists.txtC 构建配置logging.h 与 macros.hTensorRT 日志与跨版本宏macros.h依据NV_TENSORRT_MAJOR是否大于等于 8 定义TRT_NOEXCEPT等兼容宏。两大核心技巧用 TensorRT 基础层等价实现 ReLU6 与 BatchNormREADME 开门见山地列出了本示例使用的两个关键技巧理解它们是读懂源码的前提。技巧一ReLU6(x) ReLU(x) − ReLU(x−6)MobileNetV2 的激活函数是 ReLU6输出截断到 [0, 6]但 TensorRT 原生激活层并不直接提供 ReLU6。源码给出的等价拆解是ReLU6(x) ReLU(x) - ReLU(x - 6)具体到 mobilenet_v2.cpp 的convBnRelu函数中实现分四步对 BN 输出做一次ActivationType::kRELU得到relu1 ReLU(x)用一个ScaleMode::kUNIFORM的 Scale 层shift -6scale 1power 1对同一输入做平移等价于计算x - 6对平移结果再做一次 ReLU得到relu2 ReLU(x - 6)用ElementWiseOperation::kSUB做逐元素减法relu1 - relu2即ReLU6(x)。float* shval reinterpret_castfloat*(malloc(sizeof(float) * 1)); shval[0] -6.0; // scale 1.0, power 1.0 IScaleLayer* scale1 network-addScale(*bn1-getOutput(0), ScaleMode::kUNIFORM, shift, scale, power); IActivationLayer* relu2 network-addActivation(*scale1-getOutput(0), ActivationType::kRELU); IElementWiseLayer* ew1 network-addElementWise(*relu1-getOutput(0), *relu2-getOutput(0), ElementWiseOperation::kSUB);Python 版 mobilenet_v2.py 使用完全相同的思路shift np.array(-6.0)、scale np.array(1.0)、power np.array(1.0)add_scale(..., modetrt.ScaleMode.UNIFORM, ...)后接 ReLU再做trt.ElementWiseOperation.SUB。值得注意的是只有扩张层1×1 或 3×3 卷积后才使用 ReLU6瓶颈块最后的 1×1 投影层之后不接激活这正是论文中的线性瓶颈设计源码中通过addBatchNorm2d直接输出而没有再接convBnRelu。技巧二BatchNorm 折叠为 Scale 层TensorRT 网络定义 API 中没有直接的 BatchNorm 层但推理阶段 BN 可以折叠进卷积之后的逐通道缩放/平移中。addBatchNorm2d函数mobilenet_v2.cpp利用 BN 参数计算两个逐通道向量scale[i] gamma[i] / sqrt(var[i] eps) shift[i] beta[i] - mean[i] * gamma[i] / sqrt(var[i] eps)其中gammaweight、betabias、running_mean、running_var均来自 .wts 权重文件eps取1e-5。随后构造ScaleMode::kCHANNEL的 Scale 层power 恒为 1.0float* scval reinterpret_castfloat*(malloc(sizeof(float) * len)); for (int i 0; i len; i) { scval[i] gamma[i] / sqrt(var[i] eps); // scale } float* shval reinterpret_castfloat*(malloc(sizeof(float) * len)); for (int i 0; i len; i) { shval[i] beta[i] - mean[i] * gamma[i] / sqrt(var[i] eps); // shift } IScaleLayer* scale_1 network-addScale(input, ScaleMode::kCHANNEL, shift, scale, power);由于y scale * x shift上述两个向量恰好等价于对 BN 输出做gamma * (x - mean) / sqrt(var eps) beta的仿射变换。Python 版 add_batch_norm_2d 用 NumPy 直接计算scale gamma / np.sqrt(var eps)、shift -mean / var * gamma beta注意 Python 侧对var先取平方根效果一致。这一折叠技巧避免了逐层展开 BN 计算大幅减少算子数量。网络结构源码映射从 features.0 到 classifiercreateEnginemobilenet_v2.cpp与 Python 版create_enginemobilenet_v2.py逐块复刻了 PyTorch MobileNetV2 的features序列与classifier。输入张量形状为{1, 3, 224, 224}INPUT_H INPUT_W 224输入 blob 名为data输出 blob 名为prob输出维度为 1000 类OUTPUT_SIZE 1000。前段卷积与 17 个倒残差块convBnRelu(network, ..., 32, 3, 2, 1, features.0.)构建首个 3×3、步长 2 的常规卷积含 BN 与 ReLU6输出 32 通道。随后invertedRes依次串联mobilenet_v2.cppblocklname输入通道 → 输出通道步长 s扩张系数 exp备注features.132 → 1611线性瓶颈无 ReLU6features.216 → 2426features.324 → 2416features.424 → 3226features.5 ~ 632 → 3216重复 2 次features.732 → 6426features.8 ~ 1064 → 6416重复 3 次features.1164 → 9616features.12 ~ 1396 → 9616重复 2 次features.1496 → 16026features.15 ~ 16160 → 16016重复 2 次features.17160 → 32016invertedRes的逻辑mobilenet_v2.cppint hidden inch * exp; bool use_res_connect (s 1 inch outch);exp ! 1标准倒残差convBnRelu(1×1 扩张输出hidden通道) →convBnRelu(3×3 深度可分离groups hidden) → 1×1 投影卷积 → BN不加激活即线性瓶颈exp 1如 features.1跳过扩张卷积直接 3×3 深度可分离 → 1×1 投影 → BN仅当s 1 inch outch时用ElementWiseOperation::kSUM将输入与瓶颈输出相加构成残差连接。最后一个 1×1 卷积features.18将特征扩到 1280 通道随后进入分类头。分类头全局平均池化 矩阵乘分类头同样以 API 手写完成mobilenet_v2.cppaddPoolingNd(..., PoolingType::kAVERAGE, DimsHW{7, 7})做 7×7 全局平均池化addShuffle将池化输出 reshape 为{1, 1280}将全连接权重classifier.1.weight1000×1280注册为IConstantLayer通过addMatrixMultiply对权重做MatrixOperation::kTRANSPOSE完成 1280 → 1000 的线性映射将偏置classifier.1.bias注册为常量层用ElementWiseOperation::kSUM相加输出张量命名为prob并markOutput。环境准备与 .wts 权重文件格式权重文件格式tensorrtx 系列示例采用自定义的.wtsweights文本格式其规范在loadWeights函数mobilenet_v2.cpp中有完整体现第一行为权重块总数count之后每行格式为[name] [size] data x size in hex即权重名、元素个数、以及按十六进制表示、空格分隔的 float32 原始字节数据big-endian。Python 侧 load_weights 通过struct.unpack(f, bytes.fromhex(...))解析同样的格式并断言cur_count 2 len(splits)校验行内数据完整性。权重名与 PyTorch 的 state_dict 命名一一对应例如features.0.0.weight、features.0.1.weightBN 的 gamma、features.0.1.bias、features.0.1.running_mean、features.0.1.running_var以及分类头的classifier.1.weight/classifier.1.bias这与源码中weightMap[lname .weight]等拼接逻辑吻合。权重生成与放置位置按照 README 的步骤.wts由外部 PyTorch 实现导出README 指向pytorchx/mobilenet本仓库内并未包含权重生成脚本。导出后C 版在createEngine中以loadWeights(../mobilenetv2.wts)加载由于程序默认从build/目录运行../恰好指向mobilenet/mobilenetv2/目录因此权重文件应命名为mobilenetv2.wts并放置于 mobilenet/mobilenetv2 目录下README 中同时出现mobilenet.wts与mobilenetv2.wts两种写法实际源码以mobilenetv2.wts为准Python 版从WEIGHT_PATH ./mobilenetv2.wts加载同样放在mobilenet/mobilenetv2目录下。C 部署CMake 构建、序列化与推理CMakeLists.txt 解析CMakeLists.txt 的内容要点使用 C11默认CMAKE_BUILD_TYPE为Debug显式指定 CUDA 头文件目录/usr/local/cuda/include与链接目录/usr/local/cuda/lib64TensorRT 头文件目录/usr/include/x86_64-linux-gnu/与链接目录/usr/lib/x86_64-linux-gnu/注释明确说明如果你的 CUDA/TensorRT 安装位置不同需要自行调整这两处路径生成可执行文件mobilenet链接nvinfer与cudart两个库并附加-O2 -pthread。编译与运行README 给出的完整构建命令如下cd tensorrtx/mobilenet/mobilenetv2 mkdir build cd build cmake .. make sudo ./mobilenet -s // serialize model to plan file i.e. mobilenet.engine sudo ./mobilenet -d // deserialize plan file and run inference程序入口mainmobilenet_v2.cpp只接受两个参数参数行为-s调用APIToModel以 FP32DataType::kFLOAT、maxBatchSize 1构建引擎并序列化为mobilenet.engine-d从mobilenet.engine反序列化引擎创建IExecutionContext执行推理-s阶段的构建流程为createInferBuilder创建 builder →createBuilderConfig创建配置 →createEngine逐层建网 →engine-serialize()输出到磁盘随后释放权重 map 的堆内存。推理输出验证-d阶段mobilenet_v2.cpp首先构造一个全 1 的3×224×224输入张量data[i] 1.0然后通过doInference连续执行 100 次推理并打印每次耗时毫秒输出 1000 维prob向量的完整数值分布。doInference的 I/O 流程mobilenet_v2.cpp采用较新的 TensorRT 显式 I/O 风格cudaMalloc分配设备端输入/输出缓冲cudaMemcpyAsync将输入 DMA 到 GPUcontext.setTensorAddress绑定张量地址context.enqueueV3(stream)异步推理最后同步拷贝回 host。由于示例网络只有两个 I/O 张量代码通过assert(engine.getNbIOTensors() 2)做了前置校验。最后一步对照 README 所述see if the output is same as pytorchx/mobilenet即将 TensorRT 输出与 PyTorch 端相同输入下的输出进行比对验证算子等价性。注意示例默认喂入的是全 1 张量若要跑真实图片需自行补充 ImageNet 预处理resize 到 224×224、减均值除方差、HWC→CHW可参考同仓库mobilenet/mobilenetv3/mobilenet_v3.py中preprocess_image的预处理思路。TensorRT Python API 部署Python 版同样支持-s/-d两种模式mobilenet_v2.pycd tensorrtx/mobilenet/mobilenetv2 python mobilenet_v2.py -s // serialize model to plan file i.e. mobilenetv2.engine python mobilenet_v2.py -d // deserialize plan file and run inference运行前需安装 Python 依赖tensorrt、pycuda、numpyREADME 明确列出这三项。两模式的入口解析逻辑若-s与-d同时给出或都未给出程序打印参数用法并退出-sAPI_to_model创建 builder 与 config以trt.float32构建并序列化引擎写入mobilenetv2.engine-dtrt.Runtime.deserialize_cuda_engine反序列化创建IExecutionContext构造全 1 输入经allocate_buffersdo_inference执行execute_async_v3打印输出向量的前 10 个与后 10 个元素。Python 侧的网络构建函数与 C 版逐层对应conv_bn_relu↔convBnRelu、inverted_res↔invertedRes、add_batch_norm_2d↔addBatchNorm2d且 block 参数features.1.到features.18.的通道数、步长、扩张系数完全一致方便交叉对照阅读。关键函数源码级解析为便于后续移植或改造这里按调用链梳理核心函数loadWeights解析.wts文本权重返回mapstring, Weights加载失败文件打不开或 count 非法会触发assert直接终止addBatchNorm2d将 BN 的gamma/beta/mean/var折叠为IScaleLayerkCHANNEL模式eps由调用方传入本例统一为1e-5convBnReluConv含分组数g→ BN → 两个 ReLU 之差实现 ReLU6返回IElementWiseLayer其中p (ksize - 1) / 2自动推导 padding保证 stride 2 时空间尺寸减半invertedRes倒残差块容器内部按exp分支选择扩张 深度可分离或纯深度可分离路径按use_res_connect决定是否叠加残差createEngine串起全部 block 与分类头builder-buildEngineWithConfig产出引擎doInference统一的内存管理与流式异步推理封装。部署自检清单与常见注意事项按 README 与源码可归纳以下检查点用于排查部署问题权重文件位置与命名确认mobilenetv2.wts存在于 mobilenet/mobilenetv2 目录且由匹配的 PyTorch 实现MobileNetV2输入 224×224、1000 类导出C 版从build/目录运行时以../mobilenetv2.wts定位TensorRT/CUDA 环境编译前确认 CMakeLists.txt 中的 CUDA/usr/local/cuda与 TensorRT/usr/include/x86_64-linux-gnu路径与机器实际安装一致否则需按注释说明自行修改-s与-d必须分步执行-s只生成mobilenet.engineC或mobilenetv2.enginePython-d依赖该文件存在main对非-s/-d参数一律返回错误码数值一致性验证README 要求将输出与 PyTorch 端比对若不一致优先检查权重文件命名映射features.x.y.*前缀拼接与eps取值C/Python 均为1e-5算子等价性前提ReLU6 的两 ReLU 相减与 BN 的 Scale 折叠都要求输入为 FP32本例构建时固定DataType::kFLOAT若后续切换 INT8/FP16 精度需重新评估数值误差输入预处理对齐真实图片部署时需按 ImageNet 标准resize 224×224、均值[0.485, 0.456, 0.406]、方差[0.229, 0.224, 0.225]预处理并转为 CHW 的 float32 张量示例代码本身使用全 1 输入仅用于流程验证。至此你已经掌握了从.wts权重加载、算子级等价实现、逐 block 建网到 engine 序列化与推理的完整链路可据此将 mobilenet/mobilenetv2 的示例迁移到自己的项目中或参考同一套手动建网方法部署其他 CNN 分类模型。赞分享人工智能深度学习计算机视觉【免费下载链接】tensorrtxImplementation of popular deep learning networks with TensorRT network definition API项目地址https://gitcode.com/gh_mirrors/te/tensorrtx点击查看免费下载相关推荐Android折叠屏适配终极指南Jetpack WindowManager实战技巧Android折叠屏适配终极指南Jetpack WindowManager实战技巧 在当今多形态移动设备时代折叠屏设备正成为Android生态的重要一环。A移动开发示例工程如何为Google I/O App实现完美折叠屏适配开发者必备的终极指南如何为Google I/O App实现完美折叠屏适配开发者必备的终极指南 Google I/O App作为展示Google开发者大会信息的官方应用其折叠屏适移动开发前端如何4步让老Mac运行macOS SequoiaOpenCore Legacy Patcher完整实战指南如何4步让老Mac运行macOS SequoiaOpenCore Legacy Patcher完整实战指南 那台2013年的iMac还能用但关于本机冷冷操作系统固件驱动开发上一篇ThinkPad散热优化完整攻略一步到位的风扇控制解决方案下一篇EasyFormaterAndroid数据格式化工具使用详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考