尧图网站建设 
1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它就是一个调参工具或者是一个自动搜超参的脚本。我刚开始接触的时候也这么想后来踩了几次坑才明白模型优化器真正做的事情是把一个“能跑但跑得不够好”的模型变成一个“跑得又快又稳又省”的模型。它关注的维度远不止准确率一个指标还包括推理延迟、显存占用、吞吐量、功耗甚至部署到边缘设备之后的冷启动时间。你可以把它理解成汽车改装。原始模型是出厂状态能开但未必适合你的路况。模型优化器就是那个改装师傅根据你要跑的路——是高速巡航还是山路爬坡——来决定换轮胎、调悬挂还是刷ECU。不同路况对应不同优化策略没有一套万能方案。这篇文章适合谁看如果你手里有一个已经训练完的模型想把它塞进手机、嵌入式设备或者低配服务器那模型优化器就是你绕不开的一环。如果你还在训练阶段想提前了解后续部署会遇到什么约束这篇文章也能帮你少走弯路。我会从整体设计思路讲到具体实操再到常见问题的排查尽量把每个环节的“为什么”说清楚。2. 整体设计思路与方案选型2.1 为什么不能只做量化或只做剪枝很多人一提到模型优化第一反应就是量化。把FP32转成INT8模型体积直接小四倍推理速度也能提升不少。但实际操作下来你会发现单独做量化经常遇到精度掉点严重的问题尤其是那些对数值敏感的层比如LayerNorm或者Softmax之前的全连接层。这时候就需要配合其他技术一起用。模型优化器的整体设计思路我倾向于把它分成三个层次结构层、数值层和调度层。结构层负责剪枝和蒸馏减少参数量和计算量数值层负责量化和混合精度降低单次计算的成本调度层负责算子融合和内存复用减少数据搬运的开销。这三层不是孤立的而是互相影响的。比如你剪枝之后某些层的通道数变了量化时的scale因子也要重新校准。我试过只做INT8量化在一个图像分类模型上精度掉了2.3个百分点。后来加上通道剪枝把冗余通道去掉之后再量化精度只掉了0.4个百分点推理速度反而比纯量化还快。原因很简单剪枝去掉了那些对输出贡献很小的通道量化时的噪声就不会被放大。2.2 优化策略的选择依据选择什么优化策略核心看三个约束硬件平台、延迟要求和精度容忍度。硬件平台决定了你有哪些指令集可用比如某些移动端芯片对INT8有专门加速但对FP16支持不好。延迟要求决定了你能接受多大的计算量实时应用和离线批处理完全是两个思路。精度容忍度则决定了你能把模型压到多小。我一般会先做一个简单的决策表把这三个约束列出来然后对照下表选择初始方案硬件平台延迟要求精度容忍度推荐初始方案移动端CPU高中通道剪枝 INT8量化移动端GPU高低算子融合 FP16边缘NPU极高中结构化剪枝 INT8量化服务器GPU低高混合精度 算子融合嵌入式MCU极高低知识蒸馏 二值化这个表不是绝对的但能帮你快速缩小选择范围。比如你跑在移动端CPU上延迟要求高精度容忍度中等那就先试通道剪枝加INT8量化。如果精度掉太多再考虑用知识蒸馏把大模型的能力迁移过来。2.3 工具链的选型逻辑工具链的选择同样重要。市面上有很多模型优化框架有偏训练的有偏推理的还有端到端的。我选工具链主要看三点是否支持目标硬件、是否容易调试、社区是否活跃。支持目标硬件是硬性条件。你选了一个只支持服务器GPU的优化器想部署到手机上就是白费功夫。容易调试也很关键有些工具链优化完之后就是一个黑盒精度掉了你都不知道是哪一层出的问题。社区活跃度决定了你遇到问题能不能快速找到答案。我个人的习惯是先用训练框架自带的优化工具做一轮比如PyTorch的量化工具或者TensorFlow的TF-TRT。这些工具和训练框架结合紧密调试起来方便。如果效果不够再上专门的推理优化框架比如TensorRT或者OpenVINO。最后如果还不够才考虑手写算子或者用TVM这样的编译器方案。注意不要一上来就用最复杂的工具链。我见过有人直接上TVM结果调了两周连模型都跑不通。先从简单的开始逐步深入效率反而更高。3. 核心细节解析与实操要点3.1 剪枝怎么剪才不伤筋骨剪枝的核心思想是去掉模型中不重要的连接或通道。但“不重要”怎么定义直接决定了剪枝的效果。常见的有基于权重大小的、基于梯度的、基于激活值的。我一般用基于权重大小的L1范数简单有效计算量也小。具体操作上先对每一层的卷积核计算L1范数然后按大小排序去掉最小的那部分。但这里有个坑不能每层都剪同样的比例。有些层本身就很紧凑你再剪就伤到关键特征了。我的做法是先做一个敏感度分析对每一层单独剪枝看精度掉多少然后根据敏感度来决定每层的剪枝比例。敏感度分析的具体步骤是这样的选一个校准集大概几百张图就够了。然后对第i层剪掉10%的通道重新评估精度记录精度下降值。对所有层都做一遍你就得到了一张敏感度表。敏感度低的层可以多剪敏感度高的层少剪或者不剪。我实测下来一个ResNet-50在ImageNet上用敏感度分析指导剪枝剪掉40%的通道精度只掉0.8个百分点。如果每层都剪40%精度直接掉5个点以上。这个差距非常明显。3.2 量化校准集的选择比算法更重要量化是把浮点权重和激活值映射到低比特整数。最常见的INT8量化核心是找到合适的scale和zero_point。算法本身不复杂但校准集的选择往往被忽视。校准集的作用是统计激活值的分布从而确定scale。如果校准集和实际推理数据的分布不一致scale就会偏量化误差就会大。我见过有人用训练集的一小部分做校准结果在实际场景中精度掉得厉害。原因很简单训练集和实际场景的数据分布不一样。我的做法是从实际场景中采样校准集至少覆盖所有类别和典型场景。比如做行人检测校准集里就要有白天、夜晚、雨天、雾天各种场景的图片。数量不用太多500到1000张就够了但分布一定要全。还有一个细节是校准算法的选择。常见的有MinMax、KL散度、MSE。MinMax最简单但对异常值敏感。KL散度对分布形状的拟合更好但计算量大一些。我一般先用KL散度如果速度不够再换MinMax。3.3 算子融合减少内存搬运才是关键算子融合是把多个连续的小算子合并成一个大的算子减少中间结果的读写。比如ConvBNReLU如果不融合需要把Conv的输出写回内存再读出来做BN再写回去做ReLU。融合之后中间结果直接在寄存器或者缓存里传递省了两次内存读写。内存读写往往是推理的瓶颈尤其是移动端。我做过一个测试一个简单的ConvBNReLU结构融合之后推理速度提升了将近30%。计算量没变省的就是内存搬运的时间。但算子融合不是万能的。有些算子融合之后会增大寄存器压力反而导致性能下降。比如把两个大卷积融合在一起寄存器不够用就会溢出到本地内存速度反而更慢。所以融合之后一定要实测不能想当然。3.4 知识蒸馏让小模型学会大模型的“感觉”知识蒸馏是用一个大模型教师来指导一个小模型学生训练。学生不仅学习真实标签还学习教师的输出分布。这个输出分布包含了类别之间的相似性信息比如“猫”和“狗”的相似度比“猫”和“汽车”高这些信息在硬标签里是没有的。蒸馏的温度参数很关键。温度高的时候输出分布更平滑类别之间的相似性信息更丰富。温度低的时候分布更尖锐接近硬标签。我一般先用较高的温度比如4到6训练一段时间再降到1继续训练。这样学生先学到类别间的结构信息再细化到具体分类。还有一个技巧是对教师模型做集成。用多个教师模型的平均输出作为软标签比单个教师效果更好。我试过用三个不同初始化的教师模型做集成学生模型的精度比用单个教师高了1.2个百分点。4. 实操过程与核心环节实现4.1 环境准备与依赖安装实操之前先把环境搭好。我一般用Python 3.8以上PyTorch 1.12以上CUDA 11.3以上。这些版本组合比较稳定社区支持也好。conda create -n model-optimizer python3.8 conda activate model-optimizer pip install torch1.12.0 torchvision0.13.0 pip install onnx1.12.0 onnxruntime1.12.0 pip install tensorrt8.4.1.5TensorRT的安装稍微麻烦一点需要先下载对应的tar包然后解压配置环境变量。具体步骤可以参考官方文档这里不展开。如果你不用NVIDIA的硬件可以跳过TensorRT用ONNX Runtime或者OpenVINO代替。提示安装TensorRT之前先确认CUDA版本匹配。我踩过一次坑CUDA是11.6TensorRT装的是8.2结果各种报错。后来换成TensorRT 8.4才正常。4.2 剪枝的代码实现剪枝的实现分三步计算敏感度、确定剪枝比例、执行剪枝。下面是一个简化的代码示例基于PyTorch。import torch import torch.nn as nn def compute_sensitivity(model, layer_name, prune_ratio, calib_loader): 计算某一层剪枝后的精度下降 original_acc evaluate(model, calib_loader) # 对指定层进行剪枝 prune_layer(model, layer_name, prune_ratio) pruned_acc evaluate(model, calib_loader) # 恢复原状 restore_layer(model, layer_name) return original_acc - pruned_acc def prune_layer(model, layer_name, ratio): 对指定层按L1范数剪枝 for name, module in model.named_modules(): if name layer_name and isinstance(module, nn.Conv2d): weight module.weight.data # 计算每个输出通道的L1范数 l1_norm weight.abs().sum(dim(1, 2, 3)) # 确定要保留的通道数 keep_num int(len(l1_norm) * (1 - ratio)) # 保留L1范数最大的通道 _, keep_idx l1_norm.topk(keep_num) # 重新构建卷积层 new_conv nn.Conv2d( module.in_channels, keep_num, module.kernel_size, module.stride, module.padding, biasmodule.bias is not None ) new_conv.weight.data weight[keep_idx] if module.bias is not None: new_conv.bias.data module.bias.data[keep_idx] # 替换原层 replace_module(model, layer_name, new_conv)这段代码只是示意实际使用中还需要处理BN层和后续层的输入通道数变化。剪枝之后下一层的输入通道数也要相应调整否则会报维度不匹配。4.3 量化的校准与部署量化分两步校准和转换。校准是统计激活值分布转换是把浮点权重转成整数。下面以ONNX Runtime的量化工具为例。from onnxruntime.quantization import quantize_static, CalibrationDataReader class DataReader(CalibrationDataReader): def __init__(self, calib_data): self.calib_data calib_data self.index 0 def get_next(self): if self.index len(self.calib_data): return None data self.calib_data[self.index] self.index 1 return {input: data} # 加载ONNX模型 onnx_model model.onnx # 准备校准数据 calib_data load_calibration_data(calib_images, num500) # 执行量化 quantize_static( onnx_model, model_quantized.onnx, DataReader(calib_data), quant_formatQDQ, per_channelTrue, reduce_rangeFalse )per_channelTrue表示每个通道单独计算scale比整个张量共用一个scale精度更高。reduce_rangeFalse表示使用完整的INT8范围如果硬件对INT8支持不好可以设为True用INT7来避免溢出。量化完成之后一定要在验证集上评估精度。如果掉点超过1个百分点就要考虑调整校准集或者换量化算法。4.4 算子融合的配置算子融合一般在推理框架里配置。以TensorRT为例可以在构建engine的时候指定融合策略。import tensorrt as trt builder trt.Builder(logger) network builder.create_network(1 int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser trt.OnnxParser(network, logger) with open(model.onnx, rb) as f: parser.parse(f.read()) config builder.create_builder_config() config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 30) config.set_flag(trt.BuilderFlag.FP16) config.set_flag(trt.BuilderFlag.INT8) # 设置校准器 config.int8_calibrator MyCalibrator(calib_data) # 构建engine engine builder.build_engine(network, config)TensorRT会自动做算子融合不需要手动指定。但你可以通过设置BuilderFlag来控制融合的激进程度。比如开启FP16和INT8之后TensorRT会优先选择低精度的融合方案。注意TensorRT构建engine的时间可能比较长尤其是大模型。我建议先用小模型跑通流程再上大模型。另外engine是和硬件绑定的换显卡之后需要重新构建。5. 常见问题与排查技巧实录5.1 精度掉点严重怎么办精度掉点是模型优化最常见的问题。排查思路是从后往前查先看量化再看剪枝最后看融合。如果量化之后精度掉得多先检查校准集。校准集的分布是否和实际数据一致数量是否足够我一般要求校准集至少覆盖所有类别每个类别至少50张。如果校准集没问题再检查量化算法。MinMax换成KL散度试试per_tensor换成per_channel试试。如果剪枝之后精度掉得多先看剪枝比例是不是太高了。用敏感度分析重新确定每层的比例。另外剪枝之后最好做一轮微调用较小的学习率训练几个epoch精度能恢复不少。如果融合之后精度掉点那可能是融合引入了数值误差。比如ConvBN融合的时候BN的均值和方差被吸收到Conv的权重里如果BN的方差很小吸收之后权重会变得很大量化的时候容易溢出。这时候可以尝试不融合BN或者用更高的精度做融合。5.2 推理速度没有提升优化之后速度没提升甚至变慢了这种情况我也遇到过几次。原因通常有三个内存瓶颈、算子不支持、调度开销。内存瓶颈是最常见的。你减少了计算量但内存读写没减少速度就上不去。这时候要检查算子融合是否生效中间结果有没有被写回内存。可以用推理框架的profiling工具看一下各层的时间分布找到瓶颈层。算子不支持也很常见。你量化成INT8但硬件不支持某些INT8算子框架就回退到FP32速度反而更慢。这时候要查硬件的指令集支持列表确认关键算子都有加速。调度开销在小模型上比较明显。模型太小计算量本来就少调度开销占比就大了。这时候可以考虑把多个小模型合并成一个大模型或者用批处理来均摊调度开销。5.3 常见问题速查表问题现象可能原因排查方法解决方案量化后精度掉点多校准集分布不一致对比校准集和验证集分布重新采样校准集剪枝后精度掉点多剪枝比例过高做敏感度分析降低敏感层的剪枝比例推理速度没提升内存瓶颈profiling看各层耗时加强算子融合推理速度没提升算子不支持查硬件指令集换支持的量化方案融合后精度掉点数值溢出检查权重范围不融合BN或提高精度模型体积没变小量化未生效检查模型文件大小确认量化配置正确5.4 独家避坑技巧第一个技巧是分阶段优化。不要一次性把所有优化都加上而是一个一个来。先剪枝评估精度和速度再量化再评估最后融合。这样出了问题容易定位。第二个技巧是保留原始模型。每次优化之前都备份一份原始模型出问题了可以随时回退。我见过有人优化完之后精度掉得厉害想回退发现原始模型被覆盖了只能重新训练。第三个技巧是用小模型验证流程。大模型优化一次可能要几个小时小模型几分钟就搞定了。先用小模型把流程跑通确认没问题再上大模型能省很多时间。第四个技巧是关注端到端指标。不要只看模型本身的推理时间还要看前后处理的时间。有时候模型推理快了但前后处理成了瓶颈端到端延迟反而没降。我一般会用端到端的profiling工具把整个流程的时间都测出来。6. 优化效果的评估与迭代6.1 评估指标的选择评估优化效果不能只看精度和速度两个指标。我一般会看四个维度精度、延迟、吞吐量、资源占用。精度包括Top-1和Top-5延迟包括平均延迟和P99延迟吞吐量包括单batch和多batch资源占用包括显存和功耗。P99延迟很重要但经常被忽视。平均延迟低不代表用户体验好如果P99延迟很高说明有长尾请求用户体验会很差。我一般要求P99延迟不超过平均延迟的1.5倍。功耗在移动端尤其重要。有些优化方案虽然速度快但功耗高手机发热严重用户体验反而不好。我一般会用功耗计实测或者用框架自带的功耗估算工具。6.2 迭代优化的节奏优化不是一次性的而是一个迭代的过程。我一般分三轮第一轮做基础优化剪枝加量化看效果第二轮做精细调优调整剪枝比例和量化参数第三轮做端到端优化包括前后处理和调度。每一轮之后都要做完整的评估记录各项指标。如果某一轮效果不好就回退到上一轮换一个方案再试。我一般会维护一个实验记录表记录每次优化的配置和结果方便对比和回溯。迭代的终止条件一般是达到目标指标或者优化收益小于成本。如果某一轮优化只提升了1%的速度但花了三天时间那就不值得继续了。6.3 实际案例的复盘我拿一个实际项目来复盘。这是一个目标检测模型原始模型在服务器GPU上跑延迟50毫秒精度mAP 42.3。目标是把延迟降到20毫秒以内精度掉点不超过1个点。第一轮通道剪枝剪掉30%的通道。精度掉到41.5延迟降到38毫秒。精度掉点0.8在容忍范围内但延迟还不够。第二轮INT8量化用KL散度校准。精度掉到40.8延迟降到22毫秒。精度掉点1.5超出容忍范围。第三轮调整剪枝比例敏感层少剪不敏感层多剪。整体剪枝比例还是30%但分布更合理。精度回到41.6延迟降到21毫秒。第四轮算子融合把ConvBNReLU融合。精度不变延迟降到18毫秒。达标。这个案例说明单一优化手段往往不够需要组合使用。而且每一轮都要评估不能想当然。7. 一些个人体会模型优化这件事工具和算法固然重要但更重要的是对模型和硬件的理解。你得知道模型的瓶颈在哪里硬件的优势在哪里才能找到最优的优化方案。我见过有人拿着一个优化方案到处套结果在这个模型上有效换个模型就失效了。原因就是没有理解背后的原理。另外优化是一个权衡的过程。精度、速度、体积、功耗这四个指标往往不能同时最优。你得根据实际需求来决定优先级。比如做实时视频分析速度优先精度可以适当牺牲。做离线批处理精度优先速度可以放宽。最后不要忽视工程细节。量化时的校准集选择、剪枝时的敏感度分析、融合时的数值范围检查这些细节往往决定了优化的成败。我踩过的坑大部分都不是算法问题而是工程细节没处理好。如果你也在做模型优化欢迎交流。这个领域变化很快新的硬件、新的算法、新的工具层出不穷保持学习的心态很重要。 模型优化器实战：剪枝、量化与算子融合的工程化落地
1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它就是一个调参工具或者是一个自动搜超参的脚本。我刚开始接触的时候也这么想后来踩了几次坑才明白模型优化器真正做的事情是把一个“能跑但跑得不够好”的模型变成一个“跑得又快又稳又省”的模型。它关注的维度远不止准确率一个指标还包括推理延迟、显存占用、吞吐量、功耗甚至部署到边缘设备之后的冷启动时间。你可以把它理解成汽车改装。原始模型是出厂状态能开但未必适合你的路况。模型优化器就是那个改装师傅根据你要跑的路——是高速巡航还是山路爬坡——来决定换轮胎、调悬挂还是刷ECU。不同路况对应不同优化策略没有一套万能方案。这篇文章适合谁看如果你手里有一个已经训练完的模型想把它塞进手机、嵌入式设备或者低配服务器那模型优化器就是你绕不开的一环。如果你还在训练阶段想提前了解后续部署会遇到什么约束这篇文章也能帮你少走弯路。我会从整体设计思路讲到具体实操再到常见问题的排查尽量把每个环节的“为什么”说清楚。2. 整体设计思路与方案选型2.1 为什么不能只做量化或只做剪枝很多人一提到模型优化第一反应就是量化。把FP32转成INT8模型体积直接小四倍推理速度也能提升不少。但实际操作下来你会发现单独做量化经常遇到精度掉点严重的问题尤其是那些对数值敏感的层比如LayerNorm或者Softmax之前的全连接层。这时候就需要配合其他技术一起用。模型优化器的整体设计思路我倾向于把它分成三个层次结构层、数值层和调度层。结构层负责剪枝和蒸馏减少参数量和计算量数值层负责量化和混合精度降低单次计算的成本调度层负责算子融合和内存复用减少数据搬运的开销。这三层不是孤立的而是互相影响的。比如你剪枝之后某些层的通道数变了量化时的scale因子也要重新校准。我试过只做INT8量化在一个图像分类模型上精度掉了2.3个百分点。后来加上通道剪枝把冗余通道去掉之后再量化精度只掉了0.4个百分点推理速度反而比纯量化还快。原因很简单剪枝去掉了那些对输出贡献很小的通道量化时的噪声就不会被放大。2.2 优化策略的选择依据选择什么优化策略核心看三个约束硬件平台、延迟要求和精度容忍度。硬件平台决定了你有哪些指令集可用比如某些移动端芯片对INT8有专门加速但对FP16支持不好。延迟要求决定了你能接受多大的计算量实时应用和离线批处理完全是两个思路。精度容忍度则决定了你能把模型压到多小。我一般会先做一个简单的决策表把这三个约束列出来然后对照下表选择初始方案硬件平台延迟要求精度容忍度推荐初始方案移动端CPU高中通道剪枝 INT8量化移动端GPU高低算子融合 FP16边缘NPU极高中结构化剪枝 INT8量化服务器GPU低高混合精度 算子融合嵌入式MCU极高低知识蒸馏 二值化这个表不是绝对的但能帮你快速缩小选择范围。比如你跑在移动端CPU上延迟要求高精度容忍度中等那就先试通道剪枝加INT8量化。如果精度掉太多再考虑用知识蒸馏把大模型的能力迁移过来。2.3 工具链的选型逻辑工具链的选择同样重要。市面上有很多模型优化框架有偏训练的有偏推理的还有端到端的。我选工具链主要看三点是否支持目标硬件、是否容易调试、社区是否活跃。支持目标硬件是硬性条件。你选了一个只支持服务器GPU的优化器想部署到手机上就是白费功夫。容易调试也很关键有些工具链优化完之后就是一个黑盒精度掉了你都不知道是哪一层出的问题。社区活跃度决定了你遇到问题能不能快速找到答案。我个人的习惯是先用训练框架自带的优化工具做一轮比如PyTorch的量化工具或者TensorFlow的TF-TRT。这些工具和训练框架结合紧密调试起来方便。如果效果不够再上专门的推理优化框架比如TensorRT或者OpenVINO。最后如果还不够才考虑手写算子或者用TVM这样的编译器方案。注意不要一上来就用最复杂的工具链。我见过有人直接上TVM结果调了两周连模型都跑不通。先从简单的开始逐步深入效率反而更高。3. 核心细节解析与实操要点3.1 剪枝怎么剪才不伤筋骨剪枝的核心思想是去掉模型中不重要的连接或通道。但“不重要”怎么定义直接决定了剪枝的效果。常见的有基于权重大小的、基于梯度的、基于激活值的。我一般用基于权重大小的L1范数简单有效计算量也小。具体操作上先对每一层的卷积核计算L1范数然后按大小排序去掉最小的那部分。但这里有个坑不能每层都剪同样的比例。有些层本身就很紧凑你再剪就伤到关键特征了。我的做法是先做一个敏感度分析对每一层单独剪枝看精度掉多少然后根据敏感度来决定每层的剪枝比例。敏感度分析的具体步骤是这样的选一个校准集大概几百张图就够了。然后对第i层剪掉10%的通道重新评估精度记录精度下降值。对所有层都做一遍你就得到了一张敏感度表。敏感度低的层可以多剪敏感度高的层少剪或者不剪。我实测下来一个ResNet-50在ImageNet上用敏感度分析指导剪枝剪掉40%的通道精度只掉0.8个百分点。如果每层都剪40%精度直接掉5个点以上。这个差距非常明显。3.2 量化校准集的选择比算法更重要量化是把浮点权重和激活值映射到低比特整数。最常见的INT8量化核心是找到合适的scale和zero_point。算法本身不复杂但校准集的选择往往被忽视。校准集的作用是统计激活值的分布从而确定scale。如果校准集和实际推理数据的分布不一致scale就会偏量化误差就会大。我见过有人用训练集的一小部分做校准结果在实际场景中精度掉得厉害。原因很简单训练集和实际场景的数据分布不一样。我的做法是从实际场景中采样校准集至少覆盖所有类别和典型场景。比如做行人检测校准集里就要有白天、夜晚、雨天、雾天各种场景的图片。数量不用太多500到1000张就够了但分布一定要全。还有一个细节是校准算法的选择。常见的有MinMax、KL散度、MSE。MinMax最简单但对异常值敏感。KL散度对分布形状的拟合更好但计算量大一些。我一般先用KL散度如果速度不够再换MinMax。3.3 算子融合减少内存搬运才是关键算子融合是把多个连续的小算子合并成一个大的算子减少中间结果的读写。比如ConvBNReLU如果不融合需要把Conv的输出写回内存再读出来做BN再写回去做ReLU。融合之后中间结果直接在寄存器或者缓存里传递省了两次内存读写。内存读写往往是推理的瓶颈尤其是移动端。我做过一个测试一个简单的ConvBNReLU结构融合之后推理速度提升了将近30%。计算量没变省的就是内存搬运的时间。但算子融合不是万能的。有些算子融合之后会增大寄存器压力反而导致性能下降。比如把两个大卷积融合在一起寄存器不够用就会溢出到本地内存速度反而更慢。所以融合之后一定要实测不能想当然。3.4 知识蒸馏让小模型学会大模型的“感觉”知识蒸馏是用一个大模型教师来指导一个小模型学生训练。学生不仅学习真实标签还学习教师的输出分布。这个输出分布包含了类别之间的相似性信息比如“猫”和“狗”的相似度比“猫”和“汽车”高这些信息在硬标签里是没有的。蒸馏的温度参数很关键。温度高的时候输出分布更平滑类别之间的相似性信息更丰富。温度低的时候分布更尖锐接近硬标签。我一般先用较高的温度比如4到6训练一段时间再降到1继续训练。这样学生先学到类别间的结构信息再细化到具体分类。还有一个技巧是对教师模型做集成。用多个教师模型的平均输出作为软标签比单个教师效果更好。我试过用三个不同初始化的教师模型做集成学生模型的精度比用单个教师高了1.2个百分点。4. 实操过程与核心环节实现4.1 环境准备与依赖安装实操之前先把环境搭好。我一般用Python 3.8以上PyTorch 1.12以上CUDA 11.3以上。这些版本组合比较稳定社区支持也好。conda create -n model-optimizer python3.8 conda activate model-optimizer pip install torch1.12.0 torchvision0.13.0 pip install onnx1.12.0 onnxruntime1.12.0 pip install tensorrt8.4.1.5TensorRT的安装稍微麻烦一点需要先下载对应的tar包然后解压配置环境变量。具体步骤可以参考官方文档这里不展开。如果你不用NVIDIA的硬件可以跳过TensorRT用ONNX Runtime或者OpenVINO代替。提示安装TensorRT之前先确认CUDA版本匹配。我踩过一次坑CUDA是11.6TensorRT装的是8.2结果各种报错。后来换成TensorRT 8.4才正常。4.2 剪枝的代码实现剪枝的实现分三步计算敏感度、确定剪枝比例、执行剪枝。下面是一个简化的代码示例基于PyTorch。import torch import torch.nn as nn def compute_sensitivity(model, layer_name, prune_ratio, calib_loader): 计算某一层剪枝后的精度下降 original_acc evaluate(model, calib_loader) # 对指定层进行剪枝 prune_layer(model, layer_name, prune_ratio) pruned_acc evaluate(model, calib_loader) # 恢复原状 restore_layer(model, layer_name) return original_acc - pruned_acc def prune_layer(model, layer_name, ratio): 对指定层按L1范数剪枝 for name, module in model.named_modules(): if name layer_name and isinstance(module, nn.Conv2d): weight module.weight.data # 计算每个输出通道的L1范数 l1_norm weight.abs().sum(dim(1, 2, 3)) # 确定要保留的通道数 keep_num int(len(l1_norm) * (1 - ratio)) # 保留L1范数最大的通道 _, keep_idx l1_norm.topk(keep_num) # 重新构建卷积层 new_conv nn.Conv2d( module.in_channels, keep_num, module.kernel_size, module.stride, module.padding, biasmodule.bias is not None ) new_conv.weight.data weight[keep_idx] if module.bias is not None: new_conv.bias.data module.bias.data[keep_idx] # 替换原层 replace_module(model, layer_name, new_conv)这段代码只是示意实际使用中还需要处理BN层和后续层的输入通道数变化。剪枝之后下一层的输入通道数也要相应调整否则会报维度不匹配。4.3 量化的校准与部署量化分两步校准和转换。校准是统计激活值分布转换是把浮点权重转成整数。下面以ONNX Runtime的量化工具为例。from onnxruntime.quantization import quantize_static, CalibrationDataReader class DataReader(CalibrationDataReader): def __init__(self, calib_data): self.calib_data calib_data self.index 0 def get_next(self): if self.index len(self.calib_data): return None data self.calib_data[self.index] self.index 1 return {input: data} # 加载ONNX模型 onnx_model model.onnx # 准备校准数据 calib_data load_calibration_data(calib_images, num500) # 执行量化 quantize_static( onnx_model, model_quantized.onnx, DataReader(calib_data), quant_formatQDQ, per_channelTrue, reduce_rangeFalse )per_channelTrue表示每个通道单独计算scale比整个张量共用一个scale精度更高。reduce_rangeFalse表示使用完整的INT8范围如果硬件对INT8支持不好可以设为True用INT7来避免溢出。量化完成之后一定要在验证集上评估精度。如果掉点超过1个百分点就要考虑调整校准集或者换量化算法。4.4 算子融合的配置算子融合一般在推理框架里配置。以TensorRT为例可以在构建engine的时候指定融合策略。import tensorrt as trt builder trt.Builder(logger) network builder.create_network(1 int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser trt.OnnxParser(network, logger) with open(model.onnx, rb) as f: parser.parse(f.read()) config builder.create_builder_config() config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 30) config.set_flag(trt.BuilderFlag.FP16) config.set_flag(trt.BuilderFlag.INT8) # 设置校准器 config.int8_calibrator MyCalibrator(calib_data) # 构建engine engine builder.build_engine(network, config)TensorRT会自动做算子融合不需要手动指定。但你可以通过设置BuilderFlag来控制融合的激进程度。比如开启FP16和INT8之后TensorRT会优先选择低精度的融合方案。注意TensorRT构建engine的时间可能比较长尤其是大模型。我建议先用小模型跑通流程再上大模型。另外engine是和硬件绑定的换显卡之后需要重新构建。5. 常见问题与排查技巧实录5.1 精度掉点严重怎么办精度掉点是模型优化最常见的问题。排查思路是从后往前查先看量化再看剪枝最后看融合。如果量化之后精度掉得多先检查校准集。校准集的分布是否和实际数据一致数量是否足够我一般要求校准集至少覆盖所有类别每个类别至少50张。如果校准集没问题再检查量化算法。MinMax换成KL散度试试per_tensor换成per_channel试试。如果剪枝之后精度掉得多先看剪枝比例是不是太高了。用敏感度分析重新确定每层的比例。另外剪枝之后最好做一轮微调用较小的学习率训练几个epoch精度能恢复不少。如果融合之后精度掉点那可能是融合引入了数值误差。比如ConvBN融合的时候BN的均值和方差被吸收到Conv的权重里如果BN的方差很小吸收之后权重会变得很大量化的时候容易溢出。这时候可以尝试不融合BN或者用更高的精度做融合。5.2 推理速度没有提升优化之后速度没提升甚至变慢了这种情况我也遇到过几次。原因通常有三个内存瓶颈、算子不支持、调度开销。内存瓶颈是最常见的。你减少了计算量但内存读写没减少速度就上不去。这时候要检查算子融合是否生效中间结果有没有被写回内存。可以用推理框架的profiling工具看一下各层的时间分布找到瓶颈层。算子不支持也很常见。你量化成INT8但硬件不支持某些INT8算子框架就回退到FP32速度反而更慢。这时候要查硬件的指令集支持列表确认关键算子都有加速。调度开销在小模型上比较明显。模型太小计算量本来就少调度开销占比就大了。这时候可以考虑把多个小模型合并成一个大模型或者用批处理来均摊调度开销。5.3 常见问题速查表问题现象可能原因排查方法解决方案量化后精度掉点多校准集分布不一致对比校准集和验证集分布重新采样校准集剪枝后精度掉点多剪枝比例过高做敏感度分析降低敏感层的剪枝比例推理速度没提升内存瓶颈profiling看各层耗时加强算子融合推理速度没提升算子不支持查硬件指令集换支持的量化方案融合后精度掉点数值溢出检查权重范围不融合BN或提高精度模型体积没变小量化未生效检查模型文件大小确认量化配置正确5.4 独家避坑技巧第一个技巧是分阶段优化。不要一次性把所有优化都加上而是一个一个来。先剪枝评估精度和速度再量化再评估最后融合。这样出了问题容易定位。第二个技巧是保留原始模型。每次优化之前都备份一份原始模型出问题了可以随时回退。我见过有人优化完之后精度掉得厉害想回退发现原始模型被覆盖了只能重新训练。第三个技巧是用小模型验证流程。大模型优化一次可能要几个小时小模型几分钟就搞定了。先用小模型把流程跑通确认没问题再上大模型能省很多时间。第四个技巧是关注端到端指标。不要只看模型本身的推理时间还要看前后处理的时间。有时候模型推理快了但前后处理成了瓶颈端到端延迟反而没降。我一般会用端到端的profiling工具把整个流程的时间都测出来。6. 优化效果的评估与迭代6.1 评估指标的选择评估优化效果不能只看精度和速度两个指标。我一般会看四个维度精度、延迟、吞吐量、资源占用。精度包括Top-1和Top-5延迟包括平均延迟和P99延迟吞吐量包括单batch和多batch资源占用包括显存和功耗。P99延迟很重要但经常被忽视。平均延迟低不代表用户体验好如果P99延迟很高说明有长尾请求用户体验会很差。我一般要求P99延迟不超过平均延迟的1.5倍。功耗在移动端尤其重要。有些优化方案虽然速度快但功耗高手机发热严重用户体验反而不好。我一般会用功耗计实测或者用框架自带的功耗估算工具。6.2 迭代优化的节奏优化不是一次性的而是一个迭代的过程。我一般分三轮第一轮做基础优化剪枝加量化看效果第二轮做精细调优调整剪枝比例和量化参数第三轮做端到端优化包括前后处理和调度。每一轮之后都要做完整的评估记录各项指标。如果某一轮效果不好就回退到上一轮换一个方案再试。我一般会维护一个实验记录表记录每次优化的配置和结果方便对比和回溯。迭代的终止条件一般是达到目标指标或者优化收益小于成本。如果某一轮优化只提升了1%的速度但花了三天时间那就不值得继续了。6.3 实际案例的复盘我拿一个实际项目来复盘。这是一个目标检测模型原始模型在服务器GPU上跑延迟50毫秒精度mAP 42.3。目标是把延迟降到20毫秒以内精度掉点不超过1个点。第一轮通道剪枝剪掉30%的通道。精度掉到41.5延迟降到38毫秒。精度掉点0.8在容忍范围内但延迟还不够。第二轮INT8量化用KL散度校准。精度掉到40.8延迟降到22毫秒。精度掉点1.5超出容忍范围。第三轮调整剪枝比例敏感层少剪不敏感层多剪。整体剪枝比例还是30%但分布更合理。精度回到41.6延迟降到21毫秒。第四轮算子融合把ConvBNReLU融合。精度不变延迟降到18毫秒。达标。这个案例说明单一优化手段往往不够需要组合使用。而且每一轮都要评估不能想当然。7. 一些个人体会模型优化这件事工具和算法固然重要但更重要的是对模型和硬件的理解。你得知道模型的瓶颈在哪里硬件的优势在哪里才能找到最优的优化方案。我见过有人拿着一个优化方案到处套结果在这个模型上有效换个模型就失效了。原因就是没有理解背后的原理。另外优化是一个权衡的过程。精度、速度、体积、功耗这四个指标往往不能同时最优。你得根据实际需求来决定优先级。比如做实时视频分析速度优先精度可以适当牺牲。做离线批处理精度优先速度可以放宽。最后不要忽视工程细节。量化时的校准集选择、剪枝时的敏感度分析、融合时的数值范围检查这些细节往往决定了优化的成败。我踩过的坑大部分都不是算法问题而是工程细节没处理好。如果你也在做模型优化欢迎交流。这个领域变化很快新的硬件、新的算法、新的工具层出不穷保持学习的心态很重要。