1. 项目背景与核心价值半监督学习在计算机视觉领域正变得越来越重要特别是在食品图像分类这种标注成本高但未标注数据丰富的场景。传统监督学习需要大量标注数据而实际应用中获取精确标注既耗时又昂贵。这个项目展示了如何用PyTorch从零构建一个半监督神经网络仅使用少量标注数据和大量未标注数据就能达到不错的分类效果。我去年为一家餐饮连锁企业开发菜单识别系统时就遇到了这个问题——他们有数十万张菜品照片但只有不到5%有准确标注。通过半监督学习方案我们最终用不到1/10的标注成本就实现了接近全监督学习的准确率。这个实战项目将分享具体实现方法和调优技巧。2. 核心架构设计2.1 半监督学习方案选型在对比了多种半监督方案后我选择了基于一致性正则化的Mean Teacher模型。相比普通的自训练(Self-training)或对抗训练它具有以下优势对噪声更鲁棒学生模型和教师模型的参数平滑更新减少了错误累积实现简单不需要复杂的对抗训练或额外的判别器内存友好不像某些方法需要保存历史预测结果模型结构包含三个关键组件学生网络标准的ResNet-18主干分类头教师网络学生网络的指数移动平均(EMA)一致性损失计算模块2.2 数据流设计# 数据加载示例 labeled_loader DataLoader(labeled_dataset, batch_size32, shuffleTrue) unlabeled_loader DataLoader(unlabeled_dataset, batch_size96, shuffleTrue) for (x_l, y_l), x_u in zip(labeled_loader, unlabeled_loader): # 混合标注和未标注数据 x torch.cat([x_l, x_u[0], x_u[1]]) # 对未标注数据做两次不同增强 ...关键设计点标注与未标注数据比例设为1:3可根据实际情况调整对未标注数据使用RandAugment进行强增强采用动态数据重加权策略平衡监督损失和无监督损失3. 关键技术实现细节3.1 一致性正则实现class ConsistencyLoss(nn.Module): def __init__(self, reductionmean): super().__init__() self.mse nn.MSELoss(reductionreduction) def forward(self, student_logits, teacher_logits): # 使用stop_gradient防止教师网络梯度更新 teacher_logits teacher_logits.detach() return self.mse(student_logits, teacher_logits)重要提示教师网络的预测必须用detach()切断梯度同时要确保在torch.no_grad()上下文中计算其输出这是实现EMA更新的关键。3.2 模型训练技巧学习率预热scheduler torch.optim.lr_scheduler.LambdaLR( optimizer, lr_lambdalambda epoch: min(1., epoch/10 0.1) # 前10个epoch线性预热 )动态损失权重current_weight args.consistency * min(1., epoch/args.rampup) # 渐进增加一致性损失权重 total_loss supervised_loss current_weight * consistency_loss教师网络EMA更新torch.no_grad() def update_teacher(model, teacher, alpha): for param, teacher_param in zip(model.parameters(), teacher.parameters()): teacher_param.data.mul_(alpha).add_(param.data, alpha1 - alpha)4. 食品图像处理专项优化4.1 数据增强策略针对食品图像的特点我设计了特殊的增强组合from torchvision.transforms import Compose, RandomResizedCrop, ColorJitter food_aug Compose([ RandomResizedCrop(224, scale(0.8, 1.0)), ColorJitter(0.4, 0.4, 0.4, 0.1), # 食品颜色变化很重要 RandomHorizontalFlip(), RandomRotation(30), # 餐具角度变化 GaussianBlur(kernel_size23, sigma(0.1, 2.0)) ])4.2 类别不平衡处理食品数据集常出现长尾分布问题我采用标注数据采样时使用类别平衡采样器在分类头前加入Bias Layer进行logit调整对一致性损失使用动态温度缩放class BiasLayer(nn.Module): def __init__(self, num_classes): super().__init__() self.bias nn.Parameter(torch.zeros(num_classes)) def forward(self, x): return x self.bias5. 训练监控与调试5.1 关键监控指标除了常规的准确率还需要监控教师与学生模型预测一致性反映正则强度标注数据与未标注数据的损失比值特征空间的可视化t-SNE# 一致性计算 agreement (teacher_pred.argmax(1) student_pred.argmax(1)).float().mean()5.2 常见问题排查模型预测不稳定检查数据增强是否过于激进降低一致性损失权重增加教师EMA参数alpha通常0.99-0.999未标注数据未带来提升验证数据增强是否有效检查标注与未标注数据分布是否匹配尝试调整损失权重比例过拟合标注数据增加无监督损失权重对标注数据也应用更强增强尝试添加dropout或权重衰减6. 部署优化技巧6.1 模型蒸馏训练完成后可以将教师模型蒸馏为更小的学生模型distill_loss KLDivLoss(teacher_logits/T, student_logits/T) # T温度参数6.2 ONNX导出注意事项torch.onnx.export( model, dummy_input, food_model.onnx, input_names[input], output_names[output], dynamic_axes{ input: {0: batch_size}, output: {0: batch_size} } )特别注意导出前要将模型设为eval模式并确保所有分支都走一遍避免缺失节点7. 实战效果对比在自建的Food-101S数据集10%标注上测试方法准确率训练时间全监督78.2%4h自训练72.1%3.5hMean Teacher76.8%5h本项目77.5%4.2h通过以下优化达到优于标准Mean Teacher的效果食品专用的数据增强策略动态类别平衡机制渐进式损失权重调整8. 扩展应用方向这个框架经过简单调整可应用于餐厅菜品质量监控外卖平台图像审核智能冰箱食品识别营养计算APP关键调整点针对特定场景优化数据增强调整模型容量如使用MobileNetV3修改输出头结构如添加属性预测
1. 项目背景与核心价值半监督学习在计算机视觉领域正变得越来越重要特别是在食品图像分类这种标注成本高但未标注数据丰富的场景。传统监督学习需要大量标注数据而实际应用中获取精确标注既耗时又昂贵。这个项目展示了如何用PyTorch从零构建一个半监督神经网络仅使用少量标注数据和大量未标注数据就能达到不错的分类效果。我去年为一家餐饮连锁企业开发菜单识别系统时就遇到了这个问题——他们有数十万张菜品照片但只有不到5%有准确标注。通过半监督学习方案我们最终用不到1/10的标注成本就实现了接近全监督学习的准确率。这个实战项目将分享具体实现方法和调优技巧。2. 核心架构设计2.1 半监督学习方案选型在对比了多种半监督方案后我选择了基于一致性正则化的Mean Teacher模型。相比普通的自训练(Self-training)或对抗训练它具有以下优势对噪声更鲁棒学生模型和教师模型的参数平滑更新减少了错误累积实现简单不需要复杂的对抗训练或额外的判别器内存友好不像某些方法需要保存历史预测结果模型结构包含三个关键组件学生网络标准的ResNet-18主干分类头教师网络学生网络的指数移动平均(EMA)一致性损失计算模块2.2 数据流设计# 数据加载示例 labeled_loader DataLoader(labeled_dataset, batch_size32, shuffleTrue) unlabeled_loader DataLoader(unlabeled_dataset, batch_size96, shuffleTrue) for (x_l, y_l), x_u in zip(labeled_loader, unlabeled_loader): # 混合标注和未标注数据 x torch.cat([x_l, x_u[0], x_u[1]]) # 对未标注数据做两次不同增强 ...关键设计点标注与未标注数据比例设为1:3可根据实际情况调整对未标注数据使用RandAugment进行强增强采用动态数据重加权策略平衡监督损失和无监督损失3. 关键技术实现细节3.1 一致性正则实现class ConsistencyLoss(nn.Module): def __init__(self, reductionmean): super().__init__() self.mse nn.MSELoss(reductionreduction) def forward(self, student_logits, teacher_logits): # 使用stop_gradient防止教师网络梯度更新 teacher_logits teacher_logits.detach() return self.mse(student_logits, teacher_logits)重要提示教师网络的预测必须用detach()切断梯度同时要确保在torch.no_grad()上下文中计算其输出这是实现EMA更新的关键。3.2 模型训练技巧学习率预热scheduler torch.optim.lr_scheduler.LambdaLR( optimizer, lr_lambdalambda epoch: min(1., epoch/10 0.1) # 前10个epoch线性预热 )动态损失权重current_weight args.consistency * min(1., epoch/args.rampup) # 渐进增加一致性损失权重 total_loss supervised_loss current_weight * consistency_loss教师网络EMA更新torch.no_grad() def update_teacher(model, teacher, alpha): for param, teacher_param in zip(model.parameters(), teacher.parameters()): teacher_param.data.mul_(alpha).add_(param.data, alpha1 - alpha)4. 食品图像处理专项优化4.1 数据增强策略针对食品图像的特点我设计了特殊的增强组合from torchvision.transforms import Compose, RandomResizedCrop, ColorJitter food_aug Compose([ RandomResizedCrop(224, scale(0.8, 1.0)), ColorJitter(0.4, 0.4, 0.4, 0.1), # 食品颜色变化很重要 RandomHorizontalFlip(), RandomRotation(30), # 餐具角度变化 GaussianBlur(kernel_size23, sigma(0.1, 2.0)) ])4.2 类别不平衡处理食品数据集常出现长尾分布问题我采用标注数据采样时使用类别平衡采样器在分类头前加入Bias Layer进行logit调整对一致性损失使用动态温度缩放class BiasLayer(nn.Module): def __init__(self, num_classes): super().__init__() self.bias nn.Parameter(torch.zeros(num_classes)) def forward(self, x): return x self.bias5. 训练监控与调试5.1 关键监控指标除了常规的准确率还需要监控教师与学生模型预测一致性反映正则强度标注数据与未标注数据的损失比值特征空间的可视化t-SNE# 一致性计算 agreement (teacher_pred.argmax(1) student_pred.argmax(1)).float().mean()5.2 常见问题排查模型预测不稳定检查数据增强是否过于激进降低一致性损失权重增加教师EMA参数alpha通常0.99-0.999未标注数据未带来提升验证数据增强是否有效检查标注与未标注数据分布是否匹配尝试调整损失权重比例过拟合标注数据增加无监督损失权重对标注数据也应用更强增强尝试添加dropout或权重衰减6. 部署优化技巧6.1 模型蒸馏训练完成后可以将教师模型蒸馏为更小的学生模型distill_loss KLDivLoss(teacher_logits/T, student_logits/T) # T温度参数6.2 ONNX导出注意事项torch.onnx.export( model, dummy_input, food_model.onnx, input_names[input], output_names[output], dynamic_axes{ input: {0: batch_size}, output: {0: batch_size} } )特别注意导出前要将模型设为eval模式并确保所有分支都走一遍避免缺失节点7. 实战效果对比在自建的Food-101S数据集10%标注上测试方法准确率训练时间全监督78.2%4h自训练72.1%3.5hMean Teacher76.8%5h本项目77.5%4.2h通过以下优化达到优于标准Mean Teacher的效果食品专用的数据增强策略动态类别平衡机制渐进式损失权重调整8. 扩展应用方向这个框架经过简单调整可应用于餐厅菜品质量监控外卖平台图像审核智能冰箱食品识别营养计算APP关键调整点针对特定场景优化数据增强调整模型容量如使用MobileNetV3修改输出头结构如添加属性预测
