1. 项目概述从零到一构建专属视频识别引擎最近在做一个智能安防相关的项目需要实时识别监控视频里的特定物品比如安全帽、反光衣这些。网上现成的模型要么识别类别不对要么精度达不到要求。折腾了一圈最后还是决定自己动手用YOLOv5来训练一个完全贴合自己业务需求的目标检测模型。整个过程走下来从数据准备、模型训练到最终的视频推理部署踩了不少坑也积累了一些实战经验。今天就把这套完整的流程包括那些教程里不会细说的细节和避坑指南系统地梳理出来。无论你是想识别生产线上的零件缺陷还是分析交通视频中的车辆行人这套方法都能给你提供一个清晰、可落地的技术路线。简单来说这个项目就是利用YOLOv5这个当前工业界和学术界都备受青睐的目标检测框架针对你自己的图片数据集进行训练得到一个定制化的权重文件.pt。然后利用这个训练好的模型去处理视频文件或视频流实现对你所关心目标的实时、批量检测与标注。它完美解决了通用模型“水土不服”的问题让你能精准识别业务场景下的特定目标。整个过程涉及环境搭建、数据标注、模型训练调参、视频推理优化等多个环节我会逐一拆解确保你跟着做就能出结果。2. 核心思路与方案选型为什么是YOLOv5在开始动手之前我们得先搞清楚为什么选YOLOv5以及整个项目的技术脉络是怎样的。目标检测的框架很多从老牌的Faster R-CNN到后来的SSD再到YOLO系列各有优劣。我选择YOLOv5主要是基于下面几个非常实际的考虑。2.1 YOLOv5的压倒性优势首先速度与精度的平衡做得非常好。YOLOYou Only Look Once本身就是单阶段检测器的代表其“端到端”的设计思想让它在速度上天生有优势。YOLOv5在YOLOv4的基础上用PyTorch框架重写继承了前代的优秀技巧如Mosaic数据增强、自适应锚框计算同时代码结构极其清晰、模块化程度高。这意味着我们修改起来非常方便无论是调整网络结构还是修改数据加载逻辑。其次生态极其友好。YOLOv5的GitHub仓库维护非常活跃文档详细提供了从纳米n到超大x不同尺度的预训练模型我们可以根据自己设备的算力和对精度的要求灵活选择。更重要的是它提供了一整套完整的工具链数据格式转换脚本、训练脚本、验证脚本、推理脚本、模型导出脚本支持ONNX、TensorRT等。我们几乎不需要自己再造轮子跟着它的“套路”走就能完成整个流程。最后社区支持强大。任何你遇到的问题几乎都能在GitHub的Issues里找到讨论或者通过搜索引擎找到解决方案。这对于我们解决训练过程中的各种玄学问题比如Loss不下降、显存溢出至关重要。2.2 项目整体技术路线图整个项目的流程可以概括为以下四个核心阶段这是一个标准的机器学习项目闭环数据准备与标注这是所有AI项目的基石也是耗时最长、最容易出问题的一环。我们需要收集包含目标物体的图片并用标注工具如LabelImg框出目标并打上标签最后整理成YOLOv5要求的特定格式。环境配置与模型训练搭建PyTorch和YOLOv5的运行环境准备好我们的数据集选择合适的预训练模型进行迁移学习通过调整超参数开始训练并监控训练过程。模型评估与优化训练完成后使用模型在预留的验证集上测试性能通过指标如mAP判断模型好坏。如果效果不理想需要回到前两步检查数据质量或调整训练策略。视频推理与应用将训练好的最佳模型用于视频识别。这里涉及视频帧的读取、模型的逐帧推理、结果的可视化画框、标标签以及处理后的视频合成或实时展示。这个路线图看起来清晰但每一步都有大量细节。接下来我们就深入每个环节看看具体怎么做以及会遇到哪些“坑”。3. 数据准备万丈高楼平地起如果说训练模型是“炼丹”那么数据就是“药材”。药材不好再好的丹炉和火候也炼不出仙丹。数据准备阶段的目标是产出格式正确、质量达标的数据集它直接决定了模型性能的天花板。3.1 数据收集的核心原则收集图片时不能随便网上找点图就完事必须紧扣你的应用场景。如果你的模型最终要用于工厂摄像头那么你的训练图片最好就来自类似的工业环境光照条件、拍摄角度、背景复杂度都要尽可能接近真实情况。这里有几个关键原则多样性目标物体要在不同光照强光、逆光、昏暗、不同角度正面、侧面、俯视、不同尺度远距离小目标、近距离大目标、不同遮挡程度下出现。代表性背景要多样避免所有图片都在同一个简单背景下拍摄否则模型容易过拟合到背景上。数据量这是一个常见问题。对于YOLOv5每个类别至少需要1500张以上的图片才能保证一个基础可用的模型。当然更多数据通常意味着更好的性能。如果数据量实在有限就必须依靠强大的数据增强技术。3.2 数据标注细致活见真章标注工具我强烈推荐LabelImg开源免费支持YOLO格式保存为.txt文件。标注过程有几个必须注意的细节框要尽可能紧贴目标物体既不要留太多背景也不要切掉物体的一部分。一个松散的框会让模型学习到无关的背景特征。标签名称要一致。比如你定义了一个类别叫“hardhat”那么所有安全帽的标签都必须是“hardhat”不能有时是“hard_hat”有时是“helmet”。建议提前建立一个classes.txt文件来统一管理类别名。对于被遮挡的物体如果还能判断出其完整轮廓就应该标注如果遮挡超过一半以上难以判断通常选择不标或者根据项目要求谨慎处理。标注完一定要复查漏标、错标、框不准是导致模型性能不佳的最常见原因之一。可以抽样检查或者用YOLOv5自带的--data参数配合--task study来可视化检查标注是否对齐。3.3 YOLOv5数据格式详解YOLOv5要求的数据格式很简单但必须严格遵守。假设你的数据集根目录叫my_dataset结构应该如下my_dataset/ ├── images/ │ ├── train/ # 存放训练图片如 0001.jpg, 0002.jpg... │ └── val/ # 存放验证图片 └── labels/ ├── train/ # 存放训练标签与训练图片一一对应如 0001.txt, 0002.txt... └── val/ # 存放验证标签每张图片对应一个同名的.txt标签文件。标签文件里的每一行代表一个标注框格式为class_id x_center y_center width height这里的坐标是归一化后的值即相对于图片宽度和高度的比例。例如一个框的中心点x坐标是图片宽度的一半那么x_center 0.5。计算方式如下x_center (框左上角x坐标 框宽度/2) / 图片宽度 y_center (框左上角y坐标 框高度/2) / 图片高度 width 框宽度 / 图片宽度 height 框高度 / 图片高度class_id是类别的索引从0开始。你需要一个data.yaml文件来告诉YOLOv5这些信息。这个文件是项目的核心配置文件之一。# data.yaml path: ../my_dataset # 数据集根目录 train: images/train # 训练图片相对路径 val: images/val # 验证图片相对路径 # 类别数量 nc: 2 # 类别名称列表顺序必须与class_id对应 names: [person, hardhat]注意路径可以使用绝对路径也可以使用相对于YOLOv5项目根目录的相对路径。确保路径正确是避免“找不到图片”错误的关键。4. 环境搭建与模型训练实战环境配置是第一步也是最容易出问题的一步。很多人在这里就被劝退了其实只要按步骤来很简单。4.1 一步到位的环境配置我推荐使用Conda来管理Python环境能有效避免包冲突。# 1. 创建并激活一个虚拟环境 conda create -n yolov5 python3.8 conda activate yolov5 # 2. 安装PyTorch以CUDA 11.3为例请根据你的显卡驱动去PyTorch官网选择对应命令 pip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113 # 3. 克隆YOLOv5仓库 git clone https://github.com/ultralytics/yolov5 cd yolov5 # 4. 安装依赖 pip install -r requirements.txt安装完成后运行python detect.py --weights yolov5s.pt --source data/images来测试环境是否正常。如果能看到对示例图片的检测结果说明环境OK。4.2 开始训练参数里的学问训练命令很简单但里面的参数每一个都有讲究。假设我们已经准备好了data.yaml文件并将其放在yolov5/data/目录下。python train.py --img 640 --batch 16 --epochs 100 --data data/my_data.yaml --weights yolov5s.pt --project runs/train --name exp1我们来拆解这些关键参数--img 640输入图片的尺寸。YOLOv5会统一将图片缩放到这个尺寸进行训练。更大的尺寸如1280能检测到更小的物体但会显著增加显存消耗和训练时间。640是一个在精度和速度间很好的平衡点。--batch 16批大小。一次迭代送入模型的图片数量。这个值受你的显卡显存限制。如果出现“CUDA out of memory”错误首先尝试减小batch或者减小--img尺寸。RTX 3060 12G通常可以跑batch16, img640。--epochs 100训练轮数。所有训练数据被完整遍历一次称为一个epoch。轮数太少模型学不够太多可能导致过拟合。100是一个常用的起点你可以观察训练过程中的损失曲线来决定是否提前停止或继续增加。--data data/my_data.yaml指向你的数据集配置文件。--weights yolov5s.pt加载预训练权重。这是迁移学习的关键能极大加快收敛速度并提升最终性能。yolov5s.pt是最小的模型速度快。如果你追求精度可以用yolov5m.pt或yolov5l.pt。--project和--name指定训练日志和结果输出的目录。所有训练记录包括权重文件、损失曲线、指标图表都会保存在runs/train/exp1下。4.3 训练过程监控与调参心得训练开始后控制台会输出日志更重要的是要关注TensorBoardYOLOv5自动集成的可视化结果。在另一个终端运行tensorboard --logdir runs/train然后在浏览器打开localhost:6006。这里你会看到几个关键的曲线train/box_loss,train/obj_loss,train/cls_loss这三个训练损失应该随着epoch增加而稳步下降。如果震荡剧烈或长时间不降可能是学习率太大、数据有问题或模型复杂度不匹配。metrics/mAP_0.5和metrics/mAP_0.5:0.95这是衡量模型精度的核心指标。mAP0.5表示在IoU阈值为0.5时的平均精度。这个值会随着训练逐渐上升最终趋于平稳。我们训练的目标就是让这个值尽可能高。val/开头的损失验证集上的损失。理想情况下它应该和训练损失同步下降。如果训练损失下降但验证损失上升这是典型的过拟合信号说明模型只记住了训练数据没有学会泛化。解决办法包括增加数据增强、使用更简单的模型如从yolov5l换到yolov5m、加入正则化如权重衰减或及早停止训练。调参经验对于新手我建议先使用默认参数跑一遍。如果效果不佳第一个调整的通常是学习率--lr0。默认是0.01如果损失震荡可以尝试调小到0.001如果下降太慢可以稍微调大。第二个是数据增强强度YOLOv5默认开启了Mosaic、MixUp等很强的增强如果数据集很小这些增强非常有用但如果数据集本身已经很大很丰富有时减弱增强通过修改hyp.yaml中的相关参数反而能提升精度。5. 模型评估与性能优化策略训练结束后在runs/train/exp1/weights/目录下你会得到两个最重要的权重文件best.pt验证集上表现最好的权重和last.pt最后一轮的权重。我们肯定使用best.pt。5.1 定量评估看懂指标报告使用以下命令在验证集上评估模型python val.py --weights runs/train/exp1/weights/best.pt --data data/my_data.yaml --img 640运行后会输出一份详细的评估报告你需要关注这几个核心指标指标含义解读Precision查准率模型预测为正的样本中真正为正的比例。越高说明误报越少。Recall查全率所有真实为正的样本中被模型预测为正的比例。越高说明漏报越少。mAP0.5IoU0.5时的平均精度最核心的指标。综合了Precision和Recall值在0~1之间越接近1越好。对于一般应用0.7以上算不错0.8以上很好0.9以上非常优秀。mAP0.5:0.95IoU从0.5到0.95的平均mAP更严格的指标要求预测框与真实框的重合度更高。通常比mAP0.5低很多。如果mAP值不理想不要急着调模型首先应该分析错误。YOLOv5的验证会生成一个val_batchX_labels.jpg和val_batchX_pred.jpg的对比图你可以直观地看到哪些目标被漏检了False Negative哪些背景被误检了False Positive。漏检多可能是目标太小、遮挡严重需要增加针对小目标的训练数据或使用更小的检测网格误检多可能是背景干扰需要增加负样本不含目标的图片或加强数据增强。5.2 优化策略从数据、模型到训练技巧根据评估结果可以从以下几个层面进行优化数据层面最有效清洗数据剔除标注质量差的图片。增加数据特别是针对模型表现差的场景如夜间、遮挡进行针对性采集或生成使用GAN等。数据增强调优在hyp.yaml中调整增强参数。例如增加hsv_h色调抖动来模拟不同光照增加translate平移来提升模型对目标位置变化的鲁棒性。模型层面更换模型尺度如果yolov5s精度不够但速度要求高可以试试yolov5m如果显存和速度允许yolov5l或yolov5x通常能带来精度提升。修改网络结构进阶YOLOv5的模型定义在models/目录下你可以尝试替换其中的CSP模块、SPPF模块等但这需要较强的深度学习背景。训练技巧学习率调度使用余弦退火Cosine Annealing或带热重启的调度器有助于模型跳出局部最优。多尺度训练在train.py中设置--multi-scale让模型在训练时随机接受不同尺寸的输入提升对不同尺度目标的适应能力。早停Early Stopping如果验证集损失连续多个epoch不降反升就停止训练防止过拟合。6. 视频识别推理让模型动起来模型训练评估好就到了最终的应用环节——视频识别。YOLOv5的detect.py脚本已经为我们做好了大部分工作。6.1 基础视频推理处理一个本地视频文件非常简单python detect.py --weights runs/train/exp1/weights/best.pt --source my_video.mp4 --conf 0.25 --img 640--source可以接图片、视频、文件夹路径甚至是摄像头ID如0表示电脑自带摄像头或RTSP流地址如rtsp://...。--conf置信度阈值。只有预测框的置信度高于此值的才会被显示。调高如0.5会让结果更可靠但可能漏检调低如0.1会检测到更多目标但误报也会增多。需要根据实际场景权衡。--img推理时输入的尺寸通常与训练时保持一致。运行后结果会保存在runs/detect/exp目录下生成一个带检测框的my_video.mp4文件。6.2 性能优化与实用技巧直接使用默认参数处理视频可能会遇到速度慢、显存占用高等问题。下面是一些提升效率的实战技巧调整推理尺寸--img 640是平衡点。如果你对远处小目标不敏感可以尝试--img 480甚至320速度会大幅提升。反之如果视频里有很多小目标可能需要增大到--img 1280。使用半精度推理添加--half参数使用FP16半精度进行计算能在几乎不损失精度的情况下提升推理速度并降低显存占用特别适合高端显卡。批处理如果是对大量视频文件进行离线处理可以将--source指向一个包含视频的文件夹程序会自动批量处理。自定义输出如果你想获取检测框的坐标、类别等原始数据而不是仅仅保存视频可以修改detect.py或使用YOLOv5提供的Python API。核心代码如下import torch model torch.hub.load(ultralytics/yolov5, custom, pathruns/train/exp1/weights/best.pt) results model(my_video.mp4) # 或者 model(frame) 对单帧处理 # results.pandas().xyxy[0] 可以获取当前帧的检测结果DataFrame这样你就能将检测结果存入数据库或触发其他业务逻辑了。处理视频流对于摄像头或网络流--source 0或--source ‘rtsp://...’即可。需要注意的是处理实时流时帧率FPS是关键。你可以在推理循环中计算并显示FPS如果达不到要求就需要通过上述方法减小尺寸、半精度进行优化或者考虑使用更快的模型如YOLOv5n。6.3 一个常见的坑视频编解码有时你会发现处理视频的速度很慢但GPU利用率并不高。这很可能是视频解码成了瓶颈。detect.py默认使用OpenCV读取视频其解码是在CPU上进行的。对于高分辨率视频CPU解码可能跟不上GPU推理的速度。解决方案使用硬件加速解码。如果你有NVIDIA显卡可以安装CUDA版本的OpenCV或使用PyAV库并配置其使用GPU解码。更简单的方法是使用--device参数指定GPU进行推理虽然解码仍在CPU但至少推理部分在GPU能缓解一部分压力。对于极端情况可以考虑先将视频解压成图像序列再用YOLOv5处理文件夹但这会占用大量磁盘空间。7. 常见问题排查与实战心得在整个流程中你几乎一定会遇到下面这些问题。我把它们和解决方案整理出来希望能帮你节省大量时间。7.1 训练阶段问题问题Loss损失居高不下或为NaN。排查首先检查数据标注格式是否正确特别是归一化坐标是否在[0,1]区间内。然后检查学习率是否设置过高尝试将--lr0从0.01降到0.001。最后检查数据中是否有损坏的图片或标签文件。问题mAP很低模型好像没学到东西。排查最可能的原因是数据问题。用detect.py在训练集图片上跑一下看模型能不能检测出目标此时模型是随机初始化的效果应该很差但至少应该有大量随机框。如果连随机框都没有可能是数据加载路径错了。确保data.yaml中的路径正确。其次检查类别数nc和类别名names是否与标签文件匹配。问题显存不足CUDA out of memory。解决减小--batch-size如从16减到8。如果还不行减小--img尺寸如从640减到512。也可以尝试使用梯度累积--accumulate模拟更大的batch size。7.2 推理阶段问题问题检测速度很慢FPS很低。解决1) 使用更小的模型如从yolov5l.pt换到yolov5s.pt。2) 减小推理尺寸--img。3) 开启半精度--half。4) 检查是否是视频解码瓶颈见6.3节。问题误检很多背景里的东西老是被误认成目标。解决提高置信度阈值--conf如从0.25提高到0.5。如果问题依旧说明训练数据中负样本不包含目标的背景不足或者背景与目标有相似特征。需要补充负样本图片到训练集中并在标注时将其类别标签留空不标注任何框。问题小目标检测不到。解决1) 增加训练数据中该小目标的样本数量。2) 使用更大的输入分辨率--img进行训练和推理如1280。3) 修改模型结构使用更浅的下采样层如将model.yaml中的stride减小但这属于进阶操作。7.3 我的几点核心心得数据质量远大于模型调参。花80%的时间去收集、清洗、标注高质量的数据比盲目调整超参数要有效得多。一个干净、丰富、有代表性的数据集是成功的一半。从简单开始。先用yolov5s.pt和小批量数据跑通整个流程确保代码、环境、数据格式都没问题。然后再逐步换大模型、增加数据、精细调参。善用可视化工具。TensorBoard是你的眼睛一定要用它来监控训练过程。detect.py生成的结果图片和视频是检验模型好坏最直观的方式。理解你的评价指标。不要只看一个mAP要结合Precision和Recall分析模型到底是误报多还是漏报多这对业务应用至关重要。安防场景可能要求高Recall宁可错杀不可放过而消费级产品可能要求高Precision用户体验要好。视频推理是系统工程。训练出一个高mAP的模型只是第一步将其部署到实际视频流中并满足实时性、稳定性要求还需要考虑工程优化如模型量化TensorRT、多线程处理、流水线设计等。
1. 项目概述从零到一构建专属视频识别引擎最近在做一个智能安防相关的项目需要实时识别监控视频里的特定物品比如安全帽、反光衣这些。网上现成的模型要么识别类别不对要么精度达不到要求。折腾了一圈最后还是决定自己动手用YOLOv5来训练一个完全贴合自己业务需求的目标检测模型。整个过程走下来从数据准备、模型训练到最终的视频推理部署踩了不少坑也积累了一些实战经验。今天就把这套完整的流程包括那些教程里不会细说的细节和避坑指南系统地梳理出来。无论你是想识别生产线上的零件缺陷还是分析交通视频中的车辆行人这套方法都能给你提供一个清晰、可落地的技术路线。简单来说这个项目就是利用YOLOv5这个当前工业界和学术界都备受青睐的目标检测框架针对你自己的图片数据集进行训练得到一个定制化的权重文件.pt。然后利用这个训练好的模型去处理视频文件或视频流实现对你所关心目标的实时、批量检测与标注。它完美解决了通用模型“水土不服”的问题让你能精准识别业务场景下的特定目标。整个过程涉及环境搭建、数据标注、模型训练调参、视频推理优化等多个环节我会逐一拆解确保你跟着做就能出结果。2. 核心思路与方案选型为什么是YOLOv5在开始动手之前我们得先搞清楚为什么选YOLOv5以及整个项目的技术脉络是怎样的。目标检测的框架很多从老牌的Faster R-CNN到后来的SSD再到YOLO系列各有优劣。我选择YOLOv5主要是基于下面几个非常实际的考虑。2.1 YOLOv5的压倒性优势首先速度与精度的平衡做得非常好。YOLOYou Only Look Once本身就是单阶段检测器的代表其“端到端”的设计思想让它在速度上天生有优势。YOLOv5在YOLOv4的基础上用PyTorch框架重写继承了前代的优秀技巧如Mosaic数据增强、自适应锚框计算同时代码结构极其清晰、模块化程度高。这意味着我们修改起来非常方便无论是调整网络结构还是修改数据加载逻辑。其次生态极其友好。YOLOv5的GitHub仓库维护非常活跃文档详细提供了从纳米n到超大x不同尺度的预训练模型我们可以根据自己设备的算力和对精度的要求灵活选择。更重要的是它提供了一整套完整的工具链数据格式转换脚本、训练脚本、验证脚本、推理脚本、模型导出脚本支持ONNX、TensorRT等。我们几乎不需要自己再造轮子跟着它的“套路”走就能完成整个流程。最后社区支持强大。任何你遇到的问题几乎都能在GitHub的Issues里找到讨论或者通过搜索引擎找到解决方案。这对于我们解决训练过程中的各种玄学问题比如Loss不下降、显存溢出至关重要。2.2 项目整体技术路线图整个项目的流程可以概括为以下四个核心阶段这是一个标准的机器学习项目闭环数据准备与标注这是所有AI项目的基石也是耗时最长、最容易出问题的一环。我们需要收集包含目标物体的图片并用标注工具如LabelImg框出目标并打上标签最后整理成YOLOv5要求的特定格式。环境配置与模型训练搭建PyTorch和YOLOv5的运行环境准备好我们的数据集选择合适的预训练模型进行迁移学习通过调整超参数开始训练并监控训练过程。模型评估与优化训练完成后使用模型在预留的验证集上测试性能通过指标如mAP判断模型好坏。如果效果不理想需要回到前两步检查数据质量或调整训练策略。视频推理与应用将训练好的最佳模型用于视频识别。这里涉及视频帧的读取、模型的逐帧推理、结果的可视化画框、标标签以及处理后的视频合成或实时展示。这个路线图看起来清晰但每一步都有大量细节。接下来我们就深入每个环节看看具体怎么做以及会遇到哪些“坑”。3. 数据准备万丈高楼平地起如果说训练模型是“炼丹”那么数据就是“药材”。药材不好再好的丹炉和火候也炼不出仙丹。数据准备阶段的目标是产出格式正确、质量达标的数据集它直接决定了模型性能的天花板。3.1 数据收集的核心原则收集图片时不能随便网上找点图就完事必须紧扣你的应用场景。如果你的模型最终要用于工厂摄像头那么你的训练图片最好就来自类似的工业环境光照条件、拍摄角度、背景复杂度都要尽可能接近真实情况。这里有几个关键原则多样性目标物体要在不同光照强光、逆光、昏暗、不同角度正面、侧面、俯视、不同尺度远距离小目标、近距离大目标、不同遮挡程度下出现。代表性背景要多样避免所有图片都在同一个简单背景下拍摄否则模型容易过拟合到背景上。数据量这是一个常见问题。对于YOLOv5每个类别至少需要1500张以上的图片才能保证一个基础可用的模型。当然更多数据通常意味着更好的性能。如果数据量实在有限就必须依靠强大的数据增强技术。3.2 数据标注细致活见真章标注工具我强烈推荐LabelImg开源免费支持YOLO格式保存为.txt文件。标注过程有几个必须注意的细节框要尽可能紧贴目标物体既不要留太多背景也不要切掉物体的一部分。一个松散的框会让模型学习到无关的背景特征。标签名称要一致。比如你定义了一个类别叫“hardhat”那么所有安全帽的标签都必须是“hardhat”不能有时是“hard_hat”有时是“helmet”。建议提前建立一个classes.txt文件来统一管理类别名。对于被遮挡的物体如果还能判断出其完整轮廓就应该标注如果遮挡超过一半以上难以判断通常选择不标或者根据项目要求谨慎处理。标注完一定要复查漏标、错标、框不准是导致模型性能不佳的最常见原因之一。可以抽样检查或者用YOLOv5自带的--data参数配合--task study来可视化检查标注是否对齐。3.3 YOLOv5数据格式详解YOLOv5要求的数据格式很简单但必须严格遵守。假设你的数据集根目录叫my_dataset结构应该如下my_dataset/ ├── images/ │ ├── train/ # 存放训练图片如 0001.jpg, 0002.jpg... │ └── val/ # 存放验证图片 └── labels/ ├── train/ # 存放训练标签与训练图片一一对应如 0001.txt, 0002.txt... └── val/ # 存放验证标签每张图片对应一个同名的.txt标签文件。标签文件里的每一行代表一个标注框格式为class_id x_center y_center width height这里的坐标是归一化后的值即相对于图片宽度和高度的比例。例如一个框的中心点x坐标是图片宽度的一半那么x_center 0.5。计算方式如下x_center (框左上角x坐标 框宽度/2) / 图片宽度 y_center (框左上角y坐标 框高度/2) / 图片高度 width 框宽度 / 图片宽度 height 框高度 / 图片高度class_id是类别的索引从0开始。你需要一个data.yaml文件来告诉YOLOv5这些信息。这个文件是项目的核心配置文件之一。# data.yaml path: ../my_dataset # 数据集根目录 train: images/train # 训练图片相对路径 val: images/val # 验证图片相对路径 # 类别数量 nc: 2 # 类别名称列表顺序必须与class_id对应 names: [person, hardhat]注意路径可以使用绝对路径也可以使用相对于YOLOv5项目根目录的相对路径。确保路径正确是避免“找不到图片”错误的关键。4. 环境搭建与模型训练实战环境配置是第一步也是最容易出问题的一步。很多人在这里就被劝退了其实只要按步骤来很简单。4.1 一步到位的环境配置我推荐使用Conda来管理Python环境能有效避免包冲突。# 1. 创建并激活一个虚拟环境 conda create -n yolov5 python3.8 conda activate yolov5 # 2. 安装PyTorch以CUDA 11.3为例请根据你的显卡驱动去PyTorch官网选择对应命令 pip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113 # 3. 克隆YOLOv5仓库 git clone https://github.com/ultralytics/yolov5 cd yolov5 # 4. 安装依赖 pip install -r requirements.txt安装完成后运行python detect.py --weights yolov5s.pt --source data/images来测试环境是否正常。如果能看到对示例图片的检测结果说明环境OK。4.2 开始训练参数里的学问训练命令很简单但里面的参数每一个都有讲究。假设我们已经准备好了data.yaml文件并将其放在yolov5/data/目录下。python train.py --img 640 --batch 16 --epochs 100 --data data/my_data.yaml --weights yolov5s.pt --project runs/train --name exp1我们来拆解这些关键参数--img 640输入图片的尺寸。YOLOv5会统一将图片缩放到这个尺寸进行训练。更大的尺寸如1280能检测到更小的物体但会显著增加显存消耗和训练时间。640是一个在精度和速度间很好的平衡点。--batch 16批大小。一次迭代送入模型的图片数量。这个值受你的显卡显存限制。如果出现“CUDA out of memory”错误首先尝试减小batch或者减小--img尺寸。RTX 3060 12G通常可以跑batch16, img640。--epochs 100训练轮数。所有训练数据被完整遍历一次称为一个epoch。轮数太少模型学不够太多可能导致过拟合。100是一个常用的起点你可以观察训练过程中的损失曲线来决定是否提前停止或继续增加。--data data/my_data.yaml指向你的数据集配置文件。--weights yolov5s.pt加载预训练权重。这是迁移学习的关键能极大加快收敛速度并提升最终性能。yolov5s.pt是最小的模型速度快。如果你追求精度可以用yolov5m.pt或yolov5l.pt。--project和--name指定训练日志和结果输出的目录。所有训练记录包括权重文件、损失曲线、指标图表都会保存在runs/train/exp1下。4.3 训练过程监控与调参心得训练开始后控制台会输出日志更重要的是要关注TensorBoardYOLOv5自动集成的可视化结果。在另一个终端运行tensorboard --logdir runs/train然后在浏览器打开localhost:6006。这里你会看到几个关键的曲线train/box_loss,train/obj_loss,train/cls_loss这三个训练损失应该随着epoch增加而稳步下降。如果震荡剧烈或长时间不降可能是学习率太大、数据有问题或模型复杂度不匹配。metrics/mAP_0.5和metrics/mAP_0.5:0.95这是衡量模型精度的核心指标。mAP0.5表示在IoU阈值为0.5时的平均精度。这个值会随着训练逐渐上升最终趋于平稳。我们训练的目标就是让这个值尽可能高。val/开头的损失验证集上的损失。理想情况下它应该和训练损失同步下降。如果训练损失下降但验证损失上升这是典型的过拟合信号说明模型只记住了训练数据没有学会泛化。解决办法包括增加数据增强、使用更简单的模型如从yolov5l换到yolov5m、加入正则化如权重衰减或及早停止训练。调参经验对于新手我建议先使用默认参数跑一遍。如果效果不佳第一个调整的通常是学习率--lr0。默认是0.01如果损失震荡可以尝试调小到0.001如果下降太慢可以稍微调大。第二个是数据增强强度YOLOv5默认开启了Mosaic、MixUp等很强的增强如果数据集很小这些增强非常有用但如果数据集本身已经很大很丰富有时减弱增强通过修改hyp.yaml中的相关参数反而能提升精度。5. 模型评估与性能优化策略训练结束后在runs/train/exp1/weights/目录下你会得到两个最重要的权重文件best.pt验证集上表现最好的权重和last.pt最后一轮的权重。我们肯定使用best.pt。5.1 定量评估看懂指标报告使用以下命令在验证集上评估模型python val.py --weights runs/train/exp1/weights/best.pt --data data/my_data.yaml --img 640运行后会输出一份详细的评估报告你需要关注这几个核心指标指标含义解读Precision查准率模型预测为正的样本中真正为正的比例。越高说明误报越少。Recall查全率所有真实为正的样本中被模型预测为正的比例。越高说明漏报越少。mAP0.5IoU0.5时的平均精度最核心的指标。综合了Precision和Recall值在0~1之间越接近1越好。对于一般应用0.7以上算不错0.8以上很好0.9以上非常优秀。mAP0.5:0.95IoU从0.5到0.95的平均mAP更严格的指标要求预测框与真实框的重合度更高。通常比mAP0.5低很多。如果mAP值不理想不要急着调模型首先应该分析错误。YOLOv5的验证会生成一个val_batchX_labels.jpg和val_batchX_pred.jpg的对比图你可以直观地看到哪些目标被漏检了False Negative哪些背景被误检了False Positive。漏检多可能是目标太小、遮挡严重需要增加针对小目标的训练数据或使用更小的检测网格误检多可能是背景干扰需要增加负样本不含目标的图片或加强数据增强。5.2 优化策略从数据、模型到训练技巧根据评估结果可以从以下几个层面进行优化数据层面最有效清洗数据剔除标注质量差的图片。增加数据特别是针对模型表现差的场景如夜间、遮挡进行针对性采集或生成使用GAN等。数据增强调优在hyp.yaml中调整增强参数。例如增加hsv_h色调抖动来模拟不同光照增加translate平移来提升模型对目标位置变化的鲁棒性。模型层面更换模型尺度如果yolov5s精度不够但速度要求高可以试试yolov5m如果显存和速度允许yolov5l或yolov5x通常能带来精度提升。修改网络结构进阶YOLOv5的模型定义在models/目录下你可以尝试替换其中的CSP模块、SPPF模块等但这需要较强的深度学习背景。训练技巧学习率调度使用余弦退火Cosine Annealing或带热重启的调度器有助于模型跳出局部最优。多尺度训练在train.py中设置--multi-scale让模型在训练时随机接受不同尺寸的输入提升对不同尺度目标的适应能力。早停Early Stopping如果验证集损失连续多个epoch不降反升就停止训练防止过拟合。6. 视频识别推理让模型动起来模型训练评估好就到了最终的应用环节——视频识别。YOLOv5的detect.py脚本已经为我们做好了大部分工作。6.1 基础视频推理处理一个本地视频文件非常简单python detect.py --weights runs/train/exp1/weights/best.pt --source my_video.mp4 --conf 0.25 --img 640--source可以接图片、视频、文件夹路径甚至是摄像头ID如0表示电脑自带摄像头或RTSP流地址如rtsp://...。--conf置信度阈值。只有预测框的置信度高于此值的才会被显示。调高如0.5会让结果更可靠但可能漏检调低如0.1会检测到更多目标但误报也会增多。需要根据实际场景权衡。--img推理时输入的尺寸通常与训练时保持一致。运行后结果会保存在runs/detect/exp目录下生成一个带检测框的my_video.mp4文件。6.2 性能优化与实用技巧直接使用默认参数处理视频可能会遇到速度慢、显存占用高等问题。下面是一些提升效率的实战技巧调整推理尺寸--img 640是平衡点。如果你对远处小目标不敏感可以尝试--img 480甚至320速度会大幅提升。反之如果视频里有很多小目标可能需要增大到--img 1280。使用半精度推理添加--half参数使用FP16半精度进行计算能在几乎不损失精度的情况下提升推理速度并降低显存占用特别适合高端显卡。批处理如果是对大量视频文件进行离线处理可以将--source指向一个包含视频的文件夹程序会自动批量处理。自定义输出如果你想获取检测框的坐标、类别等原始数据而不是仅仅保存视频可以修改detect.py或使用YOLOv5提供的Python API。核心代码如下import torch model torch.hub.load(ultralytics/yolov5, custom, pathruns/train/exp1/weights/best.pt) results model(my_video.mp4) # 或者 model(frame) 对单帧处理 # results.pandas().xyxy[0] 可以获取当前帧的检测结果DataFrame这样你就能将检测结果存入数据库或触发其他业务逻辑了。处理视频流对于摄像头或网络流--source 0或--source ‘rtsp://...’即可。需要注意的是处理实时流时帧率FPS是关键。你可以在推理循环中计算并显示FPS如果达不到要求就需要通过上述方法减小尺寸、半精度进行优化或者考虑使用更快的模型如YOLOv5n。6.3 一个常见的坑视频编解码有时你会发现处理视频的速度很慢但GPU利用率并不高。这很可能是视频解码成了瓶颈。detect.py默认使用OpenCV读取视频其解码是在CPU上进行的。对于高分辨率视频CPU解码可能跟不上GPU推理的速度。解决方案使用硬件加速解码。如果你有NVIDIA显卡可以安装CUDA版本的OpenCV或使用PyAV库并配置其使用GPU解码。更简单的方法是使用--device参数指定GPU进行推理虽然解码仍在CPU但至少推理部分在GPU能缓解一部分压力。对于极端情况可以考虑先将视频解压成图像序列再用YOLOv5处理文件夹但这会占用大量磁盘空间。7. 常见问题排查与实战心得在整个流程中你几乎一定会遇到下面这些问题。我把它们和解决方案整理出来希望能帮你节省大量时间。7.1 训练阶段问题问题Loss损失居高不下或为NaN。排查首先检查数据标注格式是否正确特别是归一化坐标是否在[0,1]区间内。然后检查学习率是否设置过高尝试将--lr0从0.01降到0.001。最后检查数据中是否有损坏的图片或标签文件。问题mAP很低模型好像没学到东西。排查最可能的原因是数据问题。用detect.py在训练集图片上跑一下看模型能不能检测出目标此时模型是随机初始化的效果应该很差但至少应该有大量随机框。如果连随机框都没有可能是数据加载路径错了。确保data.yaml中的路径正确。其次检查类别数nc和类别名names是否与标签文件匹配。问题显存不足CUDA out of memory。解决减小--batch-size如从16减到8。如果还不行减小--img尺寸如从640减到512。也可以尝试使用梯度累积--accumulate模拟更大的batch size。7.2 推理阶段问题问题检测速度很慢FPS很低。解决1) 使用更小的模型如从yolov5l.pt换到yolov5s.pt。2) 减小推理尺寸--img。3) 开启半精度--half。4) 检查是否是视频解码瓶颈见6.3节。问题误检很多背景里的东西老是被误认成目标。解决提高置信度阈值--conf如从0.25提高到0.5。如果问题依旧说明训练数据中负样本不包含目标的背景不足或者背景与目标有相似特征。需要补充负样本图片到训练集中并在标注时将其类别标签留空不标注任何框。问题小目标检测不到。解决1) 增加训练数据中该小目标的样本数量。2) 使用更大的输入分辨率--img进行训练和推理如1280。3) 修改模型结构使用更浅的下采样层如将model.yaml中的stride减小但这属于进阶操作。7.3 我的几点核心心得数据质量远大于模型调参。花80%的时间去收集、清洗、标注高质量的数据比盲目调整超参数要有效得多。一个干净、丰富、有代表性的数据集是成功的一半。从简单开始。先用yolov5s.pt和小批量数据跑通整个流程确保代码、环境、数据格式都没问题。然后再逐步换大模型、增加数据、精细调参。善用可视化工具。TensorBoard是你的眼睛一定要用它来监控训练过程。detect.py生成的结果图片和视频是检验模型好坏最直观的方式。理解你的评价指标。不要只看一个mAP要结合Precision和Recall分析模型到底是误报多还是漏报多这对业务应用至关重要。安防场景可能要求高Recall宁可错杀不可放过而消费级产品可能要求高Precision用户体验要好。视频推理是系统工程。训练出一个高mAP的模型只是第一步将其部署到实际视频流中并满足实时性、稳定性要求还需要考虑工程优化如模型量化TensorRT、多线程处理、流水线设计等。
)
