尧图网站建设 
简介本资源面向计算机视觉学习者与目标检测开发者聚焦在视频场景中识别与追踪无人机这一实战任务适合具备一定深度学习基础、希望快速跑通完整项目的中高级读者。压缩包共21个文件约79.25MB以10个Python脚本和6个模型权重文件为主另含png、gif、mp4等效果展示素材及md说明文档脚本覆盖数据预处理、样本裁剪、特征提取与检测流程权重文件可直接加载用于推理或微调。目前已有180人学习下载。项目提供从数据采集处理、模型选择训练到源码实现、流程教程与效果验证的完整链路读者可借助预训练权重节省训练时间通过可视化脚本观察检测框、置信度与跟踪轨迹并参考教程中的参数设置与排错思路快速上手在此基础上针对特定场景做进一步优化与创新。1. 从一段真实航拍视频说起无人机目标检测到底在检测什么你手里有一段 4K 航拍视频画面里有一架四旋翼在楼宇之间穿行背景是天空、树冠、玻璃幕墙。现在要做的不是识别这是什么而是在每一帧里框出那架无人机的位置并让框在时间轴上稳定跟随。这就是视频中检测无人机目标的核心任务——它和静态图片目标检测最大的区别在于你不仅要处理单帧的检测精度还要处理帧间抖动、目标尺度剧烈变化、运动模糊和遮挡。这个方向适合三类人做低空安防和反制系统的工程师、做无人机自主避障与编队感知的开发者、以及想拿一个完整视觉项目练手的学生和转行者。它不需要你从零训练一个 backbone但需要你理解数据标注、模型选型、推理加速和视频后处理这条完整链路。热搜里频繁出现的 YOLOv8 目标检测数据集处理、模型权重、项目源码这些词恰好说明大家最缺的不是算法论文而是一条能跑通的工程路径。我下面讲的方案主线是用 YOLO 系列做单帧检测 用跟踪与平滑做视频后处理模型权重可以直接用公开预训练权重做迁移学习也可以拿现成无人机检测权重做推理验证。整条链路我会给出可复现的命令、参数和踩坑记录你照着做能在本地跑出一段带检测框的输出视频。2. 数据与标注无人机视频帧怎么变成可训练的样本2.1 视频抽帧与样本筛选的实操参数视频目标检测的第一步不是选模型而是把视频变成一张张能标注的图片。很多人直接按固定间隔抽帧结果抽出来大量几乎一样的帧标注成本翻倍但信息量没增加。我一般用运动触发 间隔兜底的方式先用帧差法找出画面有明显变化的片段再在片段内按固定间隔抽帧。import cv2 import os import numpy as np video_path drone_flight.mp4 out_dir frames os.makedirs(out_dir, exist_okTrue) cap cv2.VideoCapture(video_path) fps cap.get(cv2.CAP_PROP_FPS) # 每 0.5 秒抽一帧兼顾覆盖度和冗余 interval int(fps * 0.5) prev_gray None saved 0 idx 0 while True: ret, frame cap.read() if not ret: break if idx % interval 0: gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray cv2.GaussianBlur(gray, (5, 5), 0) if prev_gray is not None: diff cv2.absdiff(prev_gray, gray) # 帧差均值低于阈值说明画面几乎没动跳过 if diff.mean() 3.0: idx 1 continue prev_gray gray cv2.imwrite(f{out_dir}/frame_{saved:05d}.jpg, frame) saved 1 idx 1 cap.release() print(f共保存 {saved} 帧)这段代码的逻辑是先按 0.5 秒间隔取候选帧再用相邻候选帧的灰度差均值判断画面是否真的有变化。diff.mean() 3.0这个阈值是我在 1080p 航拍素材上试出来的经验值画面静止或匀速平移时能过滤掉大量重复帧。如果你的视频抖动大阈值要调到 5.0 以上如果目标很小、运动细微调到 1.5 左右。抽帧数量建议控制在 800 到 1500 张之间太少模型学不够太多标注和训练都拖时间。2.2 标注格式选择与 YOLO 格式转换的边界坑无人机目标标注最常见的问题是目标太小 边界模糊。一架 30 米外的四旋翼在 1080p 画面里可能只有 20×15 像素标注框稍微偏几个像素IoU 就掉一大截。我一般要求标注框紧贴可见的机身和旋翼外沿不要为了包含运动模糊把框放大。标注工具用 LabelImg 或 CVAT 都行导出 VOC 格式的 XML。但 YOLO 训练需要归一化的 txt 格式转换脚本如下import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, img_w, img_h, out_txt): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): cls_name obj.find(name).text # 只保留 drone 一类其余忽略 if cls_name ! drone: continue bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 边界裁剪防止标注越界导致归一化后为负 xmin max(0, min(xmin, img_w)) xmax max(0, min(xmax, img_w)) ymin max(0, min(ymin, img_h)) ymax max(0, min(ymax, img_h)) cx (xmin xmax) / 2.0 / img_w cy (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f0 {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) with open(out_txt, w) as f: f.write(\n.join(lines))这里有几个容易翻车的点。第一img_w和img_h必须和实际图片尺寸一致如果你抽帧后又做了缩放标注坐标没同步缩放训练时框会整体偏移。第二VOC 的坐标是 1-based有些工具导出时 xmin 从 1 开始转换时要确认是否需要减 1差一个像素在小目标上影响很明显。第三归一化后的宽高如果小于 0.001YOLO 的某些版本会直接忽略这个框小目标要特别检查。转换完建议随机抽 20 张用可视化脚本画框检查一遍别等训练完才发现标注全错。3. 模型选型与训练从 YOLOv8 到视频推理的权重准备3.1 为什么视频无人机检测优先选 YOLOv8n/s 而不是大模型视频检测和图片检测的选型逻辑不一样。图片检测可以堆大模型刷精度视频检测必须考虑帧率。一段 30fps 的视频如果单帧推理要 100ms那只能做到 10fps 输出画面会明显卡顿。所以我的选型原则是在满足召回率的前提下选最小的模型。YOLOv8n 在 640 输入下RTX 3060 上大约 2-3ms 一帧YOLOv8s 大约 5-6msYOLOv8m 要到 12ms 以上。无人机目标在画面里通常只占几十个像素属于小目标检测模型容量太大反而容易过拟合背景。我一般先用 YOLOv8n 跑一版 baseline看召回率够不够不够再升到 YOLOv8s。热搜里提到的 YOLOv8 目标检测数据集处理核心其实就是把数据组织成 YOLO 目录结构dataset/ images/ train/ val/ labels/ train/ val/ data.yamldata.yaml里写清楚train、val路径和nc: 1、names: [drone]。路径建议用绝对路径相对路径在 ultralytics 不同版本里解析基准不一样容易报找不到文件。3.2 训练命令与关键参数小目标检测的 imgsz 和 anchor 设置训练命令本身不复杂但参数决定成败yolo detect train \ datadataset/data.yaml \ modelyolov8n.pt \ epochs120 \ imgsz960 \ batch8 \ lr00.01 \ lrf0.01 \ warmup_epochs3 \ mosaic1.0 \ scale0.5 \ degrees10 \ fliplr0.5 \ patience30 \ projectruns/drone \ nameexp1逐个说关键参数。imgsz960是我最想强调的无人机目标小640 输入下很多目标缩到 10 像素以下特征图根本抓不住。提到 960 后小目标召回率通常能涨 5 到 10 个点代价是显存和推理时间增加。如果显存不够用imgsz800折中。mosaic1.0做四图拼接增强对小目标很有效但训练最后 10 个 epoch 建议关掉close_mosaic10让模型在真实分布上收敛。scale0.5和degrees10是模拟无人机在不同距离和姿态下的外观变化但degrees不要开太大航拍画面本身旋转有限开太大反而引入不真实样本。训练过程中重点看metrics/mAP50-95和metrics/recall。无人机检测里 recall 比 precision 更重要漏检一架的代价远大于误检。如果 recall 卡在 0.6 以下优先检查标注质量和 imgsz而不是换模型。3.3 用训练好的权重跑单帧推理验证训练完先别急着上视频用验证集图片跑一遍推理确认框的位置和置信度合理from ultralytics import YOLO model YOLO(runs/drone/exp1/weights/best.pt) results model.predict( sourcedataset/images/val, conf0.25, iou0.5, imgsz960, saveTrue, projectruns/val, namecheck )conf0.25是推理置信度阈值视频检测里我一般会降到 0.2 甚至 0.15先把召回拉满误检交给后续跟踪逻辑过滤。iou0.5是 NMS 的 IoU 阈值无人机目标重叠少这个值不用调太高。跑完打开runs/val/check里的图片重点看三类问题小目标有没有漏、天空背景有没有误检成无人机、框有没有明显偏移。这一步发现问题比在视频里逐帧找要快得多。4. 视频推理与后处理让检测框在时间轴上稳定下来4.1 逐帧推理 ByteTrack 跟踪的代码骨架单帧检测直接套到视频上会出现框闪烁、ID 跳变、短暂遮挡后丢失。解决办法是加一层跟踪。Ultralytics 内置了 ByteTrack直接在推理时开启track模式import cv2 from ultralytics import YOLO model YOLO(runs/drone/exp1/weights/best.pt) cap cv2.VideoCapture(drone_flight.mp4) fps cap.get(cv2.CAP_PROP_FPS) w int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) h int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) writer cv2.VideoWriter(output.mp4, cv2.VideoWriter_fourcc(*mp4v), fps, (w, h)) while True: ret, frame cap.read() if not ret: break results model.track( frame, persistTrue, conf0.2, iou0.5, imgsz960, trackerbytetrack.yaml, verboseFalse ) annotated results[0].plot() writer.write(annotated) cap.release() writer.release()persistTrue是关键它让跟踪器在帧之间保持状态否则每帧都重新初始化ID 会乱跳。trackerbytetrack.yaml用默认配置就行ByteTrack 对低置信度检测框有二次匹配机制适合无人机这种偶尔被遮挡的目标。conf0.2配合跟踪可以让一些低置信度的真实目标先进入跟踪器再由轨迹连续性确认减少漏检。4.2 检测框平滑EMA 滤波消除帧间抖动即使跟踪稳定检测框的坐标仍会有小幅抖动看起来像在呼吸。我一般加一个指数移动平均EMA平滑class BoxSmoother: def __init__(self, alpha0.6): self.alpha alpha self.prev {} def smooth(self, track_id, box): if track_id not in self.prev: self.prev[track_id] box return box prev_box self.prev[track_id] # 对 x1,y1,x2,y2 分别做 EMA smoothed [ self.alpha * prev_box[i] (1 - self.alpha) * box[i] for i in range(4) ] self.prev[track_id] smoothed return smoothedalpha0.6表示当前帧权重 0.6历史帧 0.4。alpha 越大越跟手但抖动多越小越平滑但延迟大。无人机快速机动时 alpha 调到 0.7 以上慢速悬停时可以降到 0.4。这个平滑只对同一 track_id 的框做ID 切换时要重置否则会把两个不同目标的框混在一起。4.3 输出视频的编码与帧率控制OpenCV 的mp4v编码兼容性好但压缩率一般如果输出视频要用于演示建议用 ffmpeg 转成 H.264ffmpeg -i output.mp4 -c:v libx264 -preset fast -crf 23 -pix_fmt yuv420p output_h264.mp4-crf 23是质量参数18 到 28 之间越小越清晰文件越大。-pix_fmt yuv420p保证在浏览器和播放器里都能正常播放。如果推理速度跟不上视频帧率输出视频会变慢这时候要么降 imgsz要么跳帧处理再插值但跳帧会让跟踪轨迹不连续我一般优先降 imgsz 到 640 保帧率。5. 避坑与排查无人机视频检测里最容易翻车的五件事5.1 现象训练 loss 正常下降但验证集 recall 极低原因通常是标注格式或类别索引错了。YOLO 的类别索引从 0 开始如果你在data.yaml里写了names: [drone]但标注 txt 里写的是1 cx cy w h模型会把所有目标当成背景。解决方法是随机抽几张训练图用可视化脚本把标注框画出来确认框的位置和类别都对。另一个常见原因是图片路径和标签路径不匹配YOLO 找不到标签时会静默跳过表现为 loss 下降但模型没学到东西。5.2 现象推理时天空区域出现大量误检框原因是训练集里负样本没有无人机的天空、云层、飞鸟太少。无人机检测的误检主要来自云边缘、飞鸟和远处建筑轮廓。解决办法是在训练集里加入 10% 到 20% 的纯背景帧这些帧的标签文件为空。另外可以在推理时对画面上半部分做区域过滤但这是治标加负样本才是治本。5.3 现象视频里目标 ID 频繁跳变原因是检测框在相邻帧之间置信度波动大跟踪器匹配不上。解决方法是降低conf阈值让更多候选框进入跟踪器同时检查bytetrack.yaml里的track_high_thresh和track_low_thresh。如果目标运动快还要适当增大track_buffer让轨迹在短暂丢失后还能接回来。另一个容易被忽略的点是输入分辨率imgsz 太低会导致同一目标在不同帧里特征差异大跟踪匹配率下降。5.4 现象小目标在输出视频里完全检测不到先确认训练时imgsz是否够大640 训练出来的模型在 960 推理时小目标召回会好一些但不如直接用 960 训练。其次检查标注框的宽高归一化后是否小于 0.001YOLO 会过滤掉过小的框。如果目标确实只有十几个像素可以考虑切图推理把大图切成 2×2 子图分别检测再合并代价是推理时间翻倍但小目标召回提升明显。5.5 现象GPU 显存溢出导致训练中断batch8和imgsz960在 8GB 显存上可能不够。解决方法是开启梯度累积nbs64配合小 batch或者用ampTrue混合精度训练。如果还是溢出降到imgsz800或batch4。注意batch改小后学习率也要相应调整一般按线性缩放batch 减半 lr 也减半否则训练不稳定。6. 进阶技巧用切片推理和置信度融合把召回再拉高一截前面讲的方案在常规航拍素材上已经能跑出可用结果但如果你面对的是高空俯拍、目标只有十几像素的场景单模型单尺度推理的召回率会卡在瓶颈。我自己的做法是加一层切片推理SAHI 思路 多尺度置信度融合不换模型只改推理策略。具体做法把每一帧按 2×2 切成四块每块带 20% 重叠区域分别用同一个模型推理再把所有检测框映射回原图坐标用 NMS 合并。重叠区域的作用是防止目标正好落在切割线上被截断。代码骨架如下import numpy as np from ultralytics import YOLO model YOLO(runs/drone/exp1/weights/best.pt) def sliced_inference(frame, slice_size640, overlap128): h, w frame.shape[:2] boxes [] step slice_size - overlap for y in range(0, h, step): for x in range(0, w, step): x2 min(x slice_size, w) y2 min(y slice_size, h) patch frame[y:y2, x:x2] results model.predict(patch, conf0.15, imgsz640, verboseFalse) for box in results[0].boxes: xyxy box.xyxy[0].cpu().numpy() # 映射回原图坐标 xyxy[0] x xyxy[1] y xyxy[2] x xyxy[3] y boxes.append((xyxy, float(box.conf[0]))) return boxes切片的slice_size我一般设成和训练imgsz一致这样每块输入分布和训练时最接近。overlap128是经验值目标越小 overlap 要越大保证目标至少完整出现在一块里。合并时用torchvision.ops.nms或者自己写一个 IoU 合并阈值 0.5 左右。多尺度融合是另一个技巧同一帧分别用 640 和 960 推理把两组框合并后再 NMS。小尺度抓大目标大尺度抓小目标两组结果的并集召回率通常比单尺度高 3 到 5 个点。代价是推理时间翻倍如果帧率要求高可以只在检测到目标数量突降的帧上触发多尺度正常帧还是单尺度。这套策略我在几个高空俯拍数据集上试过recall 从 0.72 提到 0.81precision 基本不掉。但要注意切片推理会产生更多误检尤其是地面纹理复杂的区域所以后处理里的 NMS 阈值和最小框面积过滤要调紧一点。最小框面积我一般设成 8×8 像素低于这个的框直接丢能过滤掉大部分噪声。最后说一个我自己的习惯每次改完推理策略不要只看整体 mAP一定要把误检和漏检的帧单独导出来逐帧看。数字涨了不代表体验好了有时候 recall 涨的那几个点全是同一段视频里的重复误检。我一般会保留一个 200 帧的难例集每次调参都在这上面跑一遍确认没有引入新的翻车场景。希望帮到你。本文还有配套的精品资源点击获取 YOLOv8无人机视频目标检测实战：从数据标注到跟踪平滑全流程
简介本资源面向计算机视觉学习者与目标检测开发者聚焦在视频场景中识别与追踪无人机这一实战任务适合具备一定深度学习基础、希望快速跑通完整项目的中高级读者。压缩包共21个文件约79.25MB以10个Python脚本和6个模型权重文件为主另含png、gif、mp4等效果展示素材及md说明文档脚本覆盖数据预处理、样本裁剪、特征提取与检测流程权重文件可直接加载用于推理或微调。目前已有180人学习下载。项目提供从数据采集处理、模型选择训练到源码实现、流程教程与效果验证的完整链路读者可借助预训练权重节省训练时间通过可视化脚本观察检测框、置信度与跟踪轨迹并参考教程中的参数设置与排错思路快速上手在此基础上针对特定场景做进一步优化与创新。1. 从一段真实航拍视频说起无人机目标检测到底在检测什么你手里有一段 4K 航拍视频画面里有一架四旋翼在楼宇之间穿行背景是天空、树冠、玻璃幕墙。现在要做的不是识别这是什么而是在每一帧里框出那架无人机的位置并让框在时间轴上稳定跟随。这就是视频中检测无人机目标的核心任务——它和静态图片目标检测最大的区别在于你不仅要处理单帧的检测精度还要处理帧间抖动、目标尺度剧烈变化、运动模糊和遮挡。这个方向适合三类人做低空安防和反制系统的工程师、做无人机自主避障与编队感知的开发者、以及想拿一个完整视觉项目练手的学生和转行者。它不需要你从零训练一个 backbone但需要你理解数据标注、模型选型、推理加速和视频后处理这条完整链路。热搜里频繁出现的 YOLOv8 目标检测数据集处理、模型权重、项目源码这些词恰好说明大家最缺的不是算法论文而是一条能跑通的工程路径。我下面讲的方案主线是用 YOLO 系列做单帧检测 用跟踪与平滑做视频后处理模型权重可以直接用公开预训练权重做迁移学习也可以拿现成无人机检测权重做推理验证。整条链路我会给出可复现的命令、参数和踩坑记录你照着做能在本地跑出一段带检测框的输出视频。2. 数据与标注无人机视频帧怎么变成可训练的样本2.1 视频抽帧与样本筛选的实操参数视频目标检测的第一步不是选模型而是把视频变成一张张能标注的图片。很多人直接按固定间隔抽帧结果抽出来大量几乎一样的帧标注成本翻倍但信息量没增加。我一般用运动触发 间隔兜底的方式先用帧差法找出画面有明显变化的片段再在片段内按固定间隔抽帧。import cv2 import os import numpy as np video_path drone_flight.mp4 out_dir frames os.makedirs(out_dir, exist_okTrue) cap cv2.VideoCapture(video_path) fps cap.get(cv2.CAP_PROP_FPS) # 每 0.5 秒抽一帧兼顾覆盖度和冗余 interval int(fps * 0.5) prev_gray None saved 0 idx 0 while True: ret, frame cap.read() if not ret: break if idx % interval 0: gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray cv2.GaussianBlur(gray, (5, 5), 0) if prev_gray is not None: diff cv2.absdiff(prev_gray, gray) # 帧差均值低于阈值说明画面几乎没动跳过 if diff.mean() 3.0: idx 1 continue prev_gray gray cv2.imwrite(f{out_dir}/frame_{saved:05d}.jpg, frame) saved 1 idx 1 cap.release() print(f共保存 {saved} 帧)这段代码的逻辑是先按 0.5 秒间隔取候选帧再用相邻候选帧的灰度差均值判断画面是否真的有变化。diff.mean() 3.0这个阈值是我在 1080p 航拍素材上试出来的经验值画面静止或匀速平移时能过滤掉大量重复帧。如果你的视频抖动大阈值要调到 5.0 以上如果目标很小、运动细微调到 1.5 左右。抽帧数量建议控制在 800 到 1500 张之间太少模型学不够太多标注和训练都拖时间。2.2 标注格式选择与 YOLO 格式转换的边界坑无人机目标标注最常见的问题是目标太小 边界模糊。一架 30 米外的四旋翼在 1080p 画面里可能只有 20×15 像素标注框稍微偏几个像素IoU 就掉一大截。我一般要求标注框紧贴可见的机身和旋翼外沿不要为了包含运动模糊把框放大。标注工具用 LabelImg 或 CVAT 都行导出 VOC 格式的 XML。但 YOLO 训练需要归一化的 txt 格式转换脚本如下import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, img_w, img_h, out_txt): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): cls_name obj.find(name).text # 只保留 drone 一类其余忽略 if cls_name ! drone: continue bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 边界裁剪防止标注越界导致归一化后为负 xmin max(0, min(xmin, img_w)) xmax max(0, min(xmax, img_w)) ymin max(0, min(ymin, img_h)) ymax max(0, min(ymax, img_h)) cx (xmin xmax) / 2.0 / img_w cy (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f0 {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) with open(out_txt, w) as f: f.write(\n.join(lines))这里有几个容易翻车的点。第一img_w和img_h必须和实际图片尺寸一致如果你抽帧后又做了缩放标注坐标没同步缩放训练时框会整体偏移。第二VOC 的坐标是 1-based有些工具导出时 xmin 从 1 开始转换时要确认是否需要减 1差一个像素在小目标上影响很明显。第三归一化后的宽高如果小于 0.001YOLO 的某些版本会直接忽略这个框小目标要特别检查。转换完建议随机抽 20 张用可视化脚本画框检查一遍别等训练完才发现标注全错。3. 模型选型与训练从 YOLOv8 到视频推理的权重准备3.1 为什么视频无人机检测优先选 YOLOv8n/s 而不是大模型视频检测和图片检测的选型逻辑不一样。图片检测可以堆大模型刷精度视频检测必须考虑帧率。一段 30fps 的视频如果单帧推理要 100ms那只能做到 10fps 输出画面会明显卡顿。所以我的选型原则是在满足召回率的前提下选最小的模型。YOLOv8n 在 640 输入下RTX 3060 上大约 2-3ms 一帧YOLOv8s 大约 5-6msYOLOv8m 要到 12ms 以上。无人机目标在画面里通常只占几十个像素属于小目标检测模型容量太大反而容易过拟合背景。我一般先用 YOLOv8n 跑一版 baseline看召回率够不够不够再升到 YOLOv8s。热搜里提到的 YOLOv8 目标检测数据集处理核心其实就是把数据组织成 YOLO 目录结构dataset/ images/ train/ val/ labels/ train/ val/ data.yamldata.yaml里写清楚train、val路径和nc: 1、names: [drone]。路径建议用绝对路径相对路径在 ultralytics 不同版本里解析基准不一样容易报找不到文件。3.2 训练命令与关键参数小目标检测的 imgsz 和 anchor 设置训练命令本身不复杂但参数决定成败yolo detect train \ datadataset/data.yaml \ modelyolov8n.pt \ epochs120 \ imgsz960 \ batch8 \ lr00.01 \ lrf0.01 \ warmup_epochs3 \ mosaic1.0 \ scale0.5 \ degrees10 \ fliplr0.5 \ patience30 \ projectruns/drone \ nameexp1逐个说关键参数。imgsz960是我最想强调的无人机目标小640 输入下很多目标缩到 10 像素以下特征图根本抓不住。提到 960 后小目标召回率通常能涨 5 到 10 个点代价是显存和推理时间增加。如果显存不够用imgsz800折中。mosaic1.0做四图拼接增强对小目标很有效但训练最后 10 个 epoch 建议关掉close_mosaic10让模型在真实分布上收敛。scale0.5和degrees10是模拟无人机在不同距离和姿态下的外观变化但degrees不要开太大航拍画面本身旋转有限开太大反而引入不真实样本。训练过程中重点看metrics/mAP50-95和metrics/recall。无人机检测里 recall 比 precision 更重要漏检一架的代价远大于误检。如果 recall 卡在 0.6 以下优先检查标注质量和 imgsz而不是换模型。3.3 用训练好的权重跑单帧推理验证训练完先别急着上视频用验证集图片跑一遍推理确认框的位置和置信度合理from ultralytics import YOLO model YOLO(runs/drone/exp1/weights/best.pt) results model.predict( sourcedataset/images/val, conf0.25, iou0.5, imgsz960, saveTrue, projectruns/val, namecheck )conf0.25是推理置信度阈值视频检测里我一般会降到 0.2 甚至 0.15先把召回拉满误检交给后续跟踪逻辑过滤。iou0.5是 NMS 的 IoU 阈值无人机目标重叠少这个值不用调太高。跑完打开runs/val/check里的图片重点看三类问题小目标有没有漏、天空背景有没有误检成无人机、框有没有明显偏移。这一步发现问题比在视频里逐帧找要快得多。4. 视频推理与后处理让检测框在时间轴上稳定下来4.1 逐帧推理 ByteTrack 跟踪的代码骨架单帧检测直接套到视频上会出现框闪烁、ID 跳变、短暂遮挡后丢失。解决办法是加一层跟踪。Ultralytics 内置了 ByteTrack直接在推理时开启track模式import cv2 from ultralytics import YOLO model YOLO(runs/drone/exp1/weights/best.pt) cap cv2.VideoCapture(drone_flight.mp4) fps cap.get(cv2.CAP_PROP_FPS) w int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) h int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) writer cv2.VideoWriter(output.mp4, cv2.VideoWriter_fourcc(*mp4v), fps, (w, h)) while True: ret, frame cap.read() if not ret: break results model.track( frame, persistTrue, conf0.2, iou0.5, imgsz960, trackerbytetrack.yaml, verboseFalse ) annotated results[0].plot() writer.write(annotated) cap.release() writer.release()persistTrue是关键它让跟踪器在帧之间保持状态否则每帧都重新初始化ID 会乱跳。trackerbytetrack.yaml用默认配置就行ByteTrack 对低置信度检测框有二次匹配机制适合无人机这种偶尔被遮挡的目标。conf0.2配合跟踪可以让一些低置信度的真实目标先进入跟踪器再由轨迹连续性确认减少漏检。4.2 检测框平滑EMA 滤波消除帧间抖动即使跟踪稳定检测框的坐标仍会有小幅抖动看起来像在呼吸。我一般加一个指数移动平均EMA平滑class BoxSmoother: def __init__(self, alpha0.6): self.alpha alpha self.prev {} def smooth(self, track_id, box): if track_id not in self.prev: self.prev[track_id] box return box prev_box self.prev[track_id] # 对 x1,y1,x2,y2 分别做 EMA smoothed [ self.alpha * prev_box[i] (1 - self.alpha) * box[i] for i in range(4) ] self.prev[track_id] smoothed return smoothedalpha0.6表示当前帧权重 0.6历史帧 0.4。alpha 越大越跟手但抖动多越小越平滑但延迟大。无人机快速机动时 alpha 调到 0.7 以上慢速悬停时可以降到 0.4。这个平滑只对同一 track_id 的框做ID 切换时要重置否则会把两个不同目标的框混在一起。4.3 输出视频的编码与帧率控制OpenCV 的mp4v编码兼容性好但压缩率一般如果输出视频要用于演示建议用 ffmpeg 转成 H.264ffmpeg -i output.mp4 -c:v libx264 -preset fast -crf 23 -pix_fmt yuv420p output_h264.mp4-crf 23是质量参数18 到 28 之间越小越清晰文件越大。-pix_fmt yuv420p保证在浏览器和播放器里都能正常播放。如果推理速度跟不上视频帧率输出视频会变慢这时候要么降 imgsz要么跳帧处理再插值但跳帧会让跟踪轨迹不连续我一般优先降 imgsz 到 640 保帧率。5. 避坑与排查无人机视频检测里最容易翻车的五件事5.1 现象训练 loss 正常下降但验证集 recall 极低原因通常是标注格式或类别索引错了。YOLO 的类别索引从 0 开始如果你在data.yaml里写了names: [drone]但标注 txt 里写的是1 cx cy w h模型会把所有目标当成背景。解决方法是随机抽几张训练图用可视化脚本把标注框画出来确认框的位置和类别都对。另一个常见原因是图片路径和标签路径不匹配YOLO 找不到标签时会静默跳过表现为 loss 下降但模型没学到东西。5.2 现象推理时天空区域出现大量误检框原因是训练集里负样本没有无人机的天空、云层、飞鸟太少。无人机检测的误检主要来自云边缘、飞鸟和远处建筑轮廓。解决办法是在训练集里加入 10% 到 20% 的纯背景帧这些帧的标签文件为空。另外可以在推理时对画面上半部分做区域过滤但这是治标加负样本才是治本。5.3 现象视频里目标 ID 频繁跳变原因是检测框在相邻帧之间置信度波动大跟踪器匹配不上。解决方法是降低conf阈值让更多候选框进入跟踪器同时检查bytetrack.yaml里的track_high_thresh和track_low_thresh。如果目标运动快还要适当增大track_buffer让轨迹在短暂丢失后还能接回来。另一个容易被忽略的点是输入分辨率imgsz 太低会导致同一目标在不同帧里特征差异大跟踪匹配率下降。5.4 现象小目标在输出视频里完全检测不到先确认训练时imgsz是否够大640 训练出来的模型在 960 推理时小目标召回会好一些但不如直接用 960 训练。其次检查标注框的宽高归一化后是否小于 0.001YOLO 会过滤掉过小的框。如果目标确实只有十几个像素可以考虑切图推理把大图切成 2×2 子图分别检测再合并代价是推理时间翻倍但小目标召回提升明显。5.5 现象GPU 显存溢出导致训练中断batch8和imgsz960在 8GB 显存上可能不够。解决方法是开启梯度累积nbs64配合小 batch或者用ampTrue混合精度训练。如果还是溢出降到imgsz800或batch4。注意batch改小后学习率也要相应调整一般按线性缩放batch 减半 lr 也减半否则训练不稳定。6. 进阶技巧用切片推理和置信度融合把召回再拉高一截前面讲的方案在常规航拍素材上已经能跑出可用结果但如果你面对的是高空俯拍、目标只有十几像素的场景单模型单尺度推理的召回率会卡在瓶颈。我自己的做法是加一层切片推理SAHI 思路 多尺度置信度融合不换模型只改推理策略。具体做法把每一帧按 2×2 切成四块每块带 20% 重叠区域分别用同一个模型推理再把所有检测框映射回原图坐标用 NMS 合并。重叠区域的作用是防止目标正好落在切割线上被截断。代码骨架如下import numpy as np from ultralytics import YOLO model YOLO(runs/drone/exp1/weights/best.pt) def sliced_inference(frame, slice_size640, overlap128): h, w frame.shape[:2] boxes [] step slice_size - overlap for y in range(0, h, step): for x in range(0, w, step): x2 min(x slice_size, w) y2 min(y slice_size, h) patch frame[y:y2, x:x2] results model.predict(patch, conf0.15, imgsz640, verboseFalse) for box in results[0].boxes: xyxy box.xyxy[0].cpu().numpy() # 映射回原图坐标 xyxy[0] x xyxy[1] y xyxy[2] x xyxy[3] y boxes.append((xyxy, float(box.conf[0]))) return boxes切片的slice_size我一般设成和训练imgsz一致这样每块输入分布和训练时最接近。overlap128是经验值目标越小 overlap 要越大保证目标至少完整出现在一块里。合并时用torchvision.ops.nms或者自己写一个 IoU 合并阈值 0.5 左右。多尺度融合是另一个技巧同一帧分别用 640 和 960 推理把两组框合并后再 NMS。小尺度抓大目标大尺度抓小目标两组结果的并集召回率通常比单尺度高 3 到 5 个点。代价是推理时间翻倍如果帧率要求高可以只在检测到目标数量突降的帧上触发多尺度正常帧还是单尺度。这套策略我在几个高空俯拍数据集上试过recall 从 0.72 提到 0.81precision 基本不掉。但要注意切片推理会产生更多误检尤其是地面纹理复杂的区域所以后处理里的 NMS 阈值和最小框面积过滤要调紧一点。最小框面积我一般设成 8×8 像素低于这个的框直接丢能过滤掉大部分噪声。最后说一个我自己的习惯每次改完推理策略不要只看整体 mAP一定要把误检和漏检的帧单独导出来逐帧看。数字涨了不代表体验好了有时候 recall 涨的那几个点全是同一段视频里的重复误检。我一般会保留一个 200 帧的难例集每次调参都在这上面跑一遍确认没有引入新的翻车场景。希望帮到你。本文还有配套的精品资源点击获取