简介一套基于YOLOv8的商场自动扶梯梳齿板异物卡滞预警系统完整项目专门针对扶梯梳齿板异物卡滞场景的实时检测与告警适用于计算机视觉、深度学习方向的毕业设计、课程设计或初期项目立项并已跑通完整流程。压缩包共8个文件包含3个Python脚本可视化界面、视频检测、模型训练、3个PyTorch模型权重含预训练与最优权重以及2个txt说明文档整体仅15.91MB轻量易部署下载后按README即可快速复现。目前已有36人学习下载。项目包含源码、完整数据集、可视化页面和部署教程训练脚本可输出核心指标曲线、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果及标签分布图从模型训练到验证演示形成闭环。这套方案能充分支撑毕设答辩中的实验展示也适合小白学习者逐步进阶。1. 扶梯梳齿板异物卡滞这个YOLOv8系统解决的是哪一类问题商场自动扶梯的梳齿板在出入口处齿槽间隙一旦卡入钢丝、竹签、硬币或者高跟鞋跟轻则触发急停、重则造成梯级损坏甚至伤人。这类问题的难点在于异物尺寸小、与背景对比度低、出现位置固定在梳齿区域传统帧差法和背景建模在反光的金属齿面上误报率极高。用YOLOv8做目标检测本质上是把「人工盯守」变成「单阶段模型即时判定」对钢丝、瓶盖、防滑条碎块这些常见异物做实时框选触发报警后联动急停信号。这套方案的热搜词恰好集中在「yolov8训练自己的数据集」「可视化界面」「完整数据集」上说明它面向的是两类人准备毕设/课设的学生以及想快速验证视觉方案可行性的现场工程师。我要先说明一个容易混淆的点这个标题不是让你从零写一个检测算法而是站在YOLOv8的肩膀上做数据、调参、封装界面这三件事。梳齿板异物检测属于典型的小目标检测场景YOLOv8自带anchor-free解耦头配合合适的输入尺寸在1080p监控画面上能稳定识别12像素以上的异物。后面我按环境搭建、数据准备、训练调参、界面联调、常见踩坑这个顺序展开你能直接复现出一个能跑的完整系统。2. 在商场扶梯场景里选YOLOv8小目标与单阶段检测的适配逻辑2.1 梳齿板异物为什么难检测扶梯梳齿板的物理特性决定了检测难度。它是金属材质表面有规律齿槽环境光从顶棚射灯到侧窗自然光都在变化齿面会产生周期性高光反射。异物卡进去之后钢丝可能只有2-3像素宽但长度能到十几像素瓶盖这类扁平物体则是低对比度、与齿槽颜色接近。传统图像处理里用边缘检测Canny再找轮廓在齿槽自身边缘干扰下根本分不清异物和梳齿。背景建模也失效因为扶梯本身在运动梯级每秒钟都在变化静态背景假设不成立。YOLOv8在这种场景下的优势来自三个方面。一是C2f结构替换了原先的C3梯度流更丰富小目标的浅层特征保留更好二是anchor-free检测头直接回归中心点到边界的距离对长宽比极端的细长异物比如钢丝、竹签更友好不用像anchor-based那样依赖先验框长宽比三是模型本身有多种尺寸可选n/s/m/l/x从4M到100M参数毕设场景跑n或s足够现场部署可以压缩到onnx再交给rk3588这类边缘盒子后面我会单独讲。需要警惕的是YOLOv8不是调完参就能直接用的。它的默认锚框设计偏向COCO数据集的物体尺度分布而梳齿板异物的平均像素面积通常只有整张图的0.5%以下。如果直接拿默认配置训练模型会倾向于把整条梳齿板当成一个大物体来学习而不是聚焦齿槽内的异常。所以后面在数据增强和损失权重上要做针对性调整。2.2 把数据集做成YOLO格式标注规范与目录组织做这个项目第一步不是写代码是整理数据。完整数据集一般包含正常梳齿板图、卡钢丝图、卡瓶盖/纸屑图、卡高跟鞋跟图每类至少200张总计800-1000张才能保证mAP50不掉到0.6以下。采集途径有三种商场实地拍摄、从扶梯维保监控视频中抽帧、网上找电梯部件检测公开数据。前两种最可靠因为光照和角度跟实际部署一致。标注工具用labelme或labelImg都行但我更推荐labelme因为它的多边形标注能贴合细长异物的形状导出JSON后再转YOLO格式。这里有个关键点YOLO格式的标签是归一化的中心点坐标加宽高不是多边形点集。转的时候要处理两个边界情况——标注框超出图像边缘时要不要裁剪、多个异物重叠时保留哪个框。我给的转换脚本如下import json import os def labelme_to_yolo(json_path, out_dir, class_map): os.makedirs(out_dir, exist_okTrue) with open(json_path, r, encodingutf-8) as f: data json.load(f) img_w data[imageWidth] img_h data[imageHeight] lines [] for shape in data[shapes]: label shape[label] if label not in class_map: continue points shape[points] xs [p[0] for p in points] ys [p[1] for p in points] x_min, x_max min(xs), max(xs) y_min, y_max min(ys), max(ys) # 边界裁剪防止标注框超出图像导致训练报错 x_min max(0, x_min) x_max min(img_w, x_max) y_min max(0, y_min) y_max min(img_h, y_max) if x_max x_min or y_max y_min: continue box_w x_max - x_min box_h y_max - y_min cx (x_min x_max) / 2 / img_w cy (y_min y_max) / 2 / img_h w box_w / img_w h box_h / img_h class_id class_map[label] lines.append(f{class_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) base os.path.basename(json_path).replace(.json, ) with open(os.path.join(out_dir, base .txt), w) as f: f.write(\n.join(lines)) class_map {wire: 0, bottlecap: 1, paper: 2, heel: 3} # 用法示例遍历labels目录下所有json for jf in os.listdir(labels): if jf.endswith(.json): labelme_to_yolo(os.path.join(labels, jf), yolo_labels, class_map)这个脚本的边界裁剪逻辑很关键。标注时手一抖框可能画出图像边界YOLO训练时Box损失会计算出负数坐标直接loss变为NaN。裁剪后还能保住框内区域不会丢样本。另外class_map的类别顺序一旦确定就不要再改改了就相当于重新标注。标注粒度也要注意钢丝这类细长物标注框不要包太多背景。YOLOv8的损失函数对背景敏感的框内背景占比超过50%时模型容易学会「看到梳齿纹理就框选」而不是「看到异物才框选」。正确的做法是让标注框紧贴异物轮廓对弯曲的钢丝可以用两个小框拼接虽然人工标注量上去了但mAP能提5-8个点。2.3 数据划分与增强策略别让模型死记硬背数据划分上我一般按7:2:1分训练、验证、测试。有一个细节——同一个监控摄像头连续视频帧抽出来的图片必须先做视频级去重再划分数据集。不然训练集和验证集里可能同时出现同一秒的前后帧模型相当于开了天眼验证精度虚高部署到现场就翻车。去重方法很简单先按场景视频片段分组整段视频的帧只进一个集合。数据增强在Ultralytics YOLOv8里通过配置文件控制我给的参数如下# aug.yaml 用于扶梯梳齿板场景的增强配置 flipud: 0.5 fliplr: 0.5 hsv_h: 0.015 hsv_s: 0.5 hsv_v: 0.4 translate: 0.1 scale: 0.3 mosaic: 0.8 mixup: 0.2 copy_paste: 0.3注意三个参数hsv_h我压到了0.015因为商场内部光源基本是暖白或冷白色相漂移太大会让模型学到不真实颜色translate设为0.1就够扶梯梳齿板在画面中的位置是固定的过度平移等于把异物移到梳齿区域外制造假样本mosaic开0.8这个默认值够用mixup保留0.2可以让模型看到异物叠加在半透明图层上的效果。增强的底层逻辑是模拟扶梯运行中的真实变化——亮度变化、视角微动、阴影遮挡。但增强过强会让模型泛化到「随便一个暗色物体就是异物」所以测试集的提纯很重要。测试集只放现场采集的、未增强的原始帧所有评估指标以测试集为准不以验证集为准。3. 用部署包在本地跑通最小环境从Python依赖到第一个检测框3.1 部署包里的三个实用模块常见的毕业设计部署包结构大概是源码目录、可视化界面目录、数据集目录、训练好的权重文件、部署教程文档。不要指望它是开箱即用的商业软件拿到手先要做三件事——确认Python版本兼容性、补装缺失依赖、把权重路径改成你本地绝对路径。我建议用conda建独立环境避免把系统Python搞乱。Python版本选3.8-3.10之间太新版本有些CUDA轮子还没跟上太老版本Ultralytics新版已经放弃支持。Ultralytics包版本选8.1.x到8.2.x之间即可新版本改动频繁接口不稳定。装依赖的命令conda create -n escalator_yolo python3.9 conda activate escalator_yolo pip install ultralytics8.2.0 opencv-python4.9.0.80 pillow numpy pandas # 如果要用GPU加速再加torchCPU版本跑推理也够毕设演示 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118如果手里机器是NVIDIA显卡务必装CUDA版torch纯CPU跑一个小视频流大概1-2帧每秒只够验证流程现场肯定不够用。装完可以用python -c import torch; print(torch.cuda.is_available())验证CUDA是否可用。3.2 用已有权重跑通第一次推理部署包里一般带了训练好的best.pt权重文件。先用它跑一张测试图确认环境没问题from ultralytics import YOLO model YOLO(weights/best.pt) # 路径改成你本地的实际路径 result model.predict( sourcetest_samples/frame_001.jpg, conf0.25, # 置信度阈值梳齿板场景建议不低于0.3 iou0.5, saveTrue, projectruns/detect, nameescalator_test ) print(result[0].boxes.xyxy) # 打印每个检测框的坐标 print(result[0].boxes.cls) # 打印类别id这里的conf阈值决定灵敏度。梳齿板场景属于低漏检要求——漏掉一根钢丝比误报一次更严重所以conf建议先降到0.15-0.2试跑看误报情况再往上调。iou阈值控制重复框合并0.5是通用值如果你的数据集里异物紧密相邻比如一根钢丝断成两截降到0.4能避免第二个框被合并掉。首次推理如果报models模块找不到先检查weights文件是否损坏用torch.load读一下如果报NumPy版本冲突一般是ultralytics版本和numpy不兼容指定numpy1.24.4重装即可。3.3 可视化界面的启动方式和数据流设计可视化界面通常用PyQt5或Tkinter实现我见过做得比较合理的版本是主界面显示摄像头实时画面右上角有个检测状态灯正常/预警/急停底部记录当前帧画面、异物类别、置信度。它的核心逻辑不是画图而是「读帧-推理-决策」循环。一个可参考的简化版本import sys import cv2 from PyQt5.QtWidgets import QApplication, QLabel, QVBoxLayout, QWidget from PyQt5.QtGui import QImage, QPixmap from PyQt5.QtCore import QTimer from ultralytics import YOLO class EscalatorMonitor(QWidget): def __init__(self, model_path, video_source): super().__init__() self.model YOLO(model_path) self.cap cv2.VideoCapture(video_source) self.label QLabel(self) layout QVBoxLayout(self) layout.addWidget(self.label) self.timer QTimer(self) self.timer.timeout.connect(self.process_frame) self.timer.start(30) # 每30毫秒处理一帧 def process_frame(self): ret, frame self.cap.read() if not ret: self.timer.stop() return result self.model.predict(frame, conf0.2, iou0.5, verboseFalse)[0] plot_frame result.plot() # ultralytics自带画框功能 rgb cv2.cvtColor(plot_frame, cv2.COLOR_BGR2RGB) h, w, c rgb.shape qimg QImage(rgb.data, w, h, c * w, QImage.Format_RGB888) self.label.setPixmap(QPixmap.fromImage(qimg)) if __name__ __main__: app QApplication(sys.argv) win EscalatorMonitor(weights/best.pt, test_videos/cam01.mp4) win.show() sys.exit(app.exec_())这个界面模板暴露了毕设项目的典型坑——QTimer频率設30毫秒看起来流畅但如果推理一次要80毫秒实际帧率只有12界面会显得卡。常见做法是把推理丢到子线程主线程只管显示最新结果避免QTimer回调阻塞UI事件循环。另一个问题是result.plot()会拷贝整个图像多一倍的RGB内存占用嵌入式的低内存环境建议改用boxes.xyxy自己画框for box, cls in zip(result.boxes.xyxy, result.boxes.cls): x1, y1, x2, y2 map(int, box.tolist()) cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), 2)这个改动对内存占用影响很大。处理1080p视频帧时result.plot()产生的中间数组约6MB连续跑一小时会触发几十次内存拷贝边缘设备扛不住。4. 训练自己的数据集从标注到mAP的完整链路4.1 数据配置文件与训练启动命令数据准备完毕以后需要写一个yaml描述数据路径和类别然后启动训练。数据集目录结构要严格匹配Ultralytics的约定dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/对应的yaml文件# escalator.yaml path: dataset train: images/train val: images/val nc: 4 names: [wire, bottlecap, paper, heel]训练启动命令yolo detect train \ modelyolov8s.pt \ dataescalator.yaml \ epochs100 \ imgsz640 \ batch8 \ device0 \ lr00.005 \ lrf0.01 \ projectruns/train \ nameescalator_v1这里的参数含义逐一说清modelyolov8s.pt表示加载s尺寸的预训练权重相比从零训练能快3-5倍收敛而且小目标特征提取更充分imgsz640是输入分辨率不要盲目提到1280那会让显存爆炸且训练时间翻倍梳齿板异物在640输入下已经能覆盖到12像素以上batch8在8GB显存下刚好如果你的显卡是16GB可以提到16梯度更稳定lr00.005是初学率预训练权重加载后这个值足够从零训练可以用0.01。有一个参数容易被忽略——patience。Ultralytics默认早停机制如果连续50个epoch验证集mAP不提升就自动终止。对于小目标检测类别样本不均衡时偶尔会卡住5-10个epoch然后突然提升我习惯把patience设成30避免错过后期反弹。4.2 训练过程监控与损失函数曲线解读训练过程中要用tensorboard看曲线而不是等训练完再一次性看结果。启动方式# 训练时自动生成runs/train/escalator_v1目录 # 新开终端执行tensorboard --logdir runs/train --port 6006重点看三个指标train/box_loss是否稳定下降不下降说明学习率过大或数据标注噪声太大metrics/mAP50和metrics/mAP50-95之间的差距差距超过0.3说明模型过拟合需要提升数据增强强度或增加样本量val/box_loss在训练后期如果开始回升说明已经过拟合此时不应等早停手动CtrlC终止训练取出之前的best.pt。用Python脚本画损失曲线也是毕设中常见需求import pandas as pd import matplotlib.pyplot as plt data pd.read_csv(runs/train/escalator_v1/results.csv) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(data[epoch], data[train/box_loss], labeltrain box loss) plt.plot(data[epoch], data[val/box_loss], labelval box loss) plt.legend() plt.subplot(1, 2, 2) plt.plot(data[epoch], data[metrics/mAP50(B)], labelmAP50) plt.legend() plt.savefig(loss_curve.png, dpi150)一个经验值mAP50在0.85以上且mAP50-95在0.6以上这个模型在扶梯场景下是可用的。低于这个数不要急着加数据先检查标注框是不是太大、类别是否严重不平衡。我见过一次铁丝标注框把整个梳齿板包进去模型学出来的检测框永远覆盖半屏这是标注质量的问题不是模型容量的问题。4.3 训练完成后的模型转换与预警接入训练结束后best.pt用于Python推理没问题但如果你想在边缘设备上跑或者做C/Java集成就要导出成onnx或engine格式yolo export modelruns/train/escalator_v1/weights/best.pt formatonnx dynamicFalse opset12导出时注意dynamicFalse固定输入尺寸640x640否则导出后的模型在onnxruntime里动态shape支持不好容易报错。转换后用onnxruntime验证精度是否与PyTorch一致import onnxruntime as ort import numpy as np from ultralytics.utils.ops import non_max_suppression session ort.InferenceSession(best.onnx) input_name session.get_inputs()[0].name img cv2.imread(test_samples/frame_002.jpg) img_resized cv2.resize(img, (640, 640)) img_input img_resized[:, :, ::-1].transpose(2, 0, 1)[None] / 255.0 pred session.run(None, {input_name: img_input.astype(np.float32)})[0] boxes non_max_suppression(torch.from_numpy(pred), conf_thres0.2, iou_thres0.5)这一步很重要ONNX转换后输出层的形状和排序跟PyTorch原始输出有微妙差异不经过NMS直接输出的话框坐标错位是常见现象。导出后再画一次框对比原图确认坐标没跑偏再接预警逻辑。5. 避坑指南从训练翻车到部署踩坑的五个常见问题5.1 训练Loss一开始就出现NaN现象训练启动后前几步loss直接变成NaN随后loss曲线一条直线。原因大概率是标签文件中有负数坐标或者框宽高为0。我在2.2节给了边界裁剪代码但很多标注工具导出的JSON中points坐标本身就是反的比如先写右下角再写左上角导致算出来的宽高是负值。另一种情况是标注的类别ID超过nc数量和ymaml不一致这种错误在读取label时不会报错但训练时损失函数会炸。解决写一个数据体检脚本遍历所有txt标签检查每行5个数值是否都在合理范围内import os for split in [train, val]: label_dir fdataset/labels/{split} for f in os.listdir(label_dir): with open(os.path.join(label_dir, f)) as fh: for line in fh: parts line.strip().split() if len(parts) ! 5: print(fbad format: {f}: {line}) cls int(parts[0]) vals list(map(float, parts[1:])) if cls 4 or any(v 0 or v 1 for v in vals): print(fbad value: {f}: {line})这个脚本务必在训练前跑能省掉大半天的调试时间。5.2 扶梯反光把模型搞成「玻璃探测器」现象训练后模型把梳齿板旁边的不锈钢立柱、镜面装饰板都识别成了异物误报率超过40%。原因训练样本里正常梳齿板的光照模式单一模型学到的是「高亮金属区域」这个特征而不是「异物与齿槽的差异」。这是数据多样性不足的表现不是模型问题。解决从训练集中抽出所有高反光场景的图片单独看它们的标注框。如果标注框都是贴在反光点旁边说明标注本身就把反光当成异物了。正确的做法是「正常反光不标注、异物反光才标注」。另外训练数据的采集尽量覆盖早中晚三个时段、顶灯和侧光两种角度让模型学会区分反光形状的规律性——梳齿板的反射是规律的条状异物反射是异常的点状或块状。5.3 推理速度够快但预警频繁误触发现象部署到商场后每10分钟就报警一次商场运维取消了这个功能。原因单帧检测的置信度波动是正常的一根钢丝在某一帧被识别为wire下一帧因为梯级震动画面模糊模型置信度掉了0.1又识别不出来。更深层的原因是预警逻辑只看单帧不考虑时间维度的连续性。解决预警逻辑改成连续N帧确认机制要求连续3帧以上且置信度都超过阈值才触发预警。这个方案我用在多个现场误报率能降低80%class AlarmThrottle: def __init__(self, threshold3, conf0.25): self.threshold threshold self.conf conf self.last_hit {} self.last_clear {} def update(self, detections): current len(detections) 0 and any(d.conf self.conf for d in detections) now time.time() if current: self.last_hit[now] now # 清理5秒前的记录 self.last_hit {k: v for k, v in self.last_hit.items() if now - k 5} return len(self.last_hit) self.threshold5.4 PyQt5界面在推理时卡死现象点击开始检测后整个界面无响应移动窗口变白。原因QTimer的回调里做了耗时的模型推理阻塞了Qt事件循环。推理一次50-100ms期间Qt无法处理重绘事件界面自然卡死。解决把推理丢进QThread工作线程主线程通过信号槽接收结果只负责绘制class InferenceWorker(QThread): result_ready pyqtSignal(object) def __init__(self, model, video_source): super().__init__() self.cap cv2.VideoCapture(video_source) def run(self): while True: ret, frame self.cap.read() if not ret: break result self.model.predict(frame)[0] self.result_ready.emit(result)这是界面编程的经典教训凡是做了界面的人都应该把耗时操作丢线程不要嫌麻烦直接塞主线程。5.5 OpenCV读取网络摄像头延迟严重现象使用RTSP协议读取商场监控流画面延迟3-4秒完全没法做实时预警。原因OpenCV的VideoCapture默认启用内部缓冲队列连续读帧会不断累积旧帧导致画面滞后。扶梯场景对延迟敏感钢丝卡进去到急停的窗口通常只有几秒。解决关闭缓冲并手动清帧cv2.VideoCapture.set(cv2.CAP_PROP_BUFFERSIZE, 1)注意设置要在open之后最好在循环里每读一帧就清一次缓冲。另外RTSP传输层改成UDP或TCP都会影响延迟我一般在rtsp://后面加?tcp参数走TCP延迟稳定在300-500ms内。6. 把预警系统从「会跑」做成「能干活」连续帧判定与后端联动预警系统最后一个环节是后端联动——识别到异物以后不只是屏幕上亮个红框需要让现场人员真正接到信号。比较实用的方案有三种继电器输出控制急停、MQTT消息推送到监控室、HTTP POST写入Web管理系统。毕设阶段做到第二种最合适既简单又能演示import paho.mqtt.client as mqtt client mqtt.Client() client.connect(192.168.1.100, 1883) def on_detect(detections, frame_id): for det in detections: if det.cls 0 and det.conf 0.3: # wire类触发预警 payload { frame_id: frame_id, class: wire, confidence: round(float(det.conf), 3), bbox: [int(v) for v in det.xyxy[0].tolist()], time: time.strftime(%Y-%m-%d %H:%M:%S) } client.publish(escalator/alarm, json.dumps(payload)) with open(alarm_log.txt, a) as f: f.write(json.dumps(payload) \n)MQTT的好处是现场多个摄像头可以共用一条报警通道值班室大屏用一个订阅端就能接收所有扶梯的报警事件。日志落盘是排查故障的关键证据报警后商场运维去现场确认时要对得上时间戳和画面帧号。最后再给一个调试技巧部署后跑一次「正向验证」——拿一根拉直的钢丝放到梳齿板上观察模型框选是否稳定再拿一片揉皱的铝箔纸贴在玻璃门上测误报。这两个测试通过以后系统才真正具备交付条件。我做这类项目习惯先把「最不可能漏检」的类别调到最优再考虑误检因为漏一次可能砸到人误报一次只是烦人。希望帮到你。本文还有配套的精品资源点击获取