尧图网站建设 
各位读者朋友大家好今天整理一篇实战型的硬核内容基于 YOLOv8 / YOLOv5 与 PySide6 构建的摔倒检测与跌倒识别系统。之前在做实验室安全监控和养老院看护场景项目时摔倒检测是个出现频率特别高的需求。市面上很多方案要么是纯算法研究、不接地气要么是商业套壳、可定制性太差。自己动手用 YOLOv8 PySide6 搭一套既能跑通模型训练闭环又能做出带界面、带报警、带录像回放的真实系统非常适合做毕设、课设、项目实战或生产原型。这篇文章会从需求分析、技术选型、环境配置、数据集制作、模型训练、界面开发、实时检测到打包发布完整梳理一套可落地的摔倒检测系统。代码均为可复用的工程化写法你在自己的项目里可以直接改改路径和参数运行。1. 摔倒检测系统到底在解决什么问题1.1 什么是摔倒检测摔倒检测也叫跌倒识别、跌倒检测属于计算机视觉中目标检测与行为识别交叉的一个具体应用方向。它的核心任务很简单从视频帧或图像序列中判断“人是否发生了摔倒”并在发生摔倒时产生告警。人体的摔倒过程通常有比较明显的空间特征人体姿态从直立迅速变为水平或接近水平人体轮廓的宽高比发生剧烈变化运动速度在短时间内骤增之后长时间保持静止。这些特征在目标检测模型上的体现就是检测框的宽高比会在很短时间内从“高瘦”变为“矮胖”并且人体检测框的中心点会发生快速位移。1.2 为什么选用 YOLOv8 / YOLOv5 来做摔倒检测摔倒检测本质上是一个目标检测 状态分类问题。虽然也可以用姿态估计加规则判断但对算力要求高、部署复杂。而 YOLO 系列检测模型结构简单、推理速度快、训练生态成熟非常适合做单阶段的摔倒状态识别。YOLOv5 的优势是社区资料多、稳定性好、部署方案丰富很多老项目和嵌入式设备都在用。YOLOv8 在 YOLOv5 的基础上进一步改进了骨干网络和检测头在精度与推理速度的平衡上表现更好而且默认支持旋转目标检测、实例分割、姿态估计等多种任务。两个模型的训练方式和代码结构比较接近因此我们通常把训练、验证、导出流程统一封装模型可以随时切换。1.3 摔倒检测的典型应用场景智慧养老独居老人、养老院房间内跌倒检测发生异常时自动通知护理人员。工业安全工厂车间、建筑工地人员跌倒检测。医疗监护病房、康复中心患者跌倒检测。公共场所安全地铁站、商场、卫生间等区域跌倒检测。家庭安防家用摄像头结合本地算力盒子的跌倒报警。从这些场景可以看出摔倒检测项目除了模型训练之外还要求系统做到本地化运行、界面可视化、报警联动。这也是本文选择 PySide6 做上位机的原因。2. 系统总体架构与识别流程2.1 系统整体架构整个摔倒检测系统可以拆成四个层数据层、模型层、应用层、报警层。数据层负责视频流接入支持本地视频文件、摄像头 RTSP/RTMP 流、USB 摄像头。模型层使用 YOLOv8/YOLOv5 训练好的摔倒检测模型对每一帧画面进行推理输出检测框和摔倒置信度。应用层是 PySide6 编写的桌面程序负责视频解码、模型推理调度、界面展示、检测结果标注。报警层在检测到摔倒时触发报警音、弹窗、截图保存和录像保存。在工程实现上我们把模型推理纳入单独线程避免阻塞 PySide6 的 Qt 事件循环防止界面卡死。2.2 摔倒检测识别流程整个系统执行流程如下读取视频帧OpenCV 的 VideoCapture 负责。对画面做必要预处理如缩放、归一化。送入 YOLOv8/YOLOv5 模型推理得到检测框坐标、类别、置信度。根据类别判断检测框是否属于摔倒类别。额外验证检测框的宽高比、停留时间、置信度降低误报率。如果在连续多帧中均判定为摔倒触发报警并保存证据图片和录像。在 PySide6 界面中绘制检测框和状态信息。2.3 为什么要加帧间判定与目标跟踪简单按单帧检测框来做摔倒报警误报率会很高。因为人下蹲、弯腰捡东西时人体框的宽高比也会有短时变化。更稳的思路是加入帧间逻辑对检测到的目标进行轻量级跟踪例如基于 IoU 的简单关联或引入 ByteTrack统计目标在连续 N 帧中的状态。如果目标框在超过一定帧数内保持摔倒状态才触发报警这样可以过滤掉大部分瞬时姿态变化造成的误报。3. 开发环境准备与依赖安装3.1 环境版本说明不同版本环境可能导致模型权重不兼容、算子导出失败所以先做一个版本说明。本文以 Python 3.8/3.9 环境为例PySide6 建议使用 6.x 版本YOLOv8 使用 ultralytics 库YOLOv5 使用官方仓库代码。具体版本不写死因为你的 CUDA 版本、显卡驱动和 Python 版本不同安装结果会有差异。如果你的显卡是 GTX 1660 Ti、RTX 3060 等普通消费级显卡建议使用 CUDA 11.8 cuDNN 8.x显存 6G 以上可以正常训练 YOLOv8s、YOLOv5s 等小模型。3.2 安装依赖建议使用虚拟环境管理依赖避免污染系统 Python。conda create -n fall_detection python3.9 conda activate fall_detection安装 PyTorch 时根据你的显卡选择对应版本。这里以 CUDA 11.8 为例pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118安装 YOLOv8 官方库pip install ultralytics安装界面开发和视频处理相关库pip install pyside6 opencv-python numpy pyyaml pip install pyinstaller验证安装结果python -c import torch, cv2, PySide6, ultralytics; print(env ok)如果输出env ok说明环境基本可用。3.3 YOLOv5 / YOLOv8 的安装区别YOLOv8 通过ultralytics包直接调用不需要手动 clone 仓库代码集成度更高。YOLOv5 是传统仓库形式需要下载源码git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt如果后续训练脚本需要兼容两个模型建议在工程中封装模型加载函数分别处理两种模型的前向推理输出格式。4. 数据集收集与标注4.1 摔倒检测数据集的来源方式训练摔倒检测模型数据是核心。数据集通常有三种来源第一是公开数据集常用的有 Le2i Fall Detection Dataset、UR Fall Detection Dataset、Multiple Cameras Fall Dataset很多论文和开源项目都在使用。使用公开数据集时建议先检查标注格式转换为 YOLO 格式后用于训练。第二是自行拍摄在实验室或实际场景中模拟摔倒动作用手机或监控摄像头录制视频然后抽帧标注。模拟场景时可以覆盖正面摔倒、侧面摔倒、从椅子上滑落等不同角度。第三是网络图片爬取但在使用时要注意版权和个人隐私不建议大规模使用。4.2 视频抽帧生成图片如果原始数据是视频需要先把视频转成图片。下面是一个抽帧工具脚本。# tools/extract_frames.py import cv2 import os def extract_frames(video_path, output_dir, interval10): os.makedirs(output_dir, exist_okTrue) cap cv2.VideoCapture(video_path) frame_id 0 saved_id 0 while True: ret, frame cap.read() if not ret: break if frame_id % interval 0: out_path os.path.join(output_dir, fframe_{saved_id:06d}.jpg) cv2.imwrite(out_path, frame) saved_id 1 frame_id 1 cap.release() print(ftotal frames: {frame_id}, saved images: {saved_id}) if __name__ __main__: extract_frames( video_pathdata/source_fall_video.mp4, output_dirdata/images/train, interval5, )抽帧间隔建议根据视频帧率调整一般每秒抽 2-5 帧即可。如果抽帧太密相邻图片相似度太高容易造成训练集冗余。4.3 使用 LabelImg 或 LabelStudio 标注YOLO 格式的标注文件是 txt 文件每行表示一个目标class_id center_x center_y width height其中center_x、center_y、width、height都是相对于图片宽度和高度的归一化值。标注时建议定义两类目标normal正常站立/行走和fall摔倒。也可以只标注摔倒目标然后训练一个单类别检测器。LabelImg 是轻量级标注工具适合图片标注。LabelStudio 支持视频标注、多人协作适合较大的团队项目。标注完成后一个典型的 YOLO 数据集目录结构如下fall_dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/在images/train和labels/train下每张图片对应一个同名 txt 文件。4.4 数据集增强摔倒检测场景中正样本摔倒往往比负样本正常状态少。可以通过以下方式扩充数据对图片做左右翻转。调整亮度、对比度、饱和度。随机裁剪。Mosaic 增强YOLOv5/YOLOv8 内置支持。在训练配置中开启 Mosaic 可以显著提升模型对遮挡和密集场景的鲁棒性。5. YOLOv8 模型训练与验证5.1 构建数据配置文件在 Ultralytics YOLOv8 中训练数据需要一个 YAML 文件来定义数据集路径和类别。# config/fall_dataset.yaml path: E:/fall_detection_project/dataset/fall_dataset train: images/train val: images/val nc: 2 names: 0: normal 1: fall注意path字段需要改成你自己的实际路径建议使用绝对路径避免训练时找不到数据。5.2 编写统一训练脚本为了让 YOLOv5 和 YOLOv8 可以共用一套训练入口我们简单封装一个训练脚本。这里先展示 YOLOv8 的训练方式。# tools/train_yolov8.py from ultralytics import YOLO def train_yolov8(): model YOLO(yolov8s.pt) model.train( dataconfig/fall_dataset.yaml, epochs100, imgsz640, batch16, device0, workers4, lr00.01, patience20, projectruns/train, namefall_det_yolov8s, pretrainedTrue, optimizerauto, ) if __name__ __main__: train_yolov8()训练时的参数说明epochs训练轮数数据集在几百张图片时可以设到 150-200 轮但需要配合早停机制。imgsz输入图片尺寸640 是默认值小显存可以降到 512。batch批大小GTX 1660 Ti 6G 显存建议设为 8-16。device显卡编号CPU 训练则填cpu。patience早停耐心值验证集指标连续多少轮不提升就停止训练。5.3 使用 YOLOv5 训练摔倒检测模型如果你希望使用 YOLOv5 仓库训练进入克隆好的 yolov5 目录后执行python train.py \ --data config/fall_dataset.yaml \ --weights yolov5s.pt \ --img 640 \ --batch 16 \ --epochs 100 \ --device 0 \ --project runs/train \ --name fall_det_yolov5sYOLOv5 的 data yaml 与 YOLOv8 略有不同可以参考yolov5/data/coco128.yaml的格式修改。5.4 YOLOv8 增量训练方法如果你已经有一个训练好的摔倒检测模型希望在新增数据集上继续训练YOLOv8 提供了增量训练能力。做法是加载上一个训练任务产出的 best.pt 权重然后在旧数据和新数据的合并集上继续训练。model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) model.train( dataconfig/fall_dataset_v2.yaml, epochs50, imgsz640, batch16, resumeFalse, )增量训练是实际项目中非常重要的能力。因为采集到更多真实场景数据后直接重新训练会丢失已学到的知识而在旧权重基础上继续训练既保留原有检测能力又逐步适应新场景。5.5 损失函数曲线与训练结果分析训练完成后在runs/train/fall_det_yolov8s/目录下会生成results.png包含了训练过程中的损失曲线、精度、召回率、mAP 等指标。针对摔倒检测任务重点关注两个指标mAP0.5在 IoU 阈值为 0.5 时的平均精度均值如果数据集中摔倒目标较小需要关注该值是否达到 0.85 以上。Recall摔倒样本的召回率如果召回率过低说明很多摔倒目标被漏检这在实际场景中非常危险。还可以在训练工具中增加自定义绘制脚本把每轮的损失值画成更清晰的曲线图。5.6 模型验证与推理测试训练完成后用验证集评估模型效果from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) metrics model.val(dataconfig/fall_dataset.yaml, splitval) print(metrics.box.map50) print(metrics.box.map)然后用测试视频做一次快速推理from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) results model.predict( sourcedata/test_fall_video.mp4, conf0.4, iou0.5, saveTrue, projectruns/detect, nametest_fall, )这里conf0.4的含义是只有置信度超过 0.4 的检测框才会被保留。在实际项目中这个阈值需要根据误报和漏报的接受程度进行调优。6. PySide6 上位机界面开发6.1 PySide6 与 PySide 的区别PySide6 是 Qt for Python 的官方版本对应 Qt 6 版本。PySide 是老称呼PySide2 对应 Qt 5PySide6 对应 Qt 6。两者 API 接近但 PySide6 更新、对新 Python 版本支持更好所以新项目建议直接使用 PySide6。很多初学者会混淆 PySide6、PyQt5、PyQt6 这几个库。它们的底层都是 Qt区别在于授权协议和 API 风格。PySide6 是 LGPL 协议相对宽松适合做工具软件。6.2 界面功能设计摔倒检测系统界面需要展示实时视频画面、检测结果并提供操作按钮。我们设计的界面包含以下功能模块视频显示区域展示原始画面和检测框绘制结果。操作按钮打开视频、打开摄像头、开始检测、停止检测。状态信息栏显示当前检测状态、FPS、检测目标数量。报警信息区显示最近一次报警时间、保存的截图路径。统计信息当天报警次数、累计摔倒次数。参数配置置信度阈值、报警间隔、是否保存录像。6.3 创建主窗口框架下面是一个简洁但完整的 PySide6 主窗口示例。# ui/main_window.py import sys from PySide6.QtWidgets import QMainWindow, QLabel, QPushButton, QVBoxLayout, QHBoxLayout, QWidget, QFileDialog, QMessageBox, QLineEdit, QSpinBox from PySide6.QtCore import Qt, QTimer from PySide6.QtGui import QImage, QPixmap class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(摔倒检测跌倒识别系统) self.resize(1024, 720) self.video_label QLabel(视频将在播放后显示) self.video_label.setAlignment(Qt.AlignmentFlag.AlignCenter) self.video_label.setStyleSheet(background-color: #1e1e1e; color: #cccccc;) self.btn_open_video QPushButton(打开视频) self.btn_open_camera QPushButton(打开摄像头) self.btn_start QPushButton(开始检测) self.btn_stop QPushButton(停止检测) layout_control QHBoxLayout() layout_control.addWidget(self.btn_open_video) layout_control.addWidget(self.btn_open_camera) layout_control.addWidget(self.btn_start) layout_control.addWidget(self.btn_stop) self.status_label QLabel(状态未启动) self.fps_label QLabel(FPS0) layout_info QHBoxLayout() layout_info.addWidget(self.status_label) layout_info.addStretch() layout_info.addWidget(self.fps_label) self.msg_label QLabel(报警信息无) layout_msg QHBoxLayout() layout_msg.addWidget(self.msg_label) main_layout QVBoxLayout() main_layout.addWidget(self.video_label) main_layout.addLayout(layout_control) main_layout.addLayout(layout_info) main_layout.addLayout(layout_msg) container QWidget() container.setLayout(main_layout) self.setCentralWidget(container) self._init_components() def _init_components(self): self.video_path None self.camera_index 0 self.timer QTimer() self.timer.timeout.connect(self.update_frame) def update_frame(self): pass这是一个基础窗口后续我们会把视频读取和模型推理集成进来。6.4 使用 QLineEdit 配置信度阈值和报警间隔界面需要开放参数调节功能例如置信度阈值、报警去重时间。我们可以在界面下方加入一行参数配置框。在_init_components方法中增加配置组件self.conf_label QLabel(置信度阈值:) self.conf_edit QLineEdit(0.45) self.conf_edit.setFixedWidth(80) self.interval_label QLabel(报警间隔(s):) self.interval_edit QLineEdit(5) self.interval_edit.setFixedWidth(80) layout_param QHBoxLayout() layout_param.addWidget(self.conf_label) layout_param.addWidget(self.conf_edit) layout_param.addWidget(self.interval_label) layout_param.addWidget(self.interval_edit) layout_param.addStretch()在主布局中把layout_param加入即可。这里使用QLineEdit接收用户输入。实际操作中我们应该对用户输入做校验比如判断输入是否为浮点数避免程序崩溃。def get_conf_threshold(self): try: val float(self.conf_edit.text()) if 0 val 1: return val else: raise ValueError(阈值范围必须为 (0, 1]) except ValueError as e: QMessageBox.warning(self, 参数错误, str(e)) return 0.45这个组件在实际项目中经常被问到“PySide6 QLineEdit 是否输入”的问题本质就是校验输入内容是否合法。7. 摄像头实时检测与报警联动7.1 视频处理线程设计在 PySide6 中如果在主线程直接读取摄像头视频流和模型推理会导致界面卡顿。正确做法是使用子线程完成视频读取与推理再通过信号把处理后的画面传递回主线程。我们用QThread来写视频处理线程。# core/detect_thread.py import cv2 import numpy as np from PySide6.QtCore import QThread, Signal from ultralytics import YOLO class DetectThread(QThread): frame_ready Signal(np.ndarray) detec_result Signal(int, float) error_msg Signal(str) def __init__(self, model_path, conf_threshold0.45, interval5, parentNone): super().__init__(parent) self.model_path model_path self.conf_threshold conf_threshold self.interval interval self.running False self.model None self.cap None def load_model(self): self.model YOLO(self.model_path) def set_video_source(self, source): self.source source def stop(self): self.running False def run(self): self.running True self.cap cv2.VideoCapture(self.source) if not self.cap.isOpened(): self.error_msg.emit(无法打开视频源) return while self.running: ret, frame self.cap.read() if not ret: break results self.model.predict( frame, confself.conf_threshold, imgsz640, verboseFalse, ) annotated results[0].plot() self.frame_ready.emit(annotated) fall_count 0 for r in results: boxes r.boxes if boxes is not None: for box in boxes: cls int(box.cls[0]) if self.model.names[cls] fall: fall_count 1 self.detec_result.emit(fall_count, self.conf_threshold) self.cap.release()在这个线程中frame_ready信号把绘制好的图像传回主界面detec_result信号把摔倒目标数量传给主界面更新报警信息。7.2 报警逻辑实现实际部署时需要把“单帧检测到摔倒”升级为“连续帧确认摔倒”。可以在DetectThread内部维护一个计数器。self.fall_candidate_count 0 self.fall_trigger_frame 10如果当前帧检测到摔倒目标则计数器加 1否则计数器清零或者减 1。当计数器超过阈值就触发一次报警。这样可以过滤掉因为弯腰、蹲下等动作产生的瞬时误报。触发报警后要控制报警频率。假设用户设置报警间隔为 5 秒那么与上次报警时间小于 5 秒时不再重复报警防止同一摔倒事件刷屏。import time self.last_alert_time 0 def maybe_alert(self): now time.time() if now - self.last_alert_time self.interval: self.last_alert_time now self.alert_signal.emit(检测到摔倒行为!)7.3 报警截图与录像保存发生报警时除了界面提示外还应该保存现场图片和录像片段。截图保存比较简单保存当前帧为 JPEG 文件即可def save_snapshot(self, frame, save_diralerts): from datetime import datetime os.makedirs(save_dir, exist_okTrue) ts datetime.now().strftime(%Y%m%d_%H%M%S) path os.path.join(save_dir, ffall_{ts}.jpg) cv2.imwrite(path, frame) return path录像保存建议使用 OpenCV 的 VideoWriter。在报警触发后记录接下来 10-15 秒的视频。fourcc cv2.VideoWriter_fourcc(*mp4v) writer cv2.VideoWriter(fall_alert.mp4, fourcc, 20.0, (width, height))注意在 PySide6 中频繁进行磁盘写入会阻塞线程建议把保存操作放到独立队列或使用异步方式。7.4 主界面接入检测线程在主窗口打开视频时创建DetectThread并连接信号。# ui/main_window.py 部分代码补充 from core.detect_thread import DetectThread def open_video(self): file_path, _ QFileDialog.getOpenFileName( self, 选择视频文件, , 视频文件 (*.mp4 *.avi *.mov *.mkv) ) if file_path: self.thread DetectThread( model_pathmodels/best.pt, conf_thresholdself.get_conf_threshold(), intervalint(self.interval_edit.text()) ) self.thread.set_video_source(file_path) self.thread.load_model() self.thread.frame_ready.connect(self.show_frame) self.thread.detec_result.connect(self.update_status) self.thread.error_msg.connect(self.show_error) self.thread.start() self.status_label.setText(状态检测中) def show_frame(self, frame): frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch frame.shape bytes_per_line ch * w image QImage(frame.data, w, h, bytes_per_line, QImage.Format.Format_RGB888) self.video_label.setPixmap(QPixmap.fromImage(image).scaled( self.video_label.size(), Qt.AspectRatioMode.KeepAspectRatio, Qt.TransformationMode.SmoothTransformation, ))这样点击“打开视频”后就能在界面中看到实时检测结果。8. 项目启动入口与打包发布8.1 编写 main.py 启动文件我们把模型加载、界面创建、线程管理统一在一个入口中。# main.py import sys from PySide6.QtWidgets import QApplication from ui.main_window import MainWindow def main(): app QApplication(sys.argv) window MainWindow() window.show() sys.exit(app.exec()) if __name__ __main__: main()为了减少每次启动加载模型的等待时间可以在MainWindow初始化时预加载模型再在打开视频时把模型权重传入检测线程。8.2 使用 PyInstaller 打包为 exePySide6 和 ultralytics 的依赖较多打包时要注意隐藏文件和资源文件。建议使用 PyInstaller 的 spec 文件配置资源pyinstaller main.spec简单时也可以直接使用命令行pyinstaller -w main.py --name FallDetect \ --hidden-import ultralytics.nn.modules \ --add-data models/best.pt;models \ --add-data config/fall_dataset.yaml;config注意--add-data把模型权重和配置文件打包进 exe 的同级目录。-w表示不显示控制台窗口也就是 GUI 模式。如果在 Windows 上打包后运行提示找不到ultralytics相关模块需要补充 hidden-import。可以把整个ultralytics包复制到项目目录直接用相对路径导入减少打包问题。8.3 模型导出为 ONNX 加速推理如果部署环境没有 PyTorch或者希望用 OpenVINO、TensorRT 加速可以将模型导出为 ONNX 格式model.export(formatonnx, imgsz640)导出完成后可以使用 OpenCV 的 DNN 模块或 ONNX Runtime 加载模型推理速度通常比原始 PyTorch 更快适合嵌入式设备部署。import onnxruntime as ort session ort.InferenceSession(models/best.onnx, providers[CPUExecutionProvider])在 OpenVINO 环境下的 Intel CPU 推理速度提升尤其明显。9. 常见问题与排查思路9.1 环境安装相关问题现象常见原因解决思路PySide6 安装失败Python 版本过低或过高使用 Python 3.8-3.11 并重新安装torch 安装后 GPU 不可用CUDA 版本与 PyTorch 不匹配执行torch.cuda.is_available()检查按显卡驱动选择合适 CUDAultralytics 导入报错依赖冲突重新创建虚拟环境并按顺序安装GTX 1660 Ti 运行 YOLOv8 很慢没有使用 GPU 推理或显存不足设置device0调小imgsz和batch9.2 训练与推理相关问题问题现象常见原因解决思路训练时很快停止patience设置太小或学习率设置不合理调大patience使用自动学习率优化器检测框置信度普遍偏低输入图像模糊或目标太小提高标注质量增加样本数量摔倒类别漏检较多正样本数据不充足做更多翻转、旋转增强或收集更多摔倒样本程序界面卡顿在 Qt 主线程执行了推理使用 QThread 子线程处理推理模型对正常弯腰误判为摔倒只依赖单帧检测框增加连续帧确认逻辑和宽高比过滤9.3 PySide6 打包问题问题现象常见原因解决思路打包后缺少 Qt 插件hidden import 缺失使用--collect-all PySide6找不到模型文件模型权重没有随包复制使用--add-data携带模型文件打包后软件体积过大PySide6 和 torch 体积本身就大使用 ONNX 部署模式减少 torch 依赖双击 exe 无反应缺 DLL 或依赖库在 cmd 中执行 exe 查看报错日志9.4 摄像头无法打开摄像头打开失败通常是因为权限被占用或索引不对。可以这样排查import cv2 for i in range(5): cap cv2.VideoCapture(i) if cap.isOpened(): print(fcamera index {i} opened) cap.release()如果所有索引都打不开检查摄像头是否被其他软件占用或者尝试更换 USB 接口。10. 工程化最佳实践与部署建议10.1 模型层面训练摔倒检测模型时不要只看 mAP。建议根据实际场景统计误报率和漏报率。可以采集一段 30 分钟的真实监控视频将模型输出结果和人工标注结果做对比找出误报频发的画面区域再有针对性地增加负样本。在模型选择上YOLOv8n 适合低算力设备YOLOv8s 是精度与速度均衡的选择。YOLOv5 更适合老设备或已有工程基础的项目。如果你的设备算力特别低也可以考虑使用 MobileNet 等轻量级骨干网络配合 YOLO 检测头。10.2 程序层面检测线程要支持多路视频流。批量部署时可以把视频读取和模型推理解耦读取线程只管取帧推理线程从队列中取帧这样摄像头资源不会被单个推理耗时阻塞。报警信息要记录日志。无论是报警截图、录像还是系统运行日志都建议按天分目录保存便于事后追溯。日志要记录时间、视频源、检测框坐标、置信度、处理耗时。10.3 隐私与合规在真实部署场景中摄像头监控涉及个人隐私。系统应该具备本地化处理能力不上传视频数据到云端。增加数据脱敏功能比如在画面中检测到非目标区域时自动遮挡。报警截图与录像只保存必要时间窗口不长时间留存原始视频。10.4 安全边界系统涉及报警行为属于安全相关场景不能只依赖单一模型判断。建议叠加人员状态跟踪和异常阈值判断尽量减少误报和漏报。在生产环境部署前要进行多轮真实验证不能因为模型在测试集上表现好就直接上线。对 PySide6 程序建议限制只有授权用户才能修改界面参数防止非专业人员误调置信度阈值造成系统失效。10.5 性能优化建议推理图片尺寸从 640 降为 512可以明显提升 FPS。使用 FP16 半精度推理减少显存占用。使用 ONNX Runtime 的ExecutionMode.ORT_SEQUENTIAL或者 OpenVINO 插件优化 CPU 推理速度。在 UI 中绘制检测框时使用 OpenCV 绘制而不使用 QPaint减少图像转换开销。对于连续帧模型输入改用 ROI 区域缩放减小输入像素量。11. 总结与下一步学习方向摔倒检测系统从技术上可以拆成数据集、模型训练、推理加速、桌面界面、报警联动五个子模块。掌握了这些模块你不仅能做出视频摔倒检测系统也能迁移到安全帽检测、区域入侵检测、离岗检测等相似任务中。下一步建议按以下顺序继续深入阅读 YOLOv8 官方源码理解 C2f 模块和 Detect 头的设计思路。尝试替换 YOLOv8 的骨干网络比如引入 ConvNeXt V2对比不同主干对摔倒目标的检测效果。学习 ByteTrack 等轻量级跟踪算法为系统加入轨迹分析能力。在 PySide6 中加入更多自动化控制例如联动门禁、光线控制。将模型导出为 TensorRT 或 OpenVINO 格式部署到 Jetson、树莓派等边缘设备。这里要提醒的是摔倒检测领域最难解决的不是模型精度而是真实场景下的数据多样性和误报控制。所以实际落地时我倾向于先把数据采集和标注流程固定下来多积累不同光线、不同角度、不同动作的样本再在模型优化上投入精力。项目代码架构建议保持模块化训练脚本和界面程序分开维护换数据集、换算法模型时不用动 UI 代码这样后续迭代会轻松很多。如果你正在做相关毕设或工程开发可以参考本文的流程先跑通最小闭环再逐步优化。有问题可以在评论区留言交流。 基于YOLOv8与PySide6的摔倒检测识别系统实战
各位读者朋友大家好今天整理一篇实战型的硬核内容基于 YOLOv8 / YOLOv5 与 PySide6 构建的摔倒检测与跌倒识别系统。之前在做实验室安全监控和养老院看护场景项目时摔倒检测是个出现频率特别高的需求。市面上很多方案要么是纯算法研究、不接地气要么是商业套壳、可定制性太差。自己动手用 YOLOv8 PySide6 搭一套既能跑通模型训练闭环又能做出带界面、带报警、带录像回放的真实系统非常适合做毕设、课设、项目实战或生产原型。这篇文章会从需求分析、技术选型、环境配置、数据集制作、模型训练、界面开发、实时检测到打包发布完整梳理一套可落地的摔倒检测系统。代码均为可复用的工程化写法你在自己的项目里可以直接改改路径和参数运行。1. 摔倒检测系统到底在解决什么问题1.1 什么是摔倒检测摔倒检测也叫跌倒识别、跌倒检测属于计算机视觉中目标检测与行为识别交叉的一个具体应用方向。它的核心任务很简单从视频帧或图像序列中判断“人是否发生了摔倒”并在发生摔倒时产生告警。人体的摔倒过程通常有比较明显的空间特征人体姿态从直立迅速变为水平或接近水平人体轮廓的宽高比发生剧烈变化运动速度在短时间内骤增之后长时间保持静止。这些特征在目标检测模型上的体现就是检测框的宽高比会在很短时间内从“高瘦”变为“矮胖”并且人体检测框的中心点会发生快速位移。1.2 为什么选用 YOLOv8 / YOLOv5 来做摔倒检测摔倒检测本质上是一个目标检测 状态分类问题。虽然也可以用姿态估计加规则判断但对算力要求高、部署复杂。而 YOLO 系列检测模型结构简单、推理速度快、训练生态成熟非常适合做单阶段的摔倒状态识别。YOLOv5 的优势是社区资料多、稳定性好、部署方案丰富很多老项目和嵌入式设备都在用。YOLOv8 在 YOLOv5 的基础上进一步改进了骨干网络和检测头在精度与推理速度的平衡上表现更好而且默认支持旋转目标检测、实例分割、姿态估计等多种任务。两个模型的训练方式和代码结构比较接近因此我们通常把训练、验证、导出流程统一封装模型可以随时切换。1.3 摔倒检测的典型应用场景智慧养老独居老人、养老院房间内跌倒检测发生异常时自动通知护理人员。工业安全工厂车间、建筑工地人员跌倒检测。医疗监护病房、康复中心患者跌倒检测。公共场所安全地铁站、商场、卫生间等区域跌倒检测。家庭安防家用摄像头结合本地算力盒子的跌倒报警。从这些场景可以看出摔倒检测项目除了模型训练之外还要求系统做到本地化运行、界面可视化、报警联动。这也是本文选择 PySide6 做上位机的原因。2. 系统总体架构与识别流程2.1 系统整体架构整个摔倒检测系统可以拆成四个层数据层、模型层、应用层、报警层。数据层负责视频流接入支持本地视频文件、摄像头 RTSP/RTMP 流、USB 摄像头。模型层使用 YOLOv8/YOLOv5 训练好的摔倒检测模型对每一帧画面进行推理输出检测框和摔倒置信度。应用层是 PySide6 编写的桌面程序负责视频解码、模型推理调度、界面展示、检测结果标注。报警层在检测到摔倒时触发报警音、弹窗、截图保存和录像保存。在工程实现上我们把模型推理纳入单独线程避免阻塞 PySide6 的 Qt 事件循环防止界面卡死。2.2 摔倒检测识别流程整个系统执行流程如下读取视频帧OpenCV 的 VideoCapture 负责。对画面做必要预处理如缩放、归一化。送入 YOLOv8/YOLOv5 模型推理得到检测框坐标、类别、置信度。根据类别判断检测框是否属于摔倒类别。额外验证检测框的宽高比、停留时间、置信度降低误报率。如果在连续多帧中均判定为摔倒触发报警并保存证据图片和录像。在 PySide6 界面中绘制检测框和状态信息。2.3 为什么要加帧间判定与目标跟踪简单按单帧检测框来做摔倒报警误报率会很高。因为人下蹲、弯腰捡东西时人体框的宽高比也会有短时变化。更稳的思路是加入帧间逻辑对检测到的目标进行轻量级跟踪例如基于 IoU 的简单关联或引入 ByteTrack统计目标在连续 N 帧中的状态。如果目标框在超过一定帧数内保持摔倒状态才触发报警这样可以过滤掉大部分瞬时姿态变化造成的误报。3. 开发环境准备与依赖安装3.1 环境版本说明不同版本环境可能导致模型权重不兼容、算子导出失败所以先做一个版本说明。本文以 Python 3.8/3.9 环境为例PySide6 建议使用 6.x 版本YOLOv8 使用 ultralytics 库YOLOv5 使用官方仓库代码。具体版本不写死因为你的 CUDA 版本、显卡驱动和 Python 版本不同安装结果会有差异。如果你的显卡是 GTX 1660 Ti、RTX 3060 等普通消费级显卡建议使用 CUDA 11.8 cuDNN 8.x显存 6G 以上可以正常训练 YOLOv8s、YOLOv5s 等小模型。3.2 安装依赖建议使用虚拟环境管理依赖避免污染系统 Python。conda create -n fall_detection python3.9 conda activate fall_detection安装 PyTorch 时根据你的显卡选择对应版本。这里以 CUDA 11.8 为例pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118安装 YOLOv8 官方库pip install ultralytics安装界面开发和视频处理相关库pip install pyside6 opencv-python numpy pyyaml pip install pyinstaller验证安装结果python -c import torch, cv2, PySide6, ultralytics; print(env ok)如果输出env ok说明环境基本可用。3.3 YOLOv5 / YOLOv8 的安装区别YOLOv8 通过ultralytics包直接调用不需要手动 clone 仓库代码集成度更高。YOLOv5 是传统仓库形式需要下载源码git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt如果后续训练脚本需要兼容两个模型建议在工程中封装模型加载函数分别处理两种模型的前向推理输出格式。4. 数据集收集与标注4.1 摔倒检测数据集的来源方式训练摔倒检测模型数据是核心。数据集通常有三种来源第一是公开数据集常用的有 Le2i Fall Detection Dataset、UR Fall Detection Dataset、Multiple Cameras Fall Dataset很多论文和开源项目都在使用。使用公开数据集时建议先检查标注格式转换为 YOLO 格式后用于训练。第二是自行拍摄在实验室或实际场景中模拟摔倒动作用手机或监控摄像头录制视频然后抽帧标注。模拟场景时可以覆盖正面摔倒、侧面摔倒、从椅子上滑落等不同角度。第三是网络图片爬取但在使用时要注意版权和个人隐私不建议大规模使用。4.2 视频抽帧生成图片如果原始数据是视频需要先把视频转成图片。下面是一个抽帧工具脚本。# tools/extract_frames.py import cv2 import os def extract_frames(video_path, output_dir, interval10): os.makedirs(output_dir, exist_okTrue) cap cv2.VideoCapture(video_path) frame_id 0 saved_id 0 while True: ret, frame cap.read() if not ret: break if frame_id % interval 0: out_path os.path.join(output_dir, fframe_{saved_id:06d}.jpg) cv2.imwrite(out_path, frame) saved_id 1 frame_id 1 cap.release() print(ftotal frames: {frame_id}, saved images: {saved_id}) if __name__ __main__: extract_frames( video_pathdata/source_fall_video.mp4, output_dirdata/images/train, interval5, )抽帧间隔建议根据视频帧率调整一般每秒抽 2-5 帧即可。如果抽帧太密相邻图片相似度太高容易造成训练集冗余。4.3 使用 LabelImg 或 LabelStudio 标注YOLO 格式的标注文件是 txt 文件每行表示一个目标class_id center_x center_y width height其中center_x、center_y、width、height都是相对于图片宽度和高度的归一化值。标注时建议定义两类目标normal正常站立/行走和fall摔倒。也可以只标注摔倒目标然后训练一个单类别检测器。LabelImg 是轻量级标注工具适合图片标注。LabelStudio 支持视频标注、多人协作适合较大的团队项目。标注完成后一个典型的 YOLO 数据集目录结构如下fall_dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/在images/train和labels/train下每张图片对应一个同名 txt 文件。4.4 数据集增强摔倒检测场景中正样本摔倒往往比负样本正常状态少。可以通过以下方式扩充数据对图片做左右翻转。调整亮度、对比度、饱和度。随机裁剪。Mosaic 增强YOLOv5/YOLOv8 内置支持。在训练配置中开启 Mosaic 可以显著提升模型对遮挡和密集场景的鲁棒性。5. YOLOv8 模型训练与验证5.1 构建数据配置文件在 Ultralytics YOLOv8 中训练数据需要一个 YAML 文件来定义数据集路径和类别。# config/fall_dataset.yaml path: E:/fall_detection_project/dataset/fall_dataset train: images/train val: images/val nc: 2 names: 0: normal 1: fall注意path字段需要改成你自己的实际路径建议使用绝对路径避免训练时找不到数据。5.2 编写统一训练脚本为了让 YOLOv5 和 YOLOv8 可以共用一套训练入口我们简单封装一个训练脚本。这里先展示 YOLOv8 的训练方式。# tools/train_yolov8.py from ultralytics import YOLO def train_yolov8(): model YOLO(yolov8s.pt) model.train( dataconfig/fall_dataset.yaml, epochs100, imgsz640, batch16, device0, workers4, lr00.01, patience20, projectruns/train, namefall_det_yolov8s, pretrainedTrue, optimizerauto, ) if __name__ __main__: train_yolov8()训练时的参数说明epochs训练轮数数据集在几百张图片时可以设到 150-200 轮但需要配合早停机制。imgsz输入图片尺寸640 是默认值小显存可以降到 512。batch批大小GTX 1660 Ti 6G 显存建议设为 8-16。device显卡编号CPU 训练则填cpu。patience早停耐心值验证集指标连续多少轮不提升就停止训练。5.3 使用 YOLOv5 训练摔倒检测模型如果你希望使用 YOLOv5 仓库训练进入克隆好的 yolov5 目录后执行python train.py \ --data config/fall_dataset.yaml \ --weights yolov5s.pt \ --img 640 \ --batch 16 \ --epochs 100 \ --device 0 \ --project runs/train \ --name fall_det_yolov5sYOLOv5 的 data yaml 与 YOLOv8 略有不同可以参考yolov5/data/coco128.yaml的格式修改。5.4 YOLOv8 增量训练方法如果你已经有一个训练好的摔倒检测模型希望在新增数据集上继续训练YOLOv8 提供了增量训练能力。做法是加载上一个训练任务产出的 best.pt 权重然后在旧数据和新数据的合并集上继续训练。model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) model.train( dataconfig/fall_dataset_v2.yaml, epochs50, imgsz640, batch16, resumeFalse, )增量训练是实际项目中非常重要的能力。因为采集到更多真实场景数据后直接重新训练会丢失已学到的知识而在旧权重基础上继续训练既保留原有检测能力又逐步适应新场景。5.5 损失函数曲线与训练结果分析训练完成后在runs/train/fall_det_yolov8s/目录下会生成results.png包含了训练过程中的损失曲线、精度、召回率、mAP 等指标。针对摔倒检测任务重点关注两个指标mAP0.5在 IoU 阈值为 0.5 时的平均精度均值如果数据集中摔倒目标较小需要关注该值是否达到 0.85 以上。Recall摔倒样本的召回率如果召回率过低说明很多摔倒目标被漏检这在实际场景中非常危险。还可以在训练工具中增加自定义绘制脚本把每轮的损失值画成更清晰的曲线图。5.6 模型验证与推理测试训练完成后用验证集评估模型效果from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) metrics model.val(dataconfig/fall_dataset.yaml, splitval) print(metrics.box.map50) print(metrics.box.map)然后用测试视频做一次快速推理from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) results model.predict( sourcedata/test_fall_video.mp4, conf0.4, iou0.5, saveTrue, projectruns/detect, nametest_fall, )这里conf0.4的含义是只有置信度超过 0.4 的检测框才会被保留。在实际项目中这个阈值需要根据误报和漏报的接受程度进行调优。6. PySide6 上位机界面开发6.1 PySide6 与 PySide 的区别PySide6 是 Qt for Python 的官方版本对应 Qt 6 版本。PySide 是老称呼PySide2 对应 Qt 5PySide6 对应 Qt 6。两者 API 接近但 PySide6 更新、对新 Python 版本支持更好所以新项目建议直接使用 PySide6。很多初学者会混淆 PySide6、PyQt5、PyQt6 这几个库。它们的底层都是 Qt区别在于授权协议和 API 风格。PySide6 是 LGPL 协议相对宽松适合做工具软件。6.2 界面功能设计摔倒检测系统界面需要展示实时视频画面、检测结果并提供操作按钮。我们设计的界面包含以下功能模块视频显示区域展示原始画面和检测框绘制结果。操作按钮打开视频、打开摄像头、开始检测、停止检测。状态信息栏显示当前检测状态、FPS、检测目标数量。报警信息区显示最近一次报警时间、保存的截图路径。统计信息当天报警次数、累计摔倒次数。参数配置置信度阈值、报警间隔、是否保存录像。6.3 创建主窗口框架下面是一个简洁但完整的 PySide6 主窗口示例。# ui/main_window.py import sys from PySide6.QtWidgets import QMainWindow, QLabel, QPushButton, QVBoxLayout, QHBoxLayout, QWidget, QFileDialog, QMessageBox, QLineEdit, QSpinBox from PySide6.QtCore import Qt, QTimer from PySide6.QtGui import QImage, QPixmap class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(摔倒检测跌倒识别系统) self.resize(1024, 720) self.video_label QLabel(视频将在播放后显示) self.video_label.setAlignment(Qt.AlignmentFlag.AlignCenter) self.video_label.setStyleSheet(background-color: #1e1e1e; color: #cccccc;) self.btn_open_video QPushButton(打开视频) self.btn_open_camera QPushButton(打开摄像头) self.btn_start QPushButton(开始检测) self.btn_stop QPushButton(停止检测) layout_control QHBoxLayout() layout_control.addWidget(self.btn_open_video) layout_control.addWidget(self.btn_open_camera) layout_control.addWidget(self.btn_start) layout_control.addWidget(self.btn_stop) self.status_label QLabel(状态未启动) self.fps_label QLabel(FPS0) layout_info QHBoxLayout() layout_info.addWidget(self.status_label) layout_info.addStretch() layout_info.addWidget(self.fps_label) self.msg_label QLabel(报警信息无) layout_msg QHBoxLayout() layout_msg.addWidget(self.msg_label) main_layout QVBoxLayout() main_layout.addWidget(self.video_label) main_layout.addLayout(layout_control) main_layout.addLayout(layout_info) main_layout.addLayout(layout_msg) container QWidget() container.setLayout(main_layout) self.setCentralWidget(container) self._init_components() def _init_components(self): self.video_path None self.camera_index 0 self.timer QTimer() self.timer.timeout.connect(self.update_frame) def update_frame(self): pass这是一个基础窗口后续我们会把视频读取和模型推理集成进来。6.4 使用 QLineEdit 配置信度阈值和报警间隔界面需要开放参数调节功能例如置信度阈值、报警去重时间。我们可以在界面下方加入一行参数配置框。在_init_components方法中增加配置组件self.conf_label QLabel(置信度阈值:) self.conf_edit QLineEdit(0.45) self.conf_edit.setFixedWidth(80) self.interval_label QLabel(报警间隔(s):) self.interval_edit QLineEdit(5) self.interval_edit.setFixedWidth(80) layout_param QHBoxLayout() layout_param.addWidget(self.conf_label) layout_param.addWidget(self.conf_edit) layout_param.addWidget(self.interval_label) layout_param.addWidget(self.interval_edit) layout_param.addStretch()在主布局中把layout_param加入即可。这里使用QLineEdit接收用户输入。实际操作中我们应该对用户输入做校验比如判断输入是否为浮点数避免程序崩溃。def get_conf_threshold(self): try: val float(self.conf_edit.text()) if 0 val 1: return val else: raise ValueError(阈值范围必须为 (0, 1]) except ValueError as e: QMessageBox.warning(self, 参数错误, str(e)) return 0.45这个组件在实际项目中经常被问到“PySide6 QLineEdit 是否输入”的问题本质就是校验输入内容是否合法。7. 摄像头实时检测与报警联动7.1 视频处理线程设计在 PySide6 中如果在主线程直接读取摄像头视频流和模型推理会导致界面卡顿。正确做法是使用子线程完成视频读取与推理再通过信号把处理后的画面传递回主线程。我们用QThread来写视频处理线程。# core/detect_thread.py import cv2 import numpy as np from PySide6.QtCore import QThread, Signal from ultralytics import YOLO class DetectThread(QThread): frame_ready Signal(np.ndarray) detec_result Signal(int, float) error_msg Signal(str) def __init__(self, model_path, conf_threshold0.45, interval5, parentNone): super().__init__(parent) self.model_path model_path self.conf_threshold conf_threshold self.interval interval self.running False self.model None self.cap None def load_model(self): self.model YOLO(self.model_path) def set_video_source(self, source): self.source source def stop(self): self.running False def run(self): self.running True self.cap cv2.VideoCapture(self.source) if not self.cap.isOpened(): self.error_msg.emit(无法打开视频源) return while self.running: ret, frame self.cap.read() if not ret: break results self.model.predict( frame, confself.conf_threshold, imgsz640, verboseFalse, ) annotated results[0].plot() self.frame_ready.emit(annotated) fall_count 0 for r in results: boxes r.boxes if boxes is not None: for box in boxes: cls int(box.cls[0]) if self.model.names[cls] fall: fall_count 1 self.detec_result.emit(fall_count, self.conf_threshold) self.cap.release()在这个线程中frame_ready信号把绘制好的图像传回主界面detec_result信号把摔倒目标数量传给主界面更新报警信息。7.2 报警逻辑实现实际部署时需要把“单帧检测到摔倒”升级为“连续帧确认摔倒”。可以在DetectThread内部维护一个计数器。self.fall_candidate_count 0 self.fall_trigger_frame 10如果当前帧检测到摔倒目标则计数器加 1否则计数器清零或者减 1。当计数器超过阈值就触发一次报警。这样可以过滤掉因为弯腰、蹲下等动作产生的瞬时误报。触发报警后要控制报警频率。假设用户设置报警间隔为 5 秒那么与上次报警时间小于 5 秒时不再重复报警防止同一摔倒事件刷屏。import time self.last_alert_time 0 def maybe_alert(self): now time.time() if now - self.last_alert_time self.interval: self.last_alert_time now self.alert_signal.emit(检测到摔倒行为!)7.3 报警截图与录像保存发生报警时除了界面提示外还应该保存现场图片和录像片段。截图保存比较简单保存当前帧为 JPEG 文件即可def save_snapshot(self, frame, save_diralerts): from datetime import datetime os.makedirs(save_dir, exist_okTrue) ts datetime.now().strftime(%Y%m%d_%H%M%S) path os.path.join(save_dir, ffall_{ts}.jpg) cv2.imwrite(path, frame) return path录像保存建议使用 OpenCV 的 VideoWriter。在报警触发后记录接下来 10-15 秒的视频。fourcc cv2.VideoWriter_fourcc(*mp4v) writer cv2.VideoWriter(fall_alert.mp4, fourcc, 20.0, (width, height))注意在 PySide6 中频繁进行磁盘写入会阻塞线程建议把保存操作放到独立队列或使用异步方式。7.4 主界面接入检测线程在主窗口打开视频时创建DetectThread并连接信号。# ui/main_window.py 部分代码补充 from core.detect_thread import DetectThread def open_video(self): file_path, _ QFileDialog.getOpenFileName( self, 选择视频文件, , 视频文件 (*.mp4 *.avi *.mov *.mkv) ) if file_path: self.thread DetectThread( model_pathmodels/best.pt, conf_thresholdself.get_conf_threshold(), intervalint(self.interval_edit.text()) ) self.thread.set_video_source(file_path) self.thread.load_model() self.thread.frame_ready.connect(self.show_frame) self.thread.detec_result.connect(self.update_status) self.thread.error_msg.connect(self.show_error) self.thread.start() self.status_label.setText(状态检测中) def show_frame(self, frame): frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch frame.shape bytes_per_line ch * w image QImage(frame.data, w, h, bytes_per_line, QImage.Format.Format_RGB888) self.video_label.setPixmap(QPixmap.fromImage(image).scaled( self.video_label.size(), Qt.AspectRatioMode.KeepAspectRatio, Qt.TransformationMode.SmoothTransformation, ))这样点击“打开视频”后就能在界面中看到实时检测结果。8. 项目启动入口与打包发布8.1 编写 main.py 启动文件我们把模型加载、界面创建、线程管理统一在一个入口中。# main.py import sys from PySide6.QtWidgets import QApplication from ui.main_window import MainWindow def main(): app QApplication(sys.argv) window MainWindow() window.show() sys.exit(app.exec()) if __name__ __main__: main()为了减少每次启动加载模型的等待时间可以在MainWindow初始化时预加载模型再在打开视频时把模型权重传入检测线程。8.2 使用 PyInstaller 打包为 exePySide6 和 ultralytics 的依赖较多打包时要注意隐藏文件和资源文件。建议使用 PyInstaller 的 spec 文件配置资源pyinstaller main.spec简单时也可以直接使用命令行pyinstaller -w main.py --name FallDetect \ --hidden-import ultralytics.nn.modules \ --add-data models/best.pt;models \ --add-data config/fall_dataset.yaml;config注意--add-data把模型权重和配置文件打包进 exe 的同级目录。-w表示不显示控制台窗口也就是 GUI 模式。如果在 Windows 上打包后运行提示找不到ultralytics相关模块需要补充 hidden-import。可以把整个ultralytics包复制到项目目录直接用相对路径导入减少打包问题。8.3 模型导出为 ONNX 加速推理如果部署环境没有 PyTorch或者希望用 OpenVINO、TensorRT 加速可以将模型导出为 ONNX 格式model.export(formatonnx, imgsz640)导出完成后可以使用 OpenCV 的 DNN 模块或 ONNX Runtime 加载模型推理速度通常比原始 PyTorch 更快适合嵌入式设备部署。import onnxruntime as ort session ort.InferenceSession(models/best.onnx, providers[CPUExecutionProvider])在 OpenVINO 环境下的 Intel CPU 推理速度提升尤其明显。9. 常见问题与排查思路9.1 环境安装相关问题现象常见原因解决思路PySide6 安装失败Python 版本过低或过高使用 Python 3.8-3.11 并重新安装torch 安装后 GPU 不可用CUDA 版本与 PyTorch 不匹配执行torch.cuda.is_available()检查按显卡驱动选择合适 CUDAultralytics 导入报错依赖冲突重新创建虚拟环境并按顺序安装GTX 1660 Ti 运行 YOLOv8 很慢没有使用 GPU 推理或显存不足设置device0调小imgsz和batch9.2 训练与推理相关问题问题现象常见原因解决思路训练时很快停止patience设置太小或学习率设置不合理调大patience使用自动学习率优化器检测框置信度普遍偏低输入图像模糊或目标太小提高标注质量增加样本数量摔倒类别漏检较多正样本数据不充足做更多翻转、旋转增强或收集更多摔倒样本程序界面卡顿在 Qt 主线程执行了推理使用 QThread 子线程处理推理模型对正常弯腰误判为摔倒只依赖单帧检测框增加连续帧确认逻辑和宽高比过滤9.3 PySide6 打包问题问题现象常见原因解决思路打包后缺少 Qt 插件hidden import 缺失使用--collect-all PySide6找不到模型文件模型权重没有随包复制使用--add-data携带模型文件打包后软件体积过大PySide6 和 torch 体积本身就大使用 ONNX 部署模式减少 torch 依赖双击 exe 无反应缺 DLL 或依赖库在 cmd 中执行 exe 查看报错日志9.4 摄像头无法打开摄像头打开失败通常是因为权限被占用或索引不对。可以这样排查import cv2 for i in range(5): cap cv2.VideoCapture(i) if cap.isOpened(): print(fcamera index {i} opened) cap.release()如果所有索引都打不开检查摄像头是否被其他软件占用或者尝试更换 USB 接口。10. 工程化最佳实践与部署建议10.1 模型层面训练摔倒检测模型时不要只看 mAP。建议根据实际场景统计误报率和漏报率。可以采集一段 30 分钟的真实监控视频将模型输出结果和人工标注结果做对比找出误报频发的画面区域再有针对性地增加负样本。在模型选择上YOLOv8n 适合低算力设备YOLOv8s 是精度与速度均衡的选择。YOLOv5 更适合老设备或已有工程基础的项目。如果你的设备算力特别低也可以考虑使用 MobileNet 等轻量级骨干网络配合 YOLO 检测头。10.2 程序层面检测线程要支持多路视频流。批量部署时可以把视频读取和模型推理解耦读取线程只管取帧推理线程从队列中取帧这样摄像头资源不会被单个推理耗时阻塞。报警信息要记录日志。无论是报警截图、录像还是系统运行日志都建议按天分目录保存便于事后追溯。日志要记录时间、视频源、检测框坐标、置信度、处理耗时。10.3 隐私与合规在真实部署场景中摄像头监控涉及个人隐私。系统应该具备本地化处理能力不上传视频数据到云端。增加数据脱敏功能比如在画面中检测到非目标区域时自动遮挡。报警截图与录像只保存必要时间窗口不长时间留存原始视频。10.4 安全边界系统涉及报警行为属于安全相关场景不能只依赖单一模型判断。建议叠加人员状态跟踪和异常阈值判断尽量减少误报和漏报。在生产环境部署前要进行多轮真实验证不能因为模型在测试集上表现好就直接上线。对 PySide6 程序建议限制只有授权用户才能修改界面参数防止非专业人员误调置信度阈值造成系统失效。10.5 性能优化建议推理图片尺寸从 640 降为 512可以明显提升 FPS。使用 FP16 半精度推理减少显存占用。使用 ONNX Runtime 的ExecutionMode.ORT_SEQUENTIAL或者 OpenVINO 插件优化 CPU 推理速度。在 UI 中绘制检测框时使用 OpenCV 绘制而不使用 QPaint减少图像转换开销。对于连续帧模型输入改用 ROI 区域缩放减小输入像素量。11. 总结与下一步学习方向摔倒检测系统从技术上可以拆成数据集、模型训练、推理加速、桌面界面、报警联动五个子模块。掌握了这些模块你不仅能做出视频摔倒检测系统也能迁移到安全帽检测、区域入侵检测、离岗检测等相似任务中。下一步建议按以下顺序继续深入阅读 YOLOv8 官方源码理解 C2f 模块和 Detect 头的设计思路。尝试替换 YOLOv8 的骨干网络比如引入 ConvNeXt V2对比不同主干对摔倒目标的检测效果。学习 ByteTrack 等轻量级跟踪算法为系统加入轨迹分析能力。在 PySide6 中加入更多自动化控制例如联动门禁、光线控制。将模型导出为 TensorRT 或 OpenVINO 格式部署到 Jetson、树莓派等边缘设备。这里要提醒的是摔倒检测领域最难解决的不是模型精度而是真实场景下的数据多样性和误报控制。所以实际落地时我倾向于先把数据采集和标注流程固定下来多积累不同光线、不同角度、不同动作的样本再在模型优化上投入精力。项目代码架构建议保持模块化训练脚本和界面程序分开维护换数据集、换算法模型时不用动 UI 代码这样后续迭代会轻松很多。如果你正在做相关毕设或工程开发可以参考本文的流程先跑通最小闭环再逐步优化。有问题可以在评论区留言交流。