尧图网站建设 
简介这是一套基于深度学习与Python开发的课堂专注度行为识别系统面向计算机、人工智能、自动化等专业的高校学生、教师及科研人员可用于毕业设计、课程设计、项目立项演示或自学进阶。资源包共约2000个文件压缩后114.36MB涵盖Java、Vue、Python、C、JavaScript、XML、Markdown等多种类型Java与Vue构成前后端业务框架Python与C、H头文件承载深度学习模型推理与CUDA算子实现Markdown与PDF提供项目说明和设计文档SQL与YAML负责数据存储与配置管理。内容预览中可见ONNX模型导入、TensorRT构建、可变形卷积等模块说明系统包含完整的模型部署链路。已有77人学习关注。读者可获得完整源码、权重模型、设计文档与运行说明既能直接复现课堂行为识别流程也能在此基础上修改功能、扩展场景适合作为毕设或课设的参考方案。1. 课堂专注度识别这套源码为什么值得先跑通再谈改去年帮一个师范院校的团队看毕设他们做的是课堂行为分析卡在模型推理上整整两周——权重加载报错、TensorRT 引擎构建失败、自定义算子找不到符号。最后翻出来一看问题出在psroi_pooling_cuda.c和deform_conv_cuda.cpp这两个自定义 CUDA 算子上编译环境没对齐。这类深度学习 Python 行为识别的项目网上能下到的不少但真正把自定义算子、ONNX 导出、TensorRT 加速这条链路走通的并不多。这份《基于深度学习python开发的课堂专注度行为识别系统》源码包里除了常规的训练推理脚本还带了onnx2trt_utils.cpp、builtin_op_importers.cpp、ModelImporter.cpp这一整套 TensorRT 模型导入的 C 源码说明作者是真的把部署环节跑过一遍的。它适合谁计算机、人工智能、通信工程方向要做毕设或课设的学生想拿一个完整行为识别 pipeline 练手的从业者以及需要快速搭出课堂场景 demo 的科研人员。下面我按这套东西是什么 → 怎么把它跑起来 → 哪里会翻车的顺序拆一遍。2. 拆开压缩包从权重文件到 TensorRT 引擎的完整链路2.1 目录结构与核心文件定位拿到压缩包先别急着pip install花五分钟把目录结构看清楚能省掉后面大量文件找不到的玄学问题。这类行为识别项目通常分四块数据与标注、模型定义与训练、权重与导出、部署推理。从项目正文列出的文件名判断部署这块用的是 TensorRT 的 ONNX 解析路线核心文件分布大致如下。文件所属模块作用psroi_pooling_cuda.c自定义算子PSROI Pooling 的 CUDA 实现行为检测头常用deform_conv_cuda.cpp自定义算子可变形卷积 CUDA 实现处理姿态形变onnx-ml.pb.cpp/onnx-operators-ml.pb.cppONNX 协议protobuf 序列化后的 ONNX 定义builtin_op_importers.cppTensorRT 导入内置算子到 TRT 层的映射onnx2trt_utils.cppTensorRT 导入ONNX 节点转 TRT 的辅助函数ModelImporter.cppTensorRT 导入模型导入主流程json.cpp配置解析读取类别、阈值等配置ilogger.cpp日志TRT 构建与推理日志trt_builder.cpp引擎构建序列化生成.engine文件看到deform_conv_cuda.cpp和psroi_pooling_cuda.c就要有心理准备这两个算子 PyTorch 原生不支持必须编译扩展。很多人下载完直接python train.py报ImportError: cannot import name deform_conv就是这一步没做。2.2 环境搭建CUDA、PyTorch、TensorRT 三者版本对齐环境是这类项目最大的坑没有之一。CUDA 版本、PyTorch 版本、TensorRT 版本三者必须严格对齐否则自定义算子编译能过、推理时也会崩。我一般按下面的顺序装先定 CUDA再选 PyTorch最后配 TensorRT。# 1. 确认显卡驱动与 CUDA 版本以 CUDA 11.3 为例 nvidia-smi nvcc --version # 2. 创建独立环境避免污染系统 Python conda create -n focus_cls python3.8 -y conda activate focus_cls # 3. 安装与 CUDA 11.3 匹配的 PyTorch版本号必须对应 pip install torch1.10.0cu113 torchvision0.11.0cu113 \ -f https://download.pytorch.org/whl/torch_stable.html # 4. 安装 TensorRT建议用 tar 包解压后配置环境变量比 pip 稳 export TENSORRT_DIR/path/to/TensorRT-8.2.1.8 export LD_LIBRARY_PATH$TENSORRT_DIR/lib:$LD_LIBRARY_PATH export PATH$TENSORRT_DIR/bin:$PATH参数说明python3.8是因为 TensorRT 8.x 对 3.9 的 wheel 支持不稳定PyTorch 选 1.10 对应 cu113如果你机器是 CUDA 11.6就换成cu116的对应版本别混用。LD_LIBRARY_PATH必须包含 TRT 的 lib 目录否则import tensorrt会报找不到libnvinfer.so。装完跑一句python -c import torch; print(torch.cuda.is_available())返回True再往下走。2.3 编译自定义 CUDA 算子deform_conv和psroi_pooling这两个算子项目里给的是.cpp/.c源码需要自己编译成 Python 可导入的扩展。常见做法是写一个setup.py用torch.utils.cpp_extension编译。# setup.py from setuptools import setup from torch.utils.cpp_extension import BuildExtension, CUDAExtension setup( namedeform_conv, ext_modules[ CUDAExtension( namedeform_conv, sources[deform_conv_cuda.cpp, deform_conv_cuda_kernel.cu], extra_compile_args{cxx: [-g], nvcc: [-O2]} ), ], cmdclass{build_ext: BuildExtension} )逻辑说明CUDAExtension会把.cpp和.cu一起编译.cpp负责 Python 绑定.cu是真正的核函数。extra_compile_args里-O2是编译优化等级调试阶段可以换成-g保留符号。编译命令python setup.py build_ext --inplace成功后当前目录会出现deform_conv.cpython-38-x86_64-linux-gnu.so。注意如果源码里只有deform_conv_cuda.cpp没有对应的.cu核函数文件说明核函数被内联在.cpp里了那就只编译这一个文件别硬找.cu。编译报identifier AT_CHECK is undefined是 PyTorch 版本太新老代码用的AT_CHECK在新版被TORCH_CHECK替代全局替换即可。3. 从 ONNX 到 TensorRT 引擎模型导出与加速实操3.1 PyTorch 权重导出 ONNX 的正确姿势训练脚本跑完会得到.pth权重但 TensorRT 不直接吃 PyTorch 权重中间要过一道 ONNX。导出时最容易翻车的是动态轴设置和算子版本。import torch from model import FocusNet # 按项目实际模型类名替换 model FocusNet(num_classes4) # 4 类专注/走神/低头/互动 model.load_state_dict(torch.load(weights/best.pth, map_locationcpu)) model.eval() dummy torch.randn(1, 3, 224, 224).cuda() torch.onnx.export( model, dummy, focus.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version11 )参数说明opset_version11是兼容性最好的选择TensorRT 8.x 对 opset 11 支持最完整用 13 以上可能遇到算子不支持。dynamic_axes把 batch 维设为动态这样引擎能处理不同 batch size但代价是构建时要做多 profile 配置。导出后务必用onnx.checker.check_model验一遍再用onnxsim简化能去掉大量冗余节点TRT 构建会快很多。3.2 用 trt_builder 构建引擎与精度选择项目里的trt_builder.cpp就是干这事的但如果你不想编译 C用 Python 的tensorrt包也能构建逻辑一样。import tensorrt as trt logger trt.Logger(trt.Logger.WARNING) builder trt.Builder(logger) network builder.create_network( 1 int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser trt.OnnxParser(network, logger) with open(focus.onnx, rb) as f: parser.parse(f.read()) config builder.create_builder_config() config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 30) # 1GB config.set_flag(trt.BuilderFlag.FP16) # 半精度速度翻倍 engine builder.build_engine(network, config) with open(focus.engine, wb) as f: f.write(engine.serialize())逻辑说明EXPLICIT_BATCH是必须的否则动态 batch 不生效。set_memory_pool_limit给构建过程 1GB 工作空间太小会报out of memory太大浪费显存。FP16标志开启半精度课堂行为识别这种分类任务精度损失通常在 1% 以内速度能提升近一倍。如果构建时报某个算子不支持看ilogger.cpp输出的日志定位到具体层再决定是改 ONNX 还是写自定义插件。3.3 推理脚本与课堂场景的输入预处理引擎有了推理脚本要处理视频流或图片序列。课堂场景的输入通常是摄像头帧预处理要和训练时完全一致否则精度掉得莫名其妙。import cv2 import numpy as np import tensorrt as trt import pycuda.driver as cuda def preprocess(frame): img cv2.resize(frame, (224, 224)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 255.0 mean np.array([0.485, 0.456, 0.406]) std np.array([0.229, 0.224, 0.225]) img (img - mean) / std return np.transpose(img, (2, 0, 1))[None, ...].astype(np.float32) # 绑定输入输出、分配显存、执行推理略去 pycuda 样板 # 关键输入 shape 必须与引擎 profile 一致参数说明mean和std是 ImageNet 标准值如果训练时用的是别的归一化参数这里必须同步改这是精度对不上的头号原因。np.transpose把 HWC 转 CHW再扩一维 batch。推理时如果 batch size 超过引擎 profile 上限会直接报错所以构建引擎时 profile 的 max batch 要留够余量。4. 避坑与排查自定义算子、版本冲突、精度异常4.1 自定义算子编译报错找不到符号现象python setup.py build_ext报undefined symbol: _ZN2at6Tensor...。原因编译时链接的 PyTorch 库和运行时导入的不是同一个版本常见于 conda 和 pip 混装。解决pip uninstall torch后只用一种方式重装编译前echo $LD_LIBRARY_PATH确认没有旧版本残留必要时conda clean --all清缓存。4.2 ONNX 导出后 TRT 解析失败现象parser.parse返回 False日志显示某算子not supported。原因opset 版本过高或用了 TRT 不认的算子如某些自定义的DeformConv。解决降 opset 到 11用onnxsim简化如果还是不行在builtin_op_importers.cpp里找有没有对应的 importer没有就得写插件或换等价算子实现。4.3 推理精度比训练时低一大截现象训练集准确率 95%部署后只有 70%。原因预处理不一致归一化参数、通道顺序、FP16 精度损失、或者输入尺寸被 resize 错了。解决先用同一张图分别跑 PyTorch 和 TRT对比输出 logits差异大就逐层排查FP16 下如果掉点严重改回 FP32 构建引擎对比。4.4 显存不足导致引擎构建中断现象build_engine跑到一半报out of memory。原因workspace 设太大或显卡本身显存小。解决把set_memory_pool_limit降到 512MB或者用builder.build_serialized_network分步构建低显存机器上构建大模型时这招很管用。4.5 多路视频推理时帧率上不去现象单路能跑 30fps开四路就掉到 5fps。原因每路都单独建了 context显存和计算资源争抢。解决共用一个 engine开多个 execution context用 CUDA stream 做异步推理把预处理放到 GPU 上做别在 CPU 和 GPU 之间来回拷数据。5. 把识别结果接进业务阈值调优与一个验证习惯模型跑通只是第一步课堂专注度识别真正难的是把输出变成可用的业务信号。分类头输出的是 softmax 概率直接取 argmax 会有一个问题学生低头捡笔的那两秒会被判成走神但实际不算。我一般会加一个滑动窗口做时序平滑窗口大小取 15 帧约 0.5 秒对概率做移动平均再取 argmax能滤掉大量瞬时误判。from collections import deque class SmoothPredictor: def __init__(self, window15): self.buffer deque(maxlenwindow) def update(self, probs): self.buffer.append(probs) avg np.mean(self.buffer, axis0) return int(np.argmax(avg)), avg参数说明window越大越稳但延迟越高课堂场景 15 帧是个平衡点如果做实时互动分析可以降到 8 帧。avg返回的平均概率还能当置信度用低于 0.6 的帧标记为不确定不参与统计避免噪声污染专注度曲线。阈值这块还有个血泪经验别用训练集的分布去定阈值。课堂场景的光照、摄像头角度、学生座位远近都和训练数据有差异我一般会录一段真实课堂视频人工标 100 帧左右跑一遍推理看混淆矩阵再根据实际需求调阈值。比如学校更关心走神的召回率那就把走神的判定阈值调低宁可误报不可漏报。验证方法上我养成了一个习惯每次改完预处理或换引擎都拿同一段 30 秒的视频跑一遍把每帧的类别和置信度存成 CSV和上一版做 diff。如果某几帧的类别突然翻转大概率是预处理或引擎精度出了问题而不是模型本身。这个习惯帮我省过好几次模型明明没动为什么结果变了的排查时间。从那以后我每次部署新引擎前都强制走一遍这个对比流程希望帮到你。本文还有配套的精品资源点击获取 基于深度学习Python课堂专注度行为识别系统源码：TensorRT加速与自定义CUDA算子部署实战
简介这是一套基于深度学习与Python开发的课堂专注度行为识别系统面向计算机、人工智能、自动化等专业的高校学生、教师及科研人员可用于毕业设计、课程设计、项目立项演示或自学进阶。资源包共约2000个文件压缩后114.36MB涵盖Java、Vue、Python、C、JavaScript、XML、Markdown等多种类型Java与Vue构成前后端业务框架Python与C、H头文件承载深度学习模型推理与CUDA算子实现Markdown与PDF提供项目说明和设计文档SQL与YAML负责数据存储与配置管理。内容预览中可见ONNX模型导入、TensorRT构建、可变形卷积等模块说明系统包含完整的模型部署链路。已有77人学习关注。读者可获得完整源码、权重模型、设计文档与运行说明既能直接复现课堂行为识别流程也能在此基础上修改功能、扩展场景适合作为毕设或课设的参考方案。1. 课堂专注度识别这套源码为什么值得先跑通再谈改去年帮一个师范院校的团队看毕设他们做的是课堂行为分析卡在模型推理上整整两周——权重加载报错、TensorRT 引擎构建失败、自定义算子找不到符号。最后翻出来一看问题出在psroi_pooling_cuda.c和deform_conv_cuda.cpp这两个自定义 CUDA 算子上编译环境没对齐。这类深度学习 Python 行为识别的项目网上能下到的不少但真正把自定义算子、ONNX 导出、TensorRT 加速这条链路走通的并不多。这份《基于深度学习python开发的课堂专注度行为识别系统》源码包里除了常规的训练推理脚本还带了onnx2trt_utils.cpp、builtin_op_importers.cpp、ModelImporter.cpp这一整套 TensorRT 模型导入的 C 源码说明作者是真的把部署环节跑过一遍的。它适合谁计算机、人工智能、通信工程方向要做毕设或课设的学生想拿一个完整行为识别 pipeline 练手的从业者以及需要快速搭出课堂场景 demo 的科研人员。下面我按这套东西是什么 → 怎么把它跑起来 → 哪里会翻车的顺序拆一遍。2. 拆开压缩包从权重文件到 TensorRT 引擎的完整链路2.1 目录结构与核心文件定位拿到压缩包先别急着pip install花五分钟把目录结构看清楚能省掉后面大量文件找不到的玄学问题。这类行为识别项目通常分四块数据与标注、模型定义与训练、权重与导出、部署推理。从项目正文列出的文件名判断部署这块用的是 TensorRT 的 ONNX 解析路线核心文件分布大致如下。文件所属模块作用psroi_pooling_cuda.c自定义算子PSROI Pooling 的 CUDA 实现行为检测头常用deform_conv_cuda.cpp自定义算子可变形卷积 CUDA 实现处理姿态形变onnx-ml.pb.cpp/onnx-operators-ml.pb.cppONNX 协议protobuf 序列化后的 ONNX 定义builtin_op_importers.cppTensorRT 导入内置算子到 TRT 层的映射onnx2trt_utils.cppTensorRT 导入ONNX 节点转 TRT 的辅助函数ModelImporter.cppTensorRT 导入模型导入主流程json.cpp配置解析读取类别、阈值等配置ilogger.cpp日志TRT 构建与推理日志trt_builder.cpp引擎构建序列化生成.engine文件看到deform_conv_cuda.cpp和psroi_pooling_cuda.c就要有心理准备这两个算子 PyTorch 原生不支持必须编译扩展。很多人下载完直接python train.py报ImportError: cannot import name deform_conv就是这一步没做。2.2 环境搭建CUDA、PyTorch、TensorRT 三者版本对齐环境是这类项目最大的坑没有之一。CUDA 版本、PyTorch 版本、TensorRT 版本三者必须严格对齐否则自定义算子编译能过、推理时也会崩。我一般按下面的顺序装先定 CUDA再选 PyTorch最后配 TensorRT。# 1. 确认显卡驱动与 CUDA 版本以 CUDA 11.3 为例 nvidia-smi nvcc --version # 2. 创建独立环境避免污染系统 Python conda create -n focus_cls python3.8 -y conda activate focus_cls # 3. 安装与 CUDA 11.3 匹配的 PyTorch版本号必须对应 pip install torch1.10.0cu113 torchvision0.11.0cu113 \ -f https://download.pytorch.org/whl/torch_stable.html # 4. 安装 TensorRT建议用 tar 包解压后配置环境变量比 pip 稳 export TENSORRT_DIR/path/to/TensorRT-8.2.1.8 export LD_LIBRARY_PATH$TENSORRT_DIR/lib:$LD_LIBRARY_PATH export PATH$TENSORRT_DIR/bin:$PATH参数说明python3.8是因为 TensorRT 8.x 对 3.9 的 wheel 支持不稳定PyTorch 选 1.10 对应 cu113如果你机器是 CUDA 11.6就换成cu116的对应版本别混用。LD_LIBRARY_PATH必须包含 TRT 的 lib 目录否则import tensorrt会报找不到libnvinfer.so。装完跑一句python -c import torch; print(torch.cuda.is_available())返回True再往下走。2.3 编译自定义 CUDA 算子deform_conv和psroi_pooling这两个算子项目里给的是.cpp/.c源码需要自己编译成 Python 可导入的扩展。常见做法是写一个setup.py用torch.utils.cpp_extension编译。# setup.py from setuptools import setup from torch.utils.cpp_extension import BuildExtension, CUDAExtension setup( namedeform_conv, ext_modules[ CUDAExtension( namedeform_conv, sources[deform_conv_cuda.cpp, deform_conv_cuda_kernel.cu], extra_compile_args{cxx: [-g], nvcc: [-O2]} ), ], cmdclass{build_ext: BuildExtension} )逻辑说明CUDAExtension会把.cpp和.cu一起编译.cpp负责 Python 绑定.cu是真正的核函数。extra_compile_args里-O2是编译优化等级调试阶段可以换成-g保留符号。编译命令python setup.py build_ext --inplace成功后当前目录会出现deform_conv.cpython-38-x86_64-linux-gnu.so。注意如果源码里只有deform_conv_cuda.cpp没有对应的.cu核函数文件说明核函数被内联在.cpp里了那就只编译这一个文件别硬找.cu。编译报identifier AT_CHECK is undefined是 PyTorch 版本太新老代码用的AT_CHECK在新版被TORCH_CHECK替代全局替换即可。3. 从 ONNX 到 TensorRT 引擎模型导出与加速实操3.1 PyTorch 权重导出 ONNX 的正确姿势训练脚本跑完会得到.pth权重但 TensorRT 不直接吃 PyTorch 权重中间要过一道 ONNX。导出时最容易翻车的是动态轴设置和算子版本。import torch from model import FocusNet # 按项目实际模型类名替换 model FocusNet(num_classes4) # 4 类专注/走神/低头/互动 model.load_state_dict(torch.load(weights/best.pth, map_locationcpu)) model.eval() dummy torch.randn(1, 3, 224, 224).cuda() torch.onnx.export( model, dummy, focus.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version11 )参数说明opset_version11是兼容性最好的选择TensorRT 8.x 对 opset 11 支持最完整用 13 以上可能遇到算子不支持。dynamic_axes把 batch 维设为动态这样引擎能处理不同 batch size但代价是构建时要做多 profile 配置。导出后务必用onnx.checker.check_model验一遍再用onnxsim简化能去掉大量冗余节点TRT 构建会快很多。3.2 用 trt_builder 构建引擎与精度选择项目里的trt_builder.cpp就是干这事的但如果你不想编译 C用 Python 的tensorrt包也能构建逻辑一样。import tensorrt as trt logger trt.Logger(trt.Logger.WARNING) builder trt.Builder(logger) network builder.create_network( 1 int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser trt.OnnxParser(network, logger) with open(focus.onnx, rb) as f: parser.parse(f.read()) config builder.create_builder_config() config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 30) # 1GB config.set_flag(trt.BuilderFlag.FP16) # 半精度速度翻倍 engine builder.build_engine(network, config) with open(focus.engine, wb) as f: f.write(engine.serialize())逻辑说明EXPLICIT_BATCH是必须的否则动态 batch 不生效。set_memory_pool_limit给构建过程 1GB 工作空间太小会报out of memory太大浪费显存。FP16标志开启半精度课堂行为识别这种分类任务精度损失通常在 1% 以内速度能提升近一倍。如果构建时报某个算子不支持看ilogger.cpp输出的日志定位到具体层再决定是改 ONNX 还是写自定义插件。3.3 推理脚本与课堂场景的输入预处理引擎有了推理脚本要处理视频流或图片序列。课堂场景的输入通常是摄像头帧预处理要和训练时完全一致否则精度掉得莫名其妙。import cv2 import numpy as np import tensorrt as trt import pycuda.driver as cuda def preprocess(frame): img cv2.resize(frame, (224, 224)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 255.0 mean np.array([0.485, 0.456, 0.406]) std np.array([0.229, 0.224, 0.225]) img (img - mean) / std return np.transpose(img, (2, 0, 1))[None, ...].astype(np.float32) # 绑定输入输出、分配显存、执行推理略去 pycuda 样板 # 关键输入 shape 必须与引擎 profile 一致参数说明mean和std是 ImageNet 标准值如果训练时用的是别的归一化参数这里必须同步改这是精度对不上的头号原因。np.transpose把 HWC 转 CHW再扩一维 batch。推理时如果 batch size 超过引擎 profile 上限会直接报错所以构建引擎时 profile 的 max batch 要留够余量。4. 避坑与排查自定义算子、版本冲突、精度异常4.1 自定义算子编译报错找不到符号现象python setup.py build_ext报undefined symbol: _ZN2at6Tensor...。原因编译时链接的 PyTorch 库和运行时导入的不是同一个版本常见于 conda 和 pip 混装。解决pip uninstall torch后只用一种方式重装编译前echo $LD_LIBRARY_PATH确认没有旧版本残留必要时conda clean --all清缓存。4.2 ONNX 导出后 TRT 解析失败现象parser.parse返回 False日志显示某算子not supported。原因opset 版本过高或用了 TRT 不认的算子如某些自定义的DeformConv。解决降 opset 到 11用onnxsim简化如果还是不行在builtin_op_importers.cpp里找有没有对应的 importer没有就得写插件或换等价算子实现。4.3 推理精度比训练时低一大截现象训练集准确率 95%部署后只有 70%。原因预处理不一致归一化参数、通道顺序、FP16 精度损失、或者输入尺寸被 resize 错了。解决先用同一张图分别跑 PyTorch 和 TRT对比输出 logits差异大就逐层排查FP16 下如果掉点严重改回 FP32 构建引擎对比。4.4 显存不足导致引擎构建中断现象build_engine跑到一半报out of memory。原因workspace 设太大或显卡本身显存小。解决把set_memory_pool_limit降到 512MB或者用builder.build_serialized_network分步构建低显存机器上构建大模型时这招很管用。4.5 多路视频推理时帧率上不去现象单路能跑 30fps开四路就掉到 5fps。原因每路都单独建了 context显存和计算资源争抢。解决共用一个 engine开多个 execution context用 CUDA stream 做异步推理把预处理放到 GPU 上做别在 CPU 和 GPU 之间来回拷数据。5. 把识别结果接进业务阈值调优与一个验证习惯模型跑通只是第一步课堂专注度识别真正难的是把输出变成可用的业务信号。分类头输出的是 softmax 概率直接取 argmax 会有一个问题学生低头捡笔的那两秒会被判成走神但实际不算。我一般会加一个滑动窗口做时序平滑窗口大小取 15 帧约 0.5 秒对概率做移动平均再取 argmax能滤掉大量瞬时误判。from collections import deque class SmoothPredictor: def __init__(self, window15): self.buffer deque(maxlenwindow) def update(self, probs): self.buffer.append(probs) avg np.mean(self.buffer, axis0) return int(np.argmax(avg)), avg参数说明window越大越稳但延迟越高课堂场景 15 帧是个平衡点如果做实时互动分析可以降到 8 帧。avg返回的平均概率还能当置信度用低于 0.6 的帧标记为不确定不参与统计避免噪声污染专注度曲线。阈值这块还有个血泪经验别用训练集的分布去定阈值。课堂场景的光照、摄像头角度、学生座位远近都和训练数据有差异我一般会录一段真实课堂视频人工标 100 帧左右跑一遍推理看混淆矩阵再根据实际需求调阈值。比如学校更关心走神的召回率那就把走神的判定阈值调低宁可误报不可漏报。验证方法上我养成了一个习惯每次改完预处理或换引擎都拿同一段 30 秒的视频跑一遍把每帧的类别和置信度存成 CSV和上一版做 diff。如果某几帧的类别突然翻转大概率是预处理或引擎精度出了问题而不是模型本身。这个习惯帮我省过好几次模型明明没动为什么结果变了的排查时间。从那以后我每次部署新引擎前都强制走一遍这个对比流程希望帮到你。本文还有配套的精品资源点击获取