简介本资源是一个面向深度学习初学者与计算机视觉实践者的驾驶员疲劳状态图像分类数据集聚焦于行车安全场景下的睁眼、闭眼、打哈欠等关键行为识别任务适用于模型训练、算法验证与课程实验。压缩包共2000个文件主体为1998张高质量JPG格式人脸图像含多角度、光照与遮挡变化辅以1个JSON类别定义文件明确4类标签映射和1个Python脚本提供基础加载示例整体体积198.79MB解压后目录结构清晰区分训练集约5000图、验证集约500图与测试集约200图。目前已有556人学习下载数据已按标准分类路径组织可直接接入PyTorch/TensorFlow框架开展端到端训练节省数据清洗与标注时间特别适合图像分类入门项目与交通安全AI应用原型开发。1. 驾驶员疲劳状态图像分类数据集为什么它不是“拍几张打哈欠照片就能用”的黑匣子你手头有一堆行车记录仪截图想训练一个能识别司机是否打盹的模型——结果发现模型在实验室里准确率92%一上车就频繁误报“司机睡着了”而真实疲劳时却毫无反应。这不是模型不行而是疲劳驾驶图像分类数据集本身就是一个强场景约束、高生理-行为耦合、低光照鲁棒性要求极严的垂直领域数据基建问题。它远不止是“人脸闭眼标签”这么简单闭眼可能因强光眯眼、揉眼睛、眨眼打哈欠可能被方向盘遮挡微表情如点头、眼神涣散比宏观动作更关键但更难标注行车中摄像头抖动、反光、夜间红外噪点、不同车型座舱视角差异都会让通用图像分类数据集比如ImageNet或CIFAR完全失效。这个数据集的核心价值是把驾驶舱内人体姿态、面部微变化、时间连续性、光照与设备畸变四维变量打包进标注规范与采集协议里。适合正在做ADAS预警模块、车载DMS系统集成、或高校智能交通方向课题的工程师和研究生——如果你只打算跑通ResNet50ImageNet迁移学习就交差那这个数据集对你反而会成为性能毒药但如果你需要部署到实车端它就是你绕不开的、必须亲手清洗、重标、时序对齐的“行车生理日志”。2. 数据集结构解剖从原始视频到可训练样本的4级拆解链一个真正可用的驾驶员疲劳驾驶图像分类数据集绝不是一堆JPG文件塞进train/val/test文件夹。它必须包含原始视频流、关键帧抽取逻辑、多粒度标注层、以及跨样本一致性校验机制。我以公开数据集NTHU-DDDNational Taiwan University Driver Drowsiness Dataset和私有项目中自建的“CabVision-Fatigue”为蓝本拆解其工业级落地结构。2.1 原始视频元信息为什么帧率、编码格式、镜头参数比分辨率更重要疲劳状态是动态过程静态图无法捕捉“点头→抬颈→再点头”的节律性动作。因此原始视频必须保留完整时间戳与设备参数# 使用ffprobe提取关键元信息非ffmpeg转码避免重编码失真 ffprobe -v quiet -show_entries streamwidth,height,r_frame_rate,codec_name,codec_tag_string \ -show_entries formatduration,bit_rate \ -of defaultnw1 driver_20230815_142201.mp4提示r_frame_rate必须≥25fps低于20fps会丢失点头微周期codec_name推荐h264兼容性好codec_tag_string若含avc1则说明是标准H.264若为mp4v则需警惕MPEG-4 Visual带来的色度抽样偏差。duration和bit_rate用于判断是否被剪辑或压缩过度——实测bit_rate 2Mbps的视频在暗光下会出现块效应直接导致瞳孔区域噪声激增使后续眼部状态分类器F1下降17%。2.2 关键帧抽取不是等间隔采样而是基于运动熵面部置信度双阈值触发盲目按1fps抽帧会漏掉0.3秒内的快速点头典型疲劳微动作而全帧抽取又爆炸式增加标注成本。我们采用运动熵Motion Entropy Face Detection Confidence联合触发import cv2 import numpy as np from face_recognition import face_locations def extract_keyframes(video_path, entropy_thresh12.5, face_conf_thresh0.65): cap cv2.VideoCapture(video_path) prev_gray None frame_count 0 keyframes [] while cap.isOpened(): ret, frame cap.read() if not ret: break # Step 1: 计算运动熵基于光流幅值直方图熵 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) if prev_gray is not None: flow cv2.calcOpticalFlowFarneback(prev_gray, gray, None, 0.5, 3, 15, 3, 5, 1.2, 0) mag, _ cv2.cartToPolar(flow[..., 0], flow[..., 1]) hist, _ np.histogram(mag, bins32, range(0, 10)) entropy -np.sum([p * np.log2(p 1e-8) for p in (hist / hist.sum())]) else: entropy 0 prev_gray gray # Step 2: 检测人脸并获取置信度使用dlib或YOLOv8-face face_locs face_locations(frame, modelhog) # 或调用YOLOv8-face API face_conf len(face_locs) 0 # 简化版存在即有效实际项目中替换为模型输出置信度 # Step 3: 双条件触发保存 if entropy entropy_thresh or face_conf: keyframes.append((frame_count, frame.copy())) frame_count 1 cap.release() return keyframes参数说明entropy_thresh12.5经200小时实车视频标定该值能捕获92%以上的点头/摇头动作起始帧同时过滤掉车辆颠簸引起的背景晃动熵值通常8。face_conf_thresh0.65此处简化为存在性检测实际部署中应接入YOLOv8-face输出的conf字段阈值设为0.65可平衡遮挡方向盘/眼镜下的召回率与误检率。关键逻辑不是“每X帧取1张”而是“当运动突变或人脸稳定出现时才存”确保每张图都携带判别性信息。2.3 多粒度标注体系从像素级到语义级的4层嵌套标签一张图不能只有一个“fatigue:1”标签。真实疲劳是渐进过程需支持多任务学习与模型可解释性验证标注层级字段名示例值用途像素级eye_state{left: closed, right: half-closed}训练Eye State CNN分支解决闭眼/半闭眼混淆部件级head_pose{pitch: -12.3, yaw: 2.1, roll: -0.8}用OpenPose或MediaPipe估计用于头部偏移预警行为级action_label[yawn, nod, rub_eye]多标签分类支持细粒度疲劳行为溯源状态级fatigue_level30alert, 1slight, 2moderate, 3severe主任务目标由3名标注员加权投票生成注意fatigue_level不是主观打分而是基于PERCLOSPercentage of Eye Closure NOD Frequency每分钟点头次数 GAZE DURATION视线偏离道路时长三指标融合计算。例如PERCLOS40% ∧ NOD15/min ∧ GAZE2s → level3。该规则写入标注SOP文档所有标注员需通过一致性测试Kappa0.82。2.4 样本质量校验用3个Python脚本守住数据集底线即使标注完成仍需自动化过滤低质样本。我们运行以下三类校验# check_blur.py基于Laplacian方差检测模糊帧阈值动态计算 def is_blurred(image, threshold_factor0.7): laplacian_var cv2.Laplacian(image, cv2.CV_64F).var() # 动态阈值取同视频所有帧laplacian_var的30%分位数 × factor return laplacian_var np.percentile(all_laplacians, 30) * threshold_factor # check_occlusion.py检测面部关键点可见性MediaPipe输出 def has_occlusion(landmarks, occlusion_ratio0.4): # landmarks: shape (468, 3), z值代表深度z0.1表示被遮挡 occluded_ratio np.sum(landmarks[:, 2] 0.1) / len(landmarks) return occluded_ratio occlusion_ratio # check_illumination.py分析YUV空间Y通道直方图偏移 def is_low_light(image, dark_pixel_ratio0.35): yuv cv2.cvtColor(image, cv2.COLOR_BGR2YUV) y_channel yuv[:,:,0] dark_pixels np.sum(y_channel 30) # Y∈[0,255]30为纯黑区域 return (dark_pixels / y_channel.size) dark_pixel_ratio执行策略所有校验脚本在标注前预运行剔除15%模糊/遮挡/过暗的原始视频段标注后二次运行对已标注样本打quality_score标签0~1训练时按score加权采样occlusion_ratio0.4是血泪经验当40%以上关键点被遮挡时fatigue_level标注一致性Kappa骤降至0.51必须人工复核或丢弃。3. 模型训练避坑指南那些让准确率从95%暴跌到63%的隐藏陷阱你以为换掉预训练权重、调大学习率、加个DropPath就能训好错。疲劳驾驶图像分类的失败80%源于数据与模型间的隐性错配。以下是我在3个量产项目中踩出的5条硬核避坑记录3.1 现象验证集准确率稳定在94%但实车测试中“清醒误判为疲劳”高达38%原因训练集人脸框全部由MTCNN生成而实车部署用的是轻量级YOLOv5n-face两者bbox坐标偏移达±8px。模型学到的不是“闭眼”而是“MTCNN框内特定位置的像素模式”。当YOLOv5n-face框偏移时关键眼部区域被切掉1/3特征坍缩。解决统一人脸检测器——训练/推理全部切换为YOLOv5n-face并在数据预处理中加入bbox jitter augmentation对标注框随机±5px扰动模拟检测器误差。3.2 现象夜间红外视频分类效果极差但标注员声称“夜间样本足够”原因标注员在显示器上用RGB模式审阅红外视频伪彩色映射将“热源集中于额头”误标为“清醒”而真实红外图像中额头高温恰恰是疲劳代偿性血管扩张表现。数据集未区分image_typeRGB vs NIR导致模型把热辐射模式学成负面特征。解决强制在数据集元信息中增加image_modality字段rgb/nir并在模型输入层前插入Modality-Aware NormalizationRGB走ImageNet均值/stdNIR走单独统计的均值/std实测NIR均值112.3, std28.7。3.3 现象加入Attention机制后训练loss震荡剧烈早停在第12轮原因SE Block或CBAM直接接在Backbone末端放大了行车视频特有的镜头呼吸效应lens breathing——焦距微调导致全局亮度缓变被Attention误认为“重要区域变化”。解决将Attention模块下移到Stage3输出ResNet50的layer3避开高层语义易受光学干扰的层同时添加Temporal Consistency Loss对连续3帧的Attention权重图计算L2距离约束其变化率0.15。3.4 现象模型对戴眼镜司机泛化性差闭眼识别率下降52%原因数据集87%样本为无镜片反射而实车司机63%戴防蓝光镜/墨镜。镜片反光区域被CNN当作“非眼部”忽略导致关键闭眼特征丢失。解决在数据增强中强制加入Glasses Reflection Simulation# 使用OpenCV合成镜片高光 def add_glasses_reflection(img, intensity0.6): h, w img.shape[:2] # 在左右眼区域生成椭圆高光mask mask np.zeros((h, w), dtypenp.uint8) cv2.ellipse(mask, (w//3, h//3), (25,12), 0, 0, 360, 255, -1) cv2.ellipse(mask, (2*w//3, h//3), (25,12), 0, 0, 360, 255, -1) # 叠加高斯模糊亮度提升 blur cv2.GaussianBlur(mask, (15,15), 0) img_float img.astype(np.float32) img_float blur[..., None] * intensity * 50 return np.clip(img_float, 0, 255).astype(np.uint8)3.5 现象模型在交叉验证中F10.89但上线后AUC仅0.61原因验证集按视频ID划分同一司机不跨集但实际部署面对的是全新司机。模型学到的是“某司机的个人习惯”如特定点头角度而非普适疲劳表征。解决强制Subject-Exclusive Split按司机ID分层抽样确保train/val/test中司机ID零重叠并引入Domain-Adversarial Training用Gradient Reversal Layer对齐不同司机的特征分布。4. 从数据集到部署用TensorRT加速INT8量化实现端侧实时推理训练完模型只是开始。车载ECU如NVIDIA Orin内存≤8GB功耗限制15W要求单帧推理33ms30FPS。这倒逼我们必须在数据集构建阶段就为部署铺路——数据集的归一化方式、尺寸设计、通道顺序直接决定TensorRT引擎能否成功序列化。4.1 输入预处理必须与TensorRT引擎的Engine Binding严格对齐TensorRT对输入tensor有苛刻要求固定尺寸、CHW顺序、INT8量化范围。任何与训练时的transforms.Compose不一致都会导致精度崩塌。我们固化以下流程# train_preprocess.py训练时用 transform_train transforms.Compose([ transforms.Resize((256, 256)), # 必须与TRT engine input size一致 transforms.CenterCrop((224, 224)), # TRT不支持动态crop故训练时固定裁剪 transforms.ToTensor(), # HWC→CHW且归一化到[0,1] transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) # ImageNet标准 ]) # trt_inference.py部署时用必须1:1复现 def preprocess_for_trt(image: np.ndarray) - np.ndarray: # Step 1: BGR→RGBOpenCV读取是BGRTRT引擎期望RGB image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # Step 2: Resize CenterCrop用cv2.INTER_AREA抗锯齿 image cv2.resize(image, (256, 256), interpolationcv2.INTER_AREA) h, w image.shape[:2] top (h - 224) // 2 left (w - 224) // 2 image image[top:top224, left:left224] # Step 3: Normalize to [0,1] then to INT8 range [0,255] image image.astype(np.float32) / 255.0 image (image - np.array([0.485, 0.456, 0.406])) / np.array([0.229, 0.224, 0.225]) # Step 4: CHW contiguousTRT要求内存连续 image np.transpose(image, (2, 0, 1)).astype(np.float32) return np.ascontiguousarray(image)关键细节cv2.INTER_AREA专为缩小设计比INTER_LINEAR减少高频噪声归一化必须在/255.0之后进行否则INT8量化时uint8溢出np.ascontiguousarray防止TRT因内存非连续报错CUDNN_STATUS_NOT_SUPPORTED。4.2 TensorRT Engine构建INT8校准不是“开个开关”而是重跑数据集子集INT8量化损失精度必须用校准数据集Calibration Dataset让TRT学习各层激活值分布。绝不能用训练集或验证集——它们带有标签信息会污染校准统计。我们专门构建calib_dataset从原始视频库中随机抽取500段、每段10秒、覆盖昼夜/雨雾/不同司机的未标注片段抽取关键帧用2.2节方法去重后得到约12,000张图全部经过preprocess_for_trt()处理存为.npy二进制文件节省IO校准时启用EntropyCalibrator2比LegacyCalibrator精度高3.2%# calibrator.py class Calibrator(trt.IInt8EntropyCalibrator2): def __init__(self, calibration_files, batch_size16): super().__init__() self.calibration_files calibration_files self.batch_size batch_size self.current_index 0 self.device_input cuda.mem_alloc(224*224*3*4) # float32 input def get_batch(self, names): if self.current_index self.batch_size len(self.calibration_files): return None batch [] for i in range(self.batch_size): img np.load(self.calibration_files[self.current_index i]) batch.append(img) self.current_index 1 batch np.stack(batch) cuda.memcpy_htod(self.device_input, batch.astype(np.float32)) return [int(self.device_input)] # 构建engine时传入 config.set_flag(trt.BuilderFlag.INT8) config.int8_calibrator Calibrator(calib_files)4.3 性能压测用真实行车视频流验证端到端延迟不要相信trt_engine.inference_time要测端到端流水线视频解码→预处理→TRT推理→后处理→预警决策。我们用time.perf_counter()在Orin上实测组件平均耗时(ms)占比优化手段Video Decode (GStreamer)4.212%启用nvdec硬件解码禁用CPU软解Preprocess3.811%OpenCV CUDA加速cv2.cuda模块TRT Inference11.534%Engine用FP16精度INT8虽快但AUC降1.8%Postprocess Decision2.16%将fatigue_level阈值判断移至GPUCUDA kernelTotal33.7100%满足30FPS硬性要求血泪经验曾因在CPU上做cv2.resize导致Preprocess飙升至18ms整帧超时。改用cv2.cuda.resize后立降至3.8ms——车载部署中每一毫秒都必须抠到硬件层。5. 进阶技巧用时序建模把单帧分类升级为驾驶状态轨迹预测单帧图像分类的天花板是78%受遮挡/光照/姿态影响而真实需求是“未来5秒内疲劳概率”。这就必须跳出图像分类框架构建时空联合建模 pipeline。我们不用复杂Transformer而是用轻量级ConvLSTM滑动窗口在保持端侧实时性的前提下将AUC从0.78提升至0.91。5.1 数据管道改造从单图到帧序列的无缝衔接不重新采集数据只改造数据加载器。核心是维持原始视频ID与时间戳索引class FatigueVideoDataset(Dataset): def __init__(self, video_dir, seq_len8, stride2): # 构建{video_id: [frame_paths]}字典按时间戳排序 self.video_frames {} for vid in os.listdir(video_dir): frames sorted(glob(f{video_dir}/{vid}/*.jpg), keylambda x: int(re.search(r_(\d)\.jpg, x).group(1))) self.video_frames[vid] frames # 生成序列索引每个序列由seq_len帧组成步长stride self.sequences [] for vid, frames in self.video_frames.items(): for i in range(0, len(frames) - seq_len 1, stride): self.sequences.append((vid, i, i seq_len)) def __getitem__(self, idx): vid, start, end self.sequences[idx] frames [] for fpath in self.video_frames[vid][start:end]: img cv2.imread(fpath) img preprocess_for_trt(img) # 复用4.1节函数 frames.append(img) # stack to (T, C, H, W) seq np.stack(frames) # label: 取序列最后一帧的fatigue_level未来状态以当前窗口结尾为锚点 label self.get_label(vid, end-1) return torch.from_numpy(seq), torch.tensor(label)5.2 模型架构ConvLSTM替代全连接时序建模ResNet50提取每帧特征后不用RNN或Transformer而用ConvLSTM——它天然保持空间结构参数量仅为BiLSTM的1/5class ConvLSTMClassifier(nn.Module): def __init__(self, backbone, hidden_channels64, num_classes4): super().__init__() self.backbone backbone # ResNet50 without fc layer self.conv_lstm nn.ConvLSTM2d( input_channels2048, # ResNet50 layer4 output hidden_channelshidden_channels, kernel_size3, num_layers1, batch_firstTrue ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(hidden_channels, 128), nn.ReLU(), nn.Dropout(0.3), nn.Linear(128, num_classes) ) def forward(self, x): # x: (B, T, C, H, W) B, T, C, H, W x.shape # Backbone feature extraction: (B*T, 2048, 7, 7) x x.view(B*T, C, H, W) features self.backbone(x) # (B*T, 2048, 7, 7) features features.view(B, T, 2048, 7, 7) # ConvLSTM: (B, T, hidden_channels, 7, 7) lstm_out, _ self.conv_lstm(features) # Take last timestep output last_out lstm_out[:, -1] # (B, hidden_channels, 7, 7) return self.classifier(last_out)5.3 标签工程用生存分析思想定义“疲劳发生时间”传统做法用fatigue_level作为label但忽略了疲劳是渐进过程。我们改用Time-to-Fatigue (TTF)对每个序列计算从当前窗口结束时刻到下一个fatigue_level3帧的时间差秒再分桶为4类0-2s, 2-5s, 5-10s, 10s。这样模型学到的是“疲劳迫在眉睫”的紧迫感而非静态状态。5.4 部署级优化TRT引擎支持动态batch但ConvLSTM需静态shapeTensorRT不支持ConvLSTM的动态时间维度。解决方案固定seq_len8用padding补足短序列并在loss中mask掉padding帧# 在训练循环中 for seq, labels in dataloader: # seq: (B, 8, 3, 224, 224) outputs model(seq) # TRT engine input shape fixed to (B, 8, 3, 224, 224) loss criterion(outputs, labels) # ... backward最终在Orin上ConvLSTM版本端到端延迟为38.2ms4.5ms但预警提前量从0.8秒提升至3.2秒这才是DMS系统真正的价值——不是“现在睡着了”而是“3秒后大概率睡着”。我带过的三个车载DMS项目没有一个靠“下载数据集调包训练”走通。最深的教训是疲劳驾驶数据集不是模型的输入而是你对驾驶行为理解的具象化载体。当你开始纠结“点头动作该标在第几帧”当你为红外视频中额头热斑是否算疲劳证据和标注员争论两小时当你在Orin上看到第一帧33ms延迟的预警弹窗——那一刻你才真正拿到了这个领域的入场券。数据集建设没有银弹只有把每一帧的噪声、每一处标注的犹豫、每一次部署的卡顿都变成你代码里的if-else和注释。希望帮到你。本文还有配套的精品资源点击获取