尧图网站建设 
简介这份资源是面向计算机相关专业学生与项目实战学习者的Python期末大作业完整源码主题为基于CNN的人脸表情识别系统适合正在准备课程设计、需要中等难度实战案例的人群参考与二次开发。压缩包共23个文件约19.17MB以10个py脚本为核心涵盖数据读取与写入、模型定义、训练与识别等模块另含png、jpeg图像素材、tfrecord数据文件、Keras训练脚本、html界面页面、xml配置、md说明文档及一份文本资料结构完整、层次清晰。项目经导师指导并获评审98分源码均经本地编译与严格调试可正常运行助教老师亦对内容进行过审定。已有144人学习关注读者可借此掌握CNN表情识别的数据处理、模型搭建、训练调参、图片与摄像头识别等关键环节并参考README快速复现与排错为课程设计或毕业项目提供可直接借鉴的完整方案。1. 一份能跑通的 CNN 人脸表情识别大作业到底长什么样每年期末季计算机专业的学生都会在同一个问题上卡住选题定了「基于 CNN 的人脸表情识别」但真正动手时才发现数据集怎么组织、模型怎么搭、摄像头实时识别怎么接、GUI 怎么串起来每一步都是坑。这份 Python 期末大作业源码包就是针对这个场景整理出来的完整工程——它不是一段孤立的模型代码而是一个从数据读取、训练、保存权重到图片识别、摄像头实时识别、UI 界面展示的闭环项目。拿到手你会发现目录结构很清晰data放数据集cv和FER是核心代码目录recognition_camera.py负责摄像头实时推理recognition_pic.py处理单张图片train.py和train_keras分别对应不同框架的训练入口model.py定义网络结构ui.py提供可视化界面read_data.py和write_data.py管数据读写。适合正在做课程设计、需要一份可运行参考工程的学习者也适合想快速理解 CNN 表情识别完整链路的入门者。2. 环境搭建与数据管线把 FER2013 喂进 CNN 之前要做的三件事2.1 依赖选型TensorFlow/Keras 还是 PyTorch这份源码里同时出现了train.py和train_keras两个训练入口说明作者至少尝试过两种技术路线。从文件名判断train_keras目录大概率是基于 Keras 的实现而train.py可能是纯 TensorFlow 或早期版本。实际复现时我建议优先走 Keras 路线原因是 Keras 的ImageDataGenerator和SequentialAPI 对初学者更友好代码量少调试成本低。常见做法是创建一个独立虚拟环境避免和系统 Python 冲突python -m venv fer_env source fer_env/bin/activate # Windows 用 fer_env\Scripts\activate pip install tensorflow2.10.0 keras2.10.0 opencv-python numpy pandas matplotlib pillow这里锁定 TensorFlow 2.10 是有原因的再高的版本对keras.preprocessing.image的路径做了调整源码里如果用了旧版导入方式会直接报ImportError。OpenCV 用于摄像头帧读取和人脸检测Pillow 处理图片格式转换这几个是硬依赖。参数说明tensorflow2.10.0是最后一个同时支持 GPU 和完整 Keras 内置模块的稳定版本opencv-python不带 contrib 模块如果你需要 DNN 人脸检测器要换成opencv-contrib-python。2.2 数据目录结构与标签映射FER2013 原始数据是一张 CSV 表每行一个像素序列加一个表情标签。但这份源码的data目录更可能是按文件夹分类的图片结构类似data/ train/ angry/ disgust/ fear/ happy/ sad/ surprise/ neutral/ test/ ...read_data.py的作用就是遍历这些文件夹把图片路径和标签对应起来。如果你拿到的数据是 CSV 格式需要先转成图片再放进对应文件夹。转换逻辑不复杂但有一个容易翻车的点FER2013 的像素是 48x48 灰度图直接reshape(48,48)后保存即可不要做归一化后再存否则后续ImageDataGenerator的rescale会重复缩放。import pandas as pd import numpy as np from PIL import Image import os # 读取 FER2013 CSV df pd.read_csv(fer2013.csv) emotion_map {0:angry, 1:disgust, 2:fear, 3:happy, 4:sad, 5:surprise, 6:neutral} for idx, row in df.iterrows(): pixels np.array(row[pixels].split(), dtypeuint8) img pixels.reshape(48, 48) label emotion_map[row[emotion]] usage row[Usage] # Training / PublicTest / PrivateTest save_dir fdata/{usage.lower()}/{label} os.makedirs(save_dir, exist_okTrue) Image.fromarray(img).save(f{save_dir}/{idx}.jpg)逻辑说明row[pixels]是空格分隔的字符串先 split 再转 uint8Usage字段区分训练集和测试集直接映射到文件夹名保存为 jpg 而不是 png 是为了减小体积48x48 的灰度图 jpg 压缩损失可以忽略。2.3 数据增强与归一化参数train_keras里大概率用了ImageDataGenerator典型配置如下from keras.preprocessing.image import ImageDataGenerator train_datagen ImageDataGenerator( rescale1./255, rotation_range10, width_shift_range0.1, height_shift_range0.1, horizontal_flipTrue, fill_modenearest )参数说明rescale1./255把像素压到 0-1这是 CNN 收敛的基本要求rotation_range10表示随机旋转 ±10 度表情识别里头部倾斜很常见这个增强有必要horizontal_flipTrue要谨慎——左右翻转后「厌恶」和「恐惧」的视觉特征可能被破坏如果训练后这两类混淆严重先关掉翻转再试。fill_modenearest是旋转后边缘填充策略用默认值就行。3. 模型定义与训练从 model.py 拆出 CNN 的每一层3.1 网络结构逐层拆解model.py是整个项目的核心。一份典型的表情识别 CNN 不会太深因为输入只有 48x48层数多了反而过拟合。常见结构是 3 个卷积块 2 个全连接层from keras.models import Sequential from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization def build_model(): model Sequential() # 第一卷积块 model.add(Conv2D(32, (3,3), activationrelu, input_shape(48,48,1))) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size(2,2))) model.add(Dropout(0.25)) # 第二卷积块 model.add(Conv2D(64, (3,3), activationrelu)) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size(2,2))) model.add(Dropout(0.25)) # 第三卷积块 model.add(Conv2D(128, (3,3), activationrelu)) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size(2,2))) model.add(Dropout(0.25)) # 全连接 model.add(Flatten()) model.add(Dense(256, activationrelu)) model.add(Dropout(0.5)) model.add(Dense(7, activationsoftmax)) return model逻辑说明每个卷积块后接BatchNormalization是为了加速收敛Dropout防止过拟合。最后一层Dense(7, activationsoftmax)对应 7 类表情。输入 shape 是(48,48,1)灰度图单通道如果你用的是彩色图要改成 3。参数怎么改如果训练集准确率上不去先把Conv2D的滤波器数量翻倍32→64→128 变成 64→128→256但要注意显存如果验证集准确率远低于训练集加大Dropout比例或减少全连接层神经元数量。3.2 训练脚本的关键参数train.py或train_keras里的训练循环通常长这样from keras.optimizers import Adam from keras.callbacks import ModelCheckpoint, EarlyStopping model build_model() model.compile( optimizerAdam(learning_rate0.001), losscategorical_crossentropy, metrics[accuracy] ) checkpoint ModelCheckpoint(best_model.h5, monitorval_accuracy, save_best_onlyTrue, verbose1) early_stop EarlyStopping(monitorval_loss, patience10, verbose1) history model.fit( train_generator, steps_per_epochtrain_generator.n // batch_size, epochs50, validation_dataval_generator, validation_stepsval_generator.n // batch_size, callbacks[checkpoint, early_stop] )参数说明learning_rate0.001是 Adam 的常用起点如果 loss 震荡厉害降到 0.0001patience10表示验证 loss 连续 10 轮不降就停这个值别设太小表情识别本身波动大steps_per_epoch用n // batch_size而不是直接写死数字避免最后一批不足时形状报错。3.3 训练过程监控与曲线判读train_loss.py大概率是用来画 loss 和 accuracy 曲线的。训练时重点看两条线训练 loss 持续下降但验证 loss 开始上升说明过拟合加 Dropout 或早停两条线都平了但准确率不高说明欠拟合加层或加神经元。表情识别在 FER2013 上验证准确率能到 60%-65% 就算正常别指望 90%数据集本身标注就有噪声。4. 推理链路图片识别、摄像头实时识别与 UI 串接4.1 单张图片识别recognition_pic.py 的完整流程recognition_pic.py做三件事读图、检测人脸、分类表情。核心代码逻辑import cv2 import numpy as np from keras.models import load_model model load_model(best_model.h5) face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml) def predict_emotion(img_path): img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.3, 5) for (x, y, w, h) in faces: roi gray[y:yh, x:xw] roi cv2.resize(roi, (48, 48)) roi roi.astype(float32) / 255.0 roi np.expand_dims(roi, axis-1) roi np.expand_dims(roi, axis0) pred model.predict(roi) label [angry,disgust,fear,happy, sad,surprise,neutral][np.argmax(pred)] cv2.rectangle(img, (x,y), (xw,yh), (0,255,0), 2) cv2.putText(img, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imshow(Result, img) cv2.waitKey(0)逻辑说明detectMultiScale的1.3是缩放因子5是邻域阈值这两个值调大检测更快但漏检多调小更灵敏但误检多。roi必须 resize 到 48x48 并归一化和训练时保持一致。np.expand_dims两次是因为模型输入要求(batch, 48, 48, 1)。4.2 摄像头实时识别recognition_camera.py 的帧循环摄像头版本和图片版本的区别在于帧循环和性能。每帧都跑一次detectMultiScale会卡常见优化是隔帧检测或缩小检测区域cap cv2.VideoCapture(0) frame_count 0 faces [] while True: ret, frame cap.read() if not ret: break frame_count 1 if frame_count % 3 0: # 每3帧检测一次 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.3, 5) for (x, y, w, h) in faces: roi gray[y:yh, x:xw] roi cv2.resize(roi, (48, 48)).astype(float32) / 255.0 roi np.expand_dims(np.expand_dims(roi, -1), 0) pred model.predict(roi, verbose0) label emotion_labels[np.argmax(pred)] cv2.rectangle(frame, (x,y), (xw,yh), (0,255,0), 2) cv2.putText(frame, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imshow(Camera, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()参数说明frame_count % 3控制检测频率数字越大越流畅但框会滞后model.predict(verbose0)关掉进度条输出否则控制台刷屏。如果摄像头打不开先检查cv2.VideoCapture(0)的索引外接摄像头可能是 1。4.3 UI 界面ui.py 与 render.html 的两种展示路径源码里同时有ui.py和render.html说明作者提供了两种界面方案。ui.py大概率是 tkinter 或 PyQt 写的桌面窗口render.html可能是用 Flask 或直接浏览器打开的网页展示。如果你只需要交作业tkinter 版本足够如果想做演示效果Flask 起一个本地服务把识别结果推到网页上更直观。常见做法是用 Flask 包一层from flask import Flask, render_template, Response import cv2 app Flask(__name__) def gen_frames(): cap cv2.VideoCapture(0) while True: success, frame cap.read() if not success: break # 这里插入人脸检测和表情分类逻辑 ret, buffer cv2.imencode(.jpg, frame) yield (b--frame\r\n bContent-Type: image/jpeg\r\n\r\n buffer.tobytes() b\r\n) app.route(/) def index(): return render_template(render.html) app.route(/video_feed) def video_feed(): return Response(gen_frames(), mimetypemultipart/x-mixed-replace; boundaryframe)逻辑说明gen_frames是生成器不断把处理后的帧编码成 jpg 推给前端render.html里用一个img src/video_feed就能显示实时画面。注意 Flask 默认单线程视频流会阻塞其他请求生产环境要用threadedTrue。5. 避坑与排查这份源码跑不起来时先查这五处5.1 报错ImportError: cannot import name ImageDataGenerator现象运行train_keras时直接崩在导入行。原因TensorFlow 2.16 把 Keras 独立出去了keras.preprocessing.image路径变了。解决降级到 TensorFlow 2.10 或改用tf.keras.preprocessing.image同时检查keras和tensorflow版本是否匹配。5.2 摄像头能打开但识别框一直闪现象画面里人脸框位置跳动标签频繁切换。原因每帧独立检测帧间没有平滑。解决加一个简单的投票机制连续 5 帧里出现次数最多的标签才显示或者用cv2.Tracker在检测到人脸后跟踪几帧再重新检测。5.3 训练准确率卡在 25% 不动现象loss 不降accuracy 约等于 1/7。原因标签没做 one-hot 编码或者categorical_crossentropy配了整数标签。解决检查train_generator.class_mode是否为categorical或者把 loss 换成sparse_categorical_crossentropy并确认标签是整数。5.4 预测结果永远偏向某一类现象不管输入什么图片输出都是happy或neutral。原因数据集类别不平衡FER2013 里happy和neutral样本远多于disgust。解决在ImageDataGenerator里加class_weight参数或者对少数类做额外增强。disgust类样本极少训练时可以考虑合并或丢弃。5.5model.predict返回形状不对现象np.argmax(pred)报 axis 错误或结果始终为 0。原因输入没有扩展 batch 维度模型把(48,48,1)当成 batch 处理了。解决确认roi.shape是(1,48,48,1)用np.expand_dims两次或者直接roi roi.reshape(1,48,48,1)。6. 进阶技巧把验证准确率从 60% 推到 68% 的三个实操手段第一个手段是换人脸检测器。Haar 级联在侧脸和光照差的情况下漏检严重换成 OpenCV 的 DNN 模块加载预训练人脸检测模型检测率能提升一截。具体做法是下载res10_300x300_ssd_iter_140000.caffemodel和对应的 prototxt用cv2.dnn.readNetFromCaffe加载输入帧做blobFromImage后前向传播取置信度大于 0.5 的框。这个改动只影响推理阶段训练不用重跑。第二个手段是加一个简单的注意力模块。在第三个卷积块后面接一个 SE 块Squeeze-and-Excitation对通道做权重分配。代码不复杂from keras.layers import GlobalAveragePooling2D, Reshape, Multiply def se_block(input_tensor, ratio16): channels input_tensor.shape[-1] se GlobalAveragePooling2D()(input_tensor) se Dense(channels // ratio, activationrelu)(se) se Dense(channels, activationsigmoid)(se) se Reshape((1, 1, channels))(se) return Multiply()([input_tensor, se])把第三个Conv2D的输出传给se_block再进池化层。这个改动会让训练慢 10% 左右但验证准确率通常能涨 2-3 个百分点。第三个手段是测试时增强TTA。推理时对同一张人脸做原图、水平翻转、轻微旋转三种变换分别预测后取平均概率。代价是推理时间翻三倍但摄像头场景下每 3 帧检测一次完全扛得住。我一般会在recognition_pic.py里加这个逻辑摄像头版本为了流畅度可以不加。还有一个容易被忽略的点保存模型时用model.save(best_model.h5)而不是只存权重。只存权重的话加载时必须先重建一模一样的网络结构改过model.py就废了。存完整模型虽然文件大一点但load_model直接能用省去重建的麻烦。从那以后我每次交作业前都强制走一遍「换一台机器、新建虚拟环境、从头跑通」的流程确认没有隐藏的本地依赖。希望帮到你。本文还有配套的精品资源点击获取 基于CNN的人脸表情识别完整项目：从数据到UI的实战指南
简介这份资源是面向计算机相关专业学生与项目实战学习者的Python期末大作业完整源码主题为基于CNN的人脸表情识别系统适合正在准备课程设计、需要中等难度实战案例的人群参考与二次开发。压缩包共23个文件约19.17MB以10个py脚本为核心涵盖数据读取与写入、模型定义、训练与识别等模块另含png、jpeg图像素材、tfrecord数据文件、Keras训练脚本、html界面页面、xml配置、md说明文档及一份文本资料结构完整、层次清晰。项目经导师指导并获评审98分源码均经本地编译与严格调试可正常运行助教老师亦对内容进行过审定。已有144人学习关注读者可借此掌握CNN表情识别的数据处理、模型搭建、训练调参、图片与摄像头识别等关键环节并参考README快速复现与排错为课程设计或毕业项目提供可直接借鉴的完整方案。1. 一份能跑通的 CNN 人脸表情识别大作业到底长什么样每年期末季计算机专业的学生都会在同一个问题上卡住选题定了「基于 CNN 的人脸表情识别」但真正动手时才发现数据集怎么组织、模型怎么搭、摄像头实时识别怎么接、GUI 怎么串起来每一步都是坑。这份 Python 期末大作业源码包就是针对这个场景整理出来的完整工程——它不是一段孤立的模型代码而是一个从数据读取、训练、保存权重到图片识别、摄像头实时识别、UI 界面展示的闭环项目。拿到手你会发现目录结构很清晰data放数据集cv和FER是核心代码目录recognition_camera.py负责摄像头实时推理recognition_pic.py处理单张图片train.py和train_keras分别对应不同框架的训练入口model.py定义网络结构ui.py提供可视化界面read_data.py和write_data.py管数据读写。适合正在做课程设计、需要一份可运行参考工程的学习者也适合想快速理解 CNN 表情识别完整链路的入门者。2. 环境搭建与数据管线把 FER2013 喂进 CNN 之前要做的三件事2.1 依赖选型TensorFlow/Keras 还是 PyTorch这份源码里同时出现了train.py和train_keras两个训练入口说明作者至少尝试过两种技术路线。从文件名判断train_keras目录大概率是基于 Keras 的实现而train.py可能是纯 TensorFlow 或早期版本。实际复现时我建议优先走 Keras 路线原因是 Keras 的ImageDataGenerator和SequentialAPI 对初学者更友好代码量少调试成本低。常见做法是创建一个独立虚拟环境避免和系统 Python 冲突python -m venv fer_env source fer_env/bin/activate # Windows 用 fer_env\Scripts\activate pip install tensorflow2.10.0 keras2.10.0 opencv-python numpy pandas matplotlib pillow这里锁定 TensorFlow 2.10 是有原因的再高的版本对keras.preprocessing.image的路径做了调整源码里如果用了旧版导入方式会直接报ImportError。OpenCV 用于摄像头帧读取和人脸检测Pillow 处理图片格式转换这几个是硬依赖。参数说明tensorflow2.10.0是最后一个同时支持 GPU 和完整 Keras 内置模块的稳定版本opencv-python不带 contrib 模块如果你需要 DNN 人脸检测器要换成opencv-contrib-python。2.2 数据目录结构与标签映射FER2013 原始数据是一张 CSV 表每行一个像素序列加一个表情标签。但这份源码的data目录更可能是按文件夹分类的图片结构类似data/ train/ angry/ disgust/ fear/ happy/ sad/ surprise/ neutral/ test/ ...read_data.py的作用就是遍历这些文件夹把图片路径和标签对应起来。如果你拿到的数据是 CSV 格式需要先转成图片再放进对应文件夹。转换逻辑不复杂但有一个容易翻车的点FER2013 的像素是 48x48 灰度图直接reshape(48,48)后保存即可不要做归一化后再存否则后续ImageDataGenerator的rescale会重复缩放。import pandas as pd import numpy as np from PIL import Image import os # 读取 FER2013 CSV df pd.read_csv(fer2013.csv) emotion_map {0:angry, 1:disgust, 2:fear, 3:happy, 4:sad, 5:surprise, 6:neutral} for idx, row in df.iterrows(): pixels np.array(row[pixels].split(), dtypeuint8) img pixels.reshape(48, 48) label emotion_map[row[emotion]] usage row[Usage] # Training / PublicTest / PrivateTest save_dir fdata/{usage.lower()}/{label} os.makedirs(save_dir, exist_okTrue) Image.fromarray(img).save(f{save_dir}/{idx}.jpg)逻辑说明row[pixels]是空格分隔的字符串先 split 再转 uint8Usage字段区分训练集和测试集直接映射到文件夹名保存为 jpg 而不是 png 是为了减小体积48x48 的灰度图 jpg 压缩损失可以忽略。2.3 数据增强与归一化参数train_keras里大概率用了ImageDataGenerator典型配置如下from keras.preprocessing.image import ImageDataGenerator train_datagen ImageDataGenerator( rescale1./255, rotation_range10, width_shift_range0.1, height_shift_range0.1, horizontal_flipTrue, fill_modenearest )参数说明rescale1./255把像素压到 0-1这是 CNN 收敛的基本要求rotation_range10表示随机旋转 ±10 度表情识别里头部倾斜很常见这个增强有必要horizontal_flipTrue要谨慎——左右翻转后「厌恶」和「恐惧」的视觉特征可能被破坏如果训练后这两类混淆严重先关掉翻转再试。fill_modenearest是旋转后边缘填充策略用默认值就行。3. 模型定义与训练从 model.py 拆出 CNN 的每一层3.1 网络结构逐层拆解model.py是整个项目的核心。一份典型的表情识别 CNN 不会太深因为输入只有 48x48层数多了反而过拟合。常见结构是 3 个卷积块 2 个全连接层from keras.models import Sequential from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization def build_model(): model Sequential() # 第一卷积块 model.add(Conv2D(32, (3,3), activationrelu, input_shape(48,48,1))) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size(2,2))) model.add(Dropout(0.25)) # 第二卷积块 model.add(Conv2D(64, (3,3), activationrelu)) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size(2,2))) model.add(Dropout(0.25)) # 第三卷积块 model.add(Conv2D(128, (3,3), activationrelu)) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size(2,2))) model.add(Dropout(0.25)) # 全连接 model.add(Flatten()) model.add(Dense(256, activationrelu)) model.add(Dropout(0.5)) model.add(Dense(7, activationsoftmax)) return model逻辑说明每个卷积块后接BatchNormalization是为了加速收敛Dropout防止过拟合。最后一层Dense(7, activationsoftmax)对应 7 类表情。输入 shape 是(48,48,1)灰度图单通道如果你用的是彩色图要改成 3。参数怎么改如果训练集准确率上不去先把Conv2D的滤波器数量翻倍32→64→128 变成 64→128→256但要注意显存如果验证集准确率远低于训练集加大Dropout比例或减少全连接层神经元数量。3.2 训练脚本的关键参数train.py或train_keras里的训练循环通常长这样from keras.optimizers import Adam from keras.callbacks import ModelCheckpoint, EarlyStopping model build_model() model.compile( optimizerAdam(learning_rate0.001), losscategorical_crossentropy, metrics[accuracy] ) checkpoint ModelCheckpoint(best_model.h5, monitorval_accuracy, save_best_onlyTrue, verbose1) early_stop EarlyStopping(monitorval_loss, patience10, verbose1) history model.fit( train_generator, steps_per_epochtrain_generator.n // batch_size, epochs50, validation_dataval_generator, validation_stepsval_generator.n // batch_size, callbacks[checkpoint, early_stop] )参数说明learning_rate0.001是 Adam 的常用起点如果 loss 震荡厉害降到 0.0001patience10表示验证 loss 连续 10 轮不降就停这个值别设太小表情识别本身波动大steps_per_epoch用n // batch_size而不是直接写死数字避免最后一批不足时形状报错。3.3 训练过程监控与曲线判读train_loss.py大概率是用来画 loss 和 accuracy 曲线的。训练时重点看两条线训练 loss 持续下降但验证 loss 开始上升说明过拟合加 Dropout 或早停两条线都平了但准确率不高说明欠拟合加层或加神经元。表情识别在 FER2013 上验证准确率能到 60%-65% 就算正常别指望 90%数据集本身标注就有噪声。4. 推理链路图片识别、摄像头实时识别与 UI 串接4.1 单张图片识别recognition_pic.py 的完整流程recognition_pic.py做三件事读图、检测人脸、分类表情。核心代码逻辑import cv2 import numpy as np from keras.models import load_model model load_model(best_model.h5) face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml) def predict_emotion(img_path): img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.3, 5) for (x, y, w, h) in faces: roi gray[y:yh, x:xw] roi cv2.resize(roi, (48, 48)) roi roi.astype(float32) / 255.0 roi np.expand_dims(roi, axis-1) roi np.expand_dims(roi, axis0) pred model.predict(roi) label [angry,disgust,fear,happy, sad,surprise,neutral][np.argmax(pred)] cv2.rectangle(img, (x,y), (xw,yh), (0,255,0), 2) cv2.putText(img, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imshow(Result, img) cv2.waitKey(0)逻辑说明detectMultiScale的1.3是缩放因子5是邻域阈值这两个值调大检测更快但漏检多调小更灵敏但误检多。roi必须 resize 到 48x48 并归一化和训练时保持一致。np.expand_dims两次是因为模型输入要求(batch, 48, 48, 1)。4.2 摄像头实时识别recognition_camera.py 的帧循环摄像头版本和图片版本的区别在于帧循环和性能。每帧都跑一次detectMultiScale会卡常见优化是隔帧检测或缩小检测区域cap cv2.VideoCapture(0) frame_count 0 faces [] while True: ret, frame cap.read() if not ret: break frame_count 1 if frame_count % 3 0: # 每3帧检测一次 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.3, 5) for (x, y, w, h) in faces: roi gray[y:yh, x:xw] roi cv2.resize(roi, (48, 48)).astype(float32) / 255.0 roi np.expand_dims(np.expand_dims(roi, -1), 0) pred model.predict(roi, verbose0) label emotion_labels[np.argmax(pred)] cv2.rectangle(frame, (x,y), (xw,yh), (0,255,0), 2) cv2.putText(frame, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imshow(Camera, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()参数说明frame_count % 3控制检测频率数字越大越流畅但框会滞后model.predict(verbose0)关掉进度条输出否则控制台刷屏。如果摄像头打不开先检查cv2.VideoCapture(0)的索引外接摄像头可能是 1。4.3 UI 界面ui.py 与 render.html 的两种展示路径源码里同时有ui.py和render.html说明作者提供了两种界面方案。ui.py大概率是 tkinter 或 PyQt 写的桌面窗口render.html可能是用 Flask 或直接浏览器打开的网页展示。如果你只需要交作业tkinter 版本足够如果想做演示效果Flask 起一个本地服务把识别结果推到网页上更直观。常见做法是用 Flask 包一层from flask import Flask, render_template, Response import cv2 app Flask(__name__) def gen_frames(): cap cv2.VideoCapture(0) while True: success, frame cap.read() if not success: break # 这里插入人脸检测和表情分类逻辑 ret, buffer cv2.imencode(.jpg, frame) yield (b--frame\r\n bContent-Type: image/jpeg\r\n\r\n buffer.tobytes() b\r\n) app.route(/) def index(): return render_template(render.html) app.route(/video_feed) def video_feed(): return Response(gen_frames(), mimetypemultipart/x-mixed-replace; boundaryframe)逻辑说明gen_frames是生成器不断把处理后的帧编码成 jpg 推给前端render.html里用一个img src/video_feed就能显示实时画面。注意 Flask 默认单线程视频流会阻塞其他请求生产环境要用threadedTrue。5. 避坑与排查这份源码跑不起来时先查这五处5.1 报错ImportError: cannot import name ImageDataGenerator现象运行train_keras时直接崩在导入行。原因TensorFlow 2.16 把 Keras 独立出去了keras.preprocessing.image路径变了。解决降级到 TensorFlow 2.10 或改用tf.keras.preprocessing.image同时检查keras和tensorflow版本是否匹配。5.2 摄像头能打开但识别框一直闪现象画面里人脸框位置跳动标签频繁切换。原因每帧独立检测帧间没有平滑。解决加一个简单的投票机制连续 5 帧里出现次数最多的标签才显示或者用cv2.Tracker在检测到人脸后跟踪几帧再重新检测。5.3 训练准确率卡在 25% 不动现象loss 不降accuracy 约等于 1/7。原因标签没做 one-hot 编码或者categorical_crossentropy配了整数标签。解决检查train_generator.class_mode是否为categorical或者把 loss 换成sparse_categorical_crossentropy并确认标签是整数。5.4 预测结果永远偏向某一类现象不管输入什么图片输出都是happy或neutral。原因数据集类别不平衡FER2013 里happy和neutral样本远多于disgust。解决在ImageDataGenerator里加class_weight参数或者对少数类做额外增强。disgust类样本极少训练时可以考虑合并或丢弃。5.5model.predict返回形状不对现象np.argmax(pred)报 axis 错误或结果始终为 0。原因输入没有扩展 batch 维度模型把(48,48,1)当成 batch 处理了。解决确认roi.shape是(1,48,48,1)用np.expand_dims两次或者直接roi roi.reshape(1,48,48,1)。6. 进阶技巧把验证准确率从 60% 推到 68% 的三个实操手段第一个手段是换人脸检测器。Haar 级联在侧脸和光照差的情况下漏检严重换成 OpenCV 的 DNN 模块加载预训练人脸检测模型检测率能提升一截。具体做法是下载res10_300x300_ssd_iter_140000.caffemodel和对应的 prototxt用cv2.dnn.readNetFromCaffe加载输入帧做blobFromImage后前向传播取置信度大于 0.5 的框。这个改动只影响推理阶段训练不用重跑。第二个手段是加一个简单的注意力模块。在第三个卷积块后面接一个 SE 块Squeeze-and-Excitation对通道做权重分配。代码不复杂from keras.layers import GlobalAveragePooling2D, Reshape, Multiply def se_block(input_tensor, ratio16): channels input_tensor.shape[-1] se GlobalAveragePooling2D()(input_tensor) se Dense(channels // ratio, activationrelu)(se) se Dense(channels, activationsigmoid)(se) se Reshape((1, 1, channels))(se) return Multiply()([input_tensor, se])把第三个Conv2D的输出传给se_block再进池化层。这个改动会让训练慢 10% 左右但验证准确率通常能涨 2-3 个百分点。第三个手段是测试时增强TTA。推理时对同一张人脸做原图、水平翻转、轻微旋转三种变换分别预测后取平均概率。代价是推理时间翻三倍但摄像头场景下每 3 帧检测一次完全扛得住。我一般会在recognition_pic.py里加这个逻辑摄像头版本为了流畅度可以不加。还有一个容易被忽略的点保存模型时用model.save(best_model.h5)而不是只存权重。只存权重的话加载时必须先重建一模一样的网络结构改过model.py就废了。存完整模型虽然文件大一点但load_model直接能用省去重建的麻烦。从那以后我每次交作业前都强制走一遍「换一台机器、新建虚拟环境、从头跑通」的流程确认没有隐藏的本地依赖。希望帮到你。本文还有配套的精品资源点击获取