尧图网站建设 
简介这是一份基于Python3与OpenCV的实时眼球追踪项目压缩包主要面向计算机视觉初学者以及对人机交互、生物识别或心理学研究感兴趣的开发者。包内共62个文件含36张PNG图像、9个Python源文件、6个XML级联分类器配置另有少量编译文件、测试数据与许可证等整体仅393KB目录结构清晰便于直接阅读与二次开发。核心代码完整覆盖摄像头视频流捕获、灰度化与滤波预处理、Haar特征眼睛检测、眼珠定位及追踪逻辑并附带GUI演示程序与测试样本可帮助读者理解如何将眼部运动映射到屏幕坐标实现用眼睛控制鼠标等交互功能。项目还提供了常见追踪算法的思路说明便于进一步结合光流法或滤波器优化轨迹估计。已有1045人学习下载适合希望快速上手传统视觉方案、掌握级联分类器与目标跟踪基础流程的开发者作为轻量入门资料。1. 眼球追踪为什么值得自己用OpenCV写一遍眼球追踪听起来像要动用专业硬件但实际用普通摄像头加上OpenCV就能跑出一个可交互的基础版本。这个项目把摄像头捕获、人脸检测、瞳孔定位、坐标映射串成完整链路代码量不大却覆盖了计算机视觉里最常用的几个模块。对人机交互、心理学实验、用户行为分析这类场景这种轻量方案能让你在不需要购买昂贵眼动仪的情况下快速验证想法。我拆过这个webcam-eyetracker-based-on-Python3-main项目结构很干净camtracker.py和process_images.py把实时追踪和离线处理分开适合当脚手架来改。Python3和OpenCV的组合到现在仍是做这类原型最快的路径下面的实现思路和参数调优基本可以直接搬到你自己的项目里。2. 摄像头捕获与图像预处理眼球追踪的第一道工序2.1 VideoCapture 读取摄像头流的稳定姿势项目里最核心的输入源就是摄像头OpenCV的VideoCapture模块不是打开设备就完事它有两种常见错误打开设备时分辨率设置不被支持或者读取循环里丢帧导致后续检测跳动。常见做法是先试探设备支持的分辨率用cap.set来设置但不盲信再读一帧验证实际尺寸。import cv2 def open_camera(camera_id0, width640, height480): cap cv2.VideoCapture(camera_id) # 尝试设置分辨率部分摄像头会自动调整到最近的合法值 cap.set(cv2.CAP_PROP_FRAME_WIDTH, width) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, height) # 检查真实读取到的分辨率 real_w cap.get(cv2.CAP_PROP_FRAME_WIDTH) real_h cap.get(cv2.CAP_PROP_FRAME_HEIGHT) if not cap.isOpened(): raise RuntimeError(无法打开摄像头检查索引或驱动) return cap, int(real_w), int(real_h)代码逻辑是先创建VideoCapture对象再用set方法尝试配置分辨率最后读取实际值是为了校准后续映射坐标。参数camera_id在笔记本上通常是0外接摄像头可能变成1或2这个在Linux上可以用ls /dev/video*排查。注意不要把真实分辨率当作初始值使用否则屏幕映射会偏。2.2 灰度化、高斯滤波与直方图均衡化眼睛检测的鲁棒性很大程度上依赖预处理彩色图三个通道会放大光照变化和肤色干扰所以先转灰度。高斯滤波用来去除传感器噪声但半径不能太大否则瞳孔边缘会被磨平。直方图均衡化在光照不均的场景下效果很明显能让瞳孔和眼白的对比度拉开。def preprocess_eye_roi(roi_bgr): gray cv2.cvtColor(roi_bgr, cv2.COLOR_BGR2GRAY) # 5x5高斯核在帧分辨率不高时足够抑制噪声 blurred cv2.GaussianBlur(gray, (5, 5), 0) # 对比度增强让瞳孔暗区域更明显 equ cv2.equalizeHist(blurred) return equ预处理顺序是固定的先灰度后滤波再均衡化。如果摄像头噪点厉害可以换成中值滤波但中值滤波计算量稍高。直方图均衡化对已经比较亮的图像会有过度增强的问题这个后面在参数调优里可以加一个自适应阈值的限定。注意这里处理的不是整帧而是后面检测出的眼睛区域ROI越小处理越稳。2.3 摄像头帧率与延迟的取舍实时眼球追踪最怕的就是延迟处理耗时超过帧间隔就会产生累积延迟。下面的表格是典型的640x480与1280x720在不同预处理下的帧耗时对比在普通CPU上跑Haar级联时差异很明显。分辨率预处理步骤单帧总耗时含检测实际可达帧率640x480灰度高斯18-25 ms约30 FPS640x480灰度高斯均衡化22-30 ms约25 FPS1280x720灰度高斯均衡化60-80 ms约12 FPS提高分辨率并不一定提升追踪精度因为瞳孔在ROI里占的像素数才是关键。我一般把分辨率设为640x480然后用ROI放大来弥补分辨率不足。帧率如果掉到15 FPS以下光流追踪会明显丢失特征点代码里就要考虑跳帧或降低检测频率。3. 基于Haar级联的眼睛检测与ROI提取3.1 Haar级联分类器原理简述Haar级联本质上是一系列弱分类器的叠加每个分类器检查图像某个位置的矩形特征响应通过多级筛选锁定目标区域。OpenCV提供的haarcascade_eye.xml针对眼睛正面视角训练haarcascade_frontalface_default.xml用来缩小眼睛搜索范围。项目里先查人脸再从人脸区域找眼睛比在全图直接检测眼睛稳定得多因为眼睛特征容易被头发、眼镜框干扰。加载分类器时要用相对路径或绝对路径项目里如果只放xml文件不放到正确路径会报错。常见做法是把xml文件放在models或data目录下用os.path.join拼接路径避免pyinstaller打包后找不到文件的问题。import os import cv2 face_cascade cv2.CascadeClassifier( os.path.join(models, haarcascade_frontalface_default.xml) ) eye_cascade cv2.CascadeClassifier( os.path.join(models, haarcascade_eye.xml) )在Python3里加载分类器后可以用empty()检查是否成功如果失败多半是路径错误或者OpenCV版本不带这些xml。opencv-python包从4.x开始自带xml文件在cv2.data.haarcascades目录下也可以用cv2.data.haarcascades haarcascade_eye.xml来引用。3.2 人脸检测与眼睛ROI计算检测逻辑是先detectMultiScale找到人脸然后把人脸区域作为ROI再在人脸内部检测眼睛。眼睛检测框对齐人眼位置后可以进一步分成左眼和右眼因为后续坐标映射需要区分左右。def find_eyes(gray_frame, face_cascade, eye_cascade): faces face_cascade.detectMultiScale( gray_frame, scaleFactor1.1, minNeighbors5, minSize(60, 60) ) eyes [] for (fx, fy, fw, fh) in faces: face_roi gray_frame[fy:fyfh, fx:fxfw] detected eye_cascade.detectMultiScale( face_roi, scaleFactor1.1, minNeighbors8, minSize(15, 15) ) # 框坐标要换算回原图 for (ex, ey, ew, eh) in detected: eyes.append((fx ex, fy ey, ew, eh)) return eyes参数scaleFactor控制每次缩放比例1.1表示每次缩小10%越小检测越精细但越慢。minNeighbors减少误检值越大漏检越多。眼睛检测的minNeighbors我常用8到10因为人脸区域内误检概率低可以调高一点。注意这里返回的是眼睛框列表没有区分左右下面还需要按x坐标排序。3.3 眼睛区域归一化提取到的眼睛框宽高不一致直接送入瞳孔定位会影响阈值选择。我习惯把每个眼睛框裁剪后缩放到固定尺寸比如60x36这样处理参数可以写死。缩放用cv2.INTER_AREA插值可以保留更多暗部细节放大用INTER_LINEAR比较快。def normalize_eye(eye_roi, target_w60, target_h36): resized cv2.resize(eye_roi, (target_w, target_h), interpolationcv2.INTER_AREA) return resized归一化还有一个好处后续做光流追踪时特征点的尺度不会跳变减少了追踪失败率。但注意归一化坐标后瞳孔质心要乘回缩放比例否则画到原图上位置会偏。这个细节很多人会忽略。4. 瞳孔定位与追踪算法从阈质心到光流4.1 为什么瞳孔可以用颜色和亮度分离瞳孔在近红外或普通可见光下都是图像里最暗的区域之一眼白是高亮的虹膜处于中间灰度。在灰度图里用一个合适的阈值就能把瞳孔和周围分离开。但普通摄像头受环境光影响固定阈值很容易失效拿Otsu自适应阈值会好很多。Otsu会假设图像是双峰分布眼睛图像恰好满足这个条件所以直接用cv2.threshold加cv2.THRESH_OTSU即可。4.2 阈值分割与瞳孔质心计算瞳孔不一定是正圆眨眼时会被眼皮遮挡一部分所以用轮廓而不是Hough圆检测更鲁棒。拿到轮廓后可以计算质心作为瞳孔中心这样即使瞳孔边缘有缺口质心也基本稳定。import cv2 import numpy as np def find_pupil_center(gray_eye): # Otsu阈值: 返回二值图, 瞳孔作为前景暗区 _, thresh cv2.threshold(gray_eye, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) contours, _ cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return None # 取最大轮廓, 通常就是瞳孔区域 c max(contours, keycv2.contourArea) # 但面积太小时可能是噪点, 需过滤 if cv2.contourArea(c) 80: return None M cv2.moments(c) if M[m00] 0: return None cx int(M[m10] / M[m00]) cy int(M[m01] / M[m00]) return cx, cy, c这里的THRESH_BINARY_INV让瞳孔像素变成白色前景轮廓更直观。面积阈值80是按60x36的归一化ROI估算的如果实际分辨率不同要重新调整。质心计算使用图像矩m00是面积m10和m01是一阶矩除以面积得到质心坐标。注意如果眼睛大部分闭住轮廓面积会很小这时候返回None比返回错误坐标安全。4.3 用光流做连续帧追踪每一帧重新检测瞳孔虽然简单但眨眼、快速转动时前一帧的一致性丢失容易出现坐标抖跳。常见做法是把瞳孔质心周围的特征点送入稀疏光流用上一帧的位置预测当前帧位置。OpenCV的calcOpticalFlowPyrLK基于Lucas-Kanade算法计算量比全图搜索小得多。feature_params dict(maxCorners10, qualityLevel0.3, minDistance7, blockSize7) lk_params dict(winSize(15, 15), maxLevel2, criteria(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03)) prev_gray None prev_points None def track_pupil(frame_gray, detected_center): global prev_gray, prev_points if prev_gray is None: prev_gray frame_gray if detected_center is not None: prev_points np.array([[detected_center]], dtypenp.float32) return detected_center if prev_points is not None and len(prev_points) 0: next_points, status, _ cv2.calcOpticalFlowPyrLK( prev_gray, frame_gray, prev_points, None, **lk_params ) good next_points[status.flatten() 1] if len(good) 0: avg good.mean(axis0)[0] prev_points good.reshape(-1, 1, 2) prev_gray frame_gray return int(avg[0]), int(avg[1]) # 光流失败时回退到检测结果 if detected_center is not None: prev_points np.array([[detected_center]], dtypenp.float32) prev_gray frame_gray return detected_center这段代码把上一帧的质心作为稀疏特征点在当前帧计算光流位移然后用跟踪点的均值作为新质心。status数组标记了哪些点跟踪成功过滤掉失败点可以防止漂移。winSize参数影响位移搜索范围眼睛运动快时要适当调大否则跟丢。这里要注意光流输入必须是连续帧灰度图中间不能插入预处理后的均衡化图否则灰度分布变化会破坏光流假设。4.4 追踪失败时的异常处理眼球追踪最容易失败的时刻是眨眼的瞬间瞳孔完全消失轮廓面积接近于零。另一个是眼睛框误检到眉毛或眼影导致阈值分割出来的暗区域不是瞳孔。建议在代码里维护一个连续失败帧计数超过3帧就把光流特征清空强制重新检测眼睛区域而不是沿用旧坐标。这样可以避免把噪声坐标映射到屏幕造成鼠标乱跳。5. 把眼球坐标映射到屏幕并做性能调优5.1 屏幕坐标映射的数学模型从瞳孔在眼睛ROI里的相对坐标到屏幕光标位置最简单的做法是线性映射。需要采集两个锚点看屏幕左上角和右下角时瞳孔的相对坐标。项目里的example.py应该有类似逻辑用途是让人先注视两个点完成校准。线性映射公式是[ screen_x (pupil_x - left_x) \times \frac{screen_w}{right_x - left_x} ]这个映射对头部静止的场景够用头部一旦移动就会偏所以实际项目里会加入头部位置补偿。常见做法是使用人脸框中心坐标作为参考计算瞳孔相对人脸的偏移再映射到屏幕。下面是一个带上限下限的线性映射实现。def map_to_screen(pupil_x, pupil_y, eye_w, eye_h, screen_w, screen_h): # 归一化到0~1 nx pupil_x / eye_w ny pupil_y / eye_h # 限制在合理范围 nx max(0.0, min(1.0, nx)) ny max(0.0, min(1.0, ny)) return int(nx * screen_w), int(ny * screen_h)这里的eye_w和eye_h是ROI的宽高归一化后再乘屏幕尺寸。为了让控制更平顺可以加一个指数移动平均filter比如new_x alpha * raw_x (1-alpha) * prev_xalpha取0.2到0.4。alpha太小会让光标有粘滞感太大则抖动明显。5.2 使用pyautogui控制鼠标项目里用到了pygame但实际控制鼠标更简单的方式是pyautogui它不依赖窗口焦点可以直接调用系统接口移动光标。import pyautogui screen_w, screen_h pyautogui.size() target_x, target_y map_to_screen(cx, cy, eye_w, eye_h, screen_w, screen_h) pyautogui.moveTo(target_x * 2, target_y * 2)注意pyautogui.moveTo的坐标是从屏幕左上角算的和OpenCV图像坐标系一致。在macOS上移动鼠标会弹出辅助功能权限请求Linux上需要X11环境Wayland下可能失效。如果只做演示用pygame绘制一个模拟光标更省事不用碰系统权限。5.3 性能分析与参数调优在优化之前先用profile看瓶颈OpenCV的getTickCount比较方便不用额外工具。timer cv2.getTickCount() # 追踪逻辑 elapsed (cv2.getTickCount() - timer) / cv2.getTickFrequency() print(fFrame time: {elapsed*1000:.1f} ms)如果耗时超过50ms优先把眼睛检测频率降下来比如每3帧才跑一次Haar检测中间帧用光流跟踪。这样能保持30FPS的同时眼睛框不会明显滞后。另一个调参点是clsScaleFactor把1.1改成1.2能让检测速度快30%代价是损失小脸或侧脸的召回率。实际调试时可以在显示窗口里叠加眼睛框和瞳孔质心便于边看边调threshold参数。5.4 工程化把代码拆成模块项目文件里有camtracker.py、process_images.py、GUItest.py这个划分很有参考价值。camtracker负责实时视频流处理process_images负责离线图片测试GUItest把人机交互层独立出来。我自己会再拆一个calibration.py专门管理校准数据把从采集到映射的参数保存成yaml或json。这样后期想换追踪算法比如用深度学习替代Haar不会影响坐标映射模块。最后一个实用技巧在瞳孔质心序列上应用卡尔曼滤波时可以先用最近5帧的坐标中值替换异常离群点再送入平滑器能显著减少眨眼瞬间光标飞走的概率。这个预处理比调大的Kalman过程噪声方差更有效。本文还有配套的精品资源点击获取 用OpenCV和Python3实现轻量级眼球追踪：从瞳孔定位到屏幕映射
简介这是一份基于Python3与OpenCV的实时眼球追踪项目压缩包主要面向计算机视觉初学者以及对人机交互、生物识别或心理学研究感兴趣的开发者。包内共62个文件含36张PNG图像、9个Python源文件、6个XML级联分类器配置另有少量编译文件、测试数据与许可证等整体仅393KB目录结构清晰便于直接阅读与二次开发。核心代码完整覆盖摄像头视频流捕获、灰度化与滤波预处理、Haar特征眼睛检测、眼珠定位及追踪逻辑并附带GUI演示程序与测试样本可帮助读者理解如何将眼部运动映射到屏幕坐标实现用眼睛控制鼠标等交互功能。项目还提供了常见追踪算法的思路说明便于进一步结合光流法或滤波器优化轨迹估计。已有1045人学习下载适合希望快速上手传统视觉方案、掌握级联分类器与目标跟踪基础流程的开发者作为轻量入门资料。1. 眼球追踪为什么值得自己用OpenCV写一遍眼球追踪听起来像要动用专业硬件但实际用普通摄像头加上OpenCV就能跑出一个可交互的基础版本。这个项目把摄像头捕获、人脸检测、瞳孔定位、坐标映射串成完整链路代码量不大却覆盖了计算机视觉里最常用的几个模块。对人机交互、心理学实验、用户行为分析这类场景这种轻量方案能让你在不需要购买昂贵眼动仪的情况下快速验证想法。我拆过这个webcam-eyetracker-based-on-Python3-main项目结构很干净camtracker.py和process_images.py把实时追踪和离线处理分开适合当脚手架来改。Python3和OpenCV的组合到现在仍是做这类原型最快的路径下面的实现思路和参数调优基本可以直接搬到你自己的项目里。2. 摄像头捕获与图像预处理眼球追踪的第一道工序2.1 VideoCapture 读取摄像头流的稳定姿势项目里最核心的输入源就是摄像头OpenCV的VideoCapture模块不是打开设备就完事它有两种常见错误打开设备时分辨率设置不被支持或者读取循环里丢帧导致后续检测跳动。常见做法是先试探设备支持的分辨率用cap.set来设置但不盲信再读一帧验证实际尺寸。import cv2 def open_camera(camera_id0, width640, height480): cap cv2.VideoCapture(camera_id) # 尝试设置分辨率部分摄像头会自动调整到最近的合法值 cap.set(cv2.CAP_PROP_FRAME_WIDTH, width) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, height) # 检查真实读取到的分辨率 real_w cap.get(cv2.CAP_PROP_FRAME_WIDTH) real_h cap.get(cv2.CAP_PROP_FRAME_HEIGHT) if not cap.isOpened(): raise RuntimeError(无法打开摄像头检查索引或驱动) return cap, int(real_w), int(real_h)代码逻辑是先创建VideoCapture对象再用set方法尝试配置分辨率最后读取实际值是为了校准后续映射坐标。参数camera_id在笔记本上通常是0外接摄像头可能变成1或2这个在Linux上可以用ls /dev/video*排查。注意不要把真实分辨率当作初始值使用否则屏幕映射会偏。2.2 灰度化、高斯滤波与直方图均衡化眼睛检测的鲁棒性很大程度上依赖预处理彩色图三个通道会放大光照变化和肤色干扰所以先转灰度。高斯滤波用来去除传感器噪声但半径不能太大否则瞳孔边缘会被磨平。直方图均衡化在光照不均的场景下效果很明显能让瞳孔和眼白的对比度拉开。def preprocess_eye_roi(roi_bgr): gray cv2.cvtColor(roi_bgr, cv2.COLOR_BGR2GRAY) # 5x5高斯核在帧分辨率不高时足够抑制噪声 blurred cv2.GaussianBlur(gray, (5, 5), 0) # 对比度增强让瞳孔暗区域更明显 equ cv2.equalizeHist(blurred) return equ预处理顺序是固定的先灰度后滤波再均衡化。如果摄像头噪点厉害可以换成中值滤波但中值滤波计算量稍高。直方图均衡化对已经比较亮的图像会有过度增强的问题这个后面在参数调优里可以加一个自适应阈值的限定。注意这里处理的不是整帧而是后面检测出的眼睛区域ROI越小处理越稳。2.3 摄像头帧率与延迟的取舍实时眼球追踪最怕的就是延迟处理耗时超过帧间隔就会产生累积延迟。下面的表格是典型的640x480与1280x720在不同预处理下的帧耗时对比在普通CPU上跑Haar级联时差异很明显。分辨率预处理步骤单帧总耗时含检测实际可达帧率640x480灰度高斯18-25 ms约30 FPS640x480灰度高斯均衡化22-30 ms约25 FPS1280x720灰度高斯均衡化60-80 ms约12 FPS提高分辨率并不一定提升追踪精度因为瞳孔在ROI里占的像素数才是关键。我一般把分辨率设为640x480然后用ROI放大来弥补分辨率不足。帧率如果掉到15 FPS以下光流追踪会明显丢失特征点代码里就要考虑跳帧或降低检测频率。3. 基于Haar级联的眼睛检测与ROI提取3.1 Haar级联分类器原理简述Haar级联本质上是一系列弱分类器的叠加每个分类器检查图像某个位置的矩形特征响应通过多级筛选锁定目标区域。OpenCV提供的haarcascade_eye.xml针对眼睛正面视角训练haarcascade_frontalface_default.xml用来缩小眼睛搜索范围。项目里先查人脸再从人脸区域找眼睛比在全图直接检测眼睛稳定得多因为眼睛特征容易被头发、眼镜框干扰。加载分类器时要用相对路径或绝对路径项目里如果只放xml文件不放到正确路径会报错。常见做法是把xml文件放在models或data目录下用os.path.join拼接路径避免pyinstaller打包后找不到文件的问题。import os import cv2 face_cascade cv2.CascadeClassifier( os.path.join(models, haarcascade_frontalface_default.xml) ) eye_cascade cv2.CascadeClassifier( os.path.join(models, haarcascade_eye.xml) )在Python3里加载分类器后可以用empty()检查是否成功如果失败多半是路径错误或者OpenCV版本不带这些xml。opencv-python包从4.x开始自带xml文件在cv2.data.haarcascades目录下也可以用cv2.data.haarcascades haarcascade_eye.xml来引用。3.2 人脸检测与眼睛ROI计算检测逻辑是先detectMultiScale找到人脸然后把人脸区域作为ROI再在人脸内部检测眼睛。眼睛检测框对齐人眼位置后可以进一步分成左眼和右眼因为后续坐标映射需要区分左右。def find_eyes(gray_frame, face_cascade, eye_cascade): faces face_cascade.detectMultiScale( gray_frame, scaleFactor1.1, minNeighbors5, minSize(60, 60) ) eyes [] for (fx, fy, fw, fh) in faces: face_roi gray_frame[fy:fyfh, fx:fxfw] detected eye_cascade.detectMultiScale( face_roi, scaleFactor1.1, minNeighbors8, minSize(15, 15) ) # 框坐标要换算回原图 for (ex, ey, ew, eh) in detected: eyes.append((fx ex, fy ey, ew, eh)) return eyes参数scaleFactor控制每次缩放比例1.1表示每次缩小10%越小检测越精细但越慢。minNeighbors减少误检值越大漏检越多。眼睛检测的minNeighbors我常用8到10因为人脸区域内误检概率低可以调高一点。注意这里返回的是眼睛框列表没有区分左右下面还需要按x坐标排序。3.3 眼睛区域归一化提取到的眼睛框宽高不一致直接送入瞳孔定位会影响阈值选择。我习惯把每个眼睛框裁剪后缩放到固定尺寸比如60x36这样处理参数可以写死。缩放用cv2.INTER_AREA插值可以保留更多暗部细节放大用INTER_LINEAR比较快。def normalize_eye(eye_roi, target_w60, target_h36): resized cv2.resize(eye_roi, (target_w, target_h), interpolationcv2.INTER_AREA) return resized归一化还有一个好处后续做光流追踪时特征点的尺度不会跳变减少了追踪失败率。但注意归一化坐标后瞳孔质心要乘回缩放比例否则画到原图上位置会偏。这个细节很多人会忽略。4. 瞳孔定位与追踪算法从阈质心到光流4.1 为什么瞳孔可以用颜色和亮度分离瞳孔在近红外或普通可见光下都是图像里最暗的区域之一眼白是高亮的虹膜处于中间灰度。在灰度图里用一个合适的阈值就能把瞳孔和周围分离开。但普通摄像头受环境光影响固定阈值很容易失效拿Otsu自适应阈值会好很多。Otsu会假设图像是双峰分布眼睛图像恰好满足这个条件所以直接用cv2.threshold加cv2.THRESH_OTSU即可。4.2 阈值分割与瞳孔质心计算瞳孔不一定是正圆眨眼时会被眼皮遮挡一部分所以用轮廓而不是Hough圆检测更鲁棒。拿到轮廓后可以计算质心作为瞳孔中心这样即使瞳孔边缘有缺口质心也基本稳定。import cv2 import numpy as np def find_pupil_center(gray_eye): # Otsu阈值: 返回二值图, 瞳孔作为前景暗区 _, thresh cv2.threshold(gray_eye, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) contours, _ cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return None # 取最大轮廓, 通常就是瞳孔区域 c max(contours, keycv2.contourArea) # 但面积太小时可能是噪点, 需过滤 if cv2.contourArea(c) 80: return None M cv2.moments(c) if M[m00] 0: return None cx int(M[m10] / M[m00]) cy int(M[m01] / M[m00]) return cx, cy, c这里的THRESH_BINARY_INV让瞳孔像素变成白色前景轮廓更直观。面积阈值80是按60x36的归一化ROI估算的如果实际分辨率不同要重新调整。质心计算使用图像矩m00是面积m10和m01是一阶矩除以面积得到质心坐标。注意如果眼睛大部分闭住轮廓面积会很小这时候返回None比返回错误坐标安全。4.3 用光流做连续帧追踪每一帧重新检测瞳孔虽然简单但眨眼、快速转动时前一帧的一致性丢失容易出现坐标抖跳。常见做法是把瞳孔质心周围的特征点送入稀疏光流用上一帧的位置预测当前帧位置。OpenCV的calcOpticalFlowPyrLK基于Lucas-Kanade算法计算量比全图搜索小得多。feature_params dict(maxCorners10, qualityLevel0.3, minDistance7, blockSize7) lk_params dict(winSize(15, 15), maxLevel2, criteria(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03)) prev_gray None prev_points None def track_pupil(frame_gray, detected_center): global prev_gray, prev_points if prev_gray is None: prev_gray frame_gray if detected_center is not None: prev_points np.array([[detected_center]], dtypenp.float32) return detected_center if prev_points is not None and len(prev_points) 0: next_points, status, _ cv2.calcOpticalFlowPyrLK( prev_gray, frame_gray, prev_points, None, **lk_params ) good next_points[status.flatten() 1] if len(good) 0: avg good.mean(axis0)[0] prev_points good.reshape(-1, 1, 2) prev_gray frame_gray return int(avg[0]), int(avg[1]) # 光流失败时回退到检测结果 if detected_center is not None: prev_points np.array([[detected_center]], dtypenp.float32) prev_gray frame_gray return detected_center这段代码把上一帧的质心作为稀疏特征点在当前帧计算光流位移然后用跟踪点的均值作为新质心。status数组标记了哪些点跟踪成功过滤掉失败点可以防止漂移。winSize参数影响位移搜索范围眼睛运动快时要适当调大否则跟丢。这里要注意光流输入必须是连续帧灰度图中间不能插入预处理后的均衡化图否则灰度分布变化会破坏光流假设。4.4 追踪失败时的异常处理眼球追踪最容易失败的时刻是眨眼的瞬间瞳孔完全消失轮廓面积接近于零。另一个是眼睛框误检到眉毛或眼影导致阈值分割出来的暗区域不是瞳孔。建议在代码里维护一个连续失败帧计数超过3帧就把光流特征清空强制重新检测眼睛区域而不是沿用旧坐标。这样可以避免把噪声坐标映射到屏幕造成鼠标乱跳。5. 把眼球坐标映射到屏幕并做性能调优5.1 屏幕坐标映射的数学模型从瞳孔在眼睛ROI里的相对坐标到屏幕光标位置最简单的做法是线性映射。需要采集两个锚点看屏幕左上角和右下角时瞳孔的相对坐标。项目里的example.py应该有类似逻辑用途是让人先注视两个点完成校准。线性映射公式是[ screen_x (pupil_x - left_x) \times \frac{screen_w}{right_x - left_x} ]这个映射对头部静止的场景够用头部一旦移动就会偏所以实际项目里会加入头部位置补偿。常见做法是使用人脸框中心坐标作为参考计算瞳孔相对人脸的偏移再映射到屏幕。下面是一个带上限下限的线性映射实现。def map_to_screen(pupil_x, pupil_y, eye_w, eye_h, screen_w, screen_h): # 归一化到0~1 nx pupil_x / eye_w ny pupil_y / eye_h # 限制在合理范围 nx max(0.0, min(1.0, nx)) ny max(0.0, min(1.0, ny)) return int(nx * screen_w), int(ny * screen_h)这里的eye_w和eye_h是ROI的宽高归一化后再乘屏幕尺寸。为了让控制更平顺可以加一个指数移动平均filter比如new_x alpha * raw_x (1-alpha) * prev_xalpha取0.2到0.4。alpha太小会让光标有粘滞感太大则抖动明显。5.2 使用pyautogui控制鼠标项目里用到了pygame但实际控制鼠标更简单的方式是pyautogui它不依赖窗口焦点可以直接调用系统接口移动光标。import pyautogui screen_w, screen_h pyautogui.size() target_x, target_y map_to_screen(cx, cy, eye_w, eye_h, screen_w, screen_h) pyautogui.moveTo(target_x * 2, target_y * 2)注意pyautogui.moveTo的坐标是从屏幕左上角算的和OpenCV图像坐标系一致。在macOS上移动鼠标会弹出辅助功能权限请求Linux上需要X11环境Wayland下可能失效。如果只做演示用pygame绘制一个模拟光标更省事不用碰系统权限。5.3 性能分析与参数调优在优化之前先用profile看瓶颈OpenCV的getTickCount比较方便不用额外工具。timer cv2.getTickCount() # 追踪逻辑 elapsed (cv2.getTickCount() - timer) / cv2.getTickFrequency() print(fFrame time: {elapsed*1000:.1f} ms)如果耗时超过50ms优先把眼睛检测频率降下来比如每3帧才跑一次Haar检测中间帧用光流跟踪。这样能保持30FPS的同时眼睛框不会明显滞后。另一个调参点是clsScaleFactor把1.1改成1.2能让检测速度快30%代价是损失小脸或侧脸的召回率。实际调试时可以在显示窗口里叠加眼睛框和瞳孔质心便于边看边调threshold参数。5.4 工程化把代码拆成模块项目文件里有camtracker.py、process_images.py、GUItest.py这个划分很有参考价值。camtracker负责实时视频流处理process_images负责离线图片测试GUItest把人机交互层独立出来。我自己会再拆一个calibration.py专门管理校准数据把从采集到映射的参数保存成yaml或json。这样后期想换追踪算法比如用深度学习替代Haar不会影响坐标映射模块。最后一个实用技巧在瞳孔质心序列上应用卡尔曼滤波时可以先用最近5帧的坐标中值替换异常离群点再送入平滑器能显著减少眨眼瞬间光标飞走的概率。这个预处理比调大的Kalman过程噪声方差更有效。本文还有配套的精品资源点击获取