一、项目简介本文基于 Google 开源的 MediaPipe 手部识别方案结合 OpenCV 调用本地摄像头通过手掌 21 个手部关键点坐标计算距离判断伸直手指数量实现实时 0-10 数字手势识别。 无需深度学习模型训练开箱即用运行速度快适合手势交互、简易数字识别、课堂手势计数等轻量化场景。二、环境依赖安装只需要安装两个库命令行执行bash运行pip install opencv-python mediapipeopencv-python摄像头读取、画面渲染、图像色彩转换mediapipeGoogle 手部关键点检测框架内置轻量化手部识别模型支持单 / 双手检测三、核心原理讲解1. MediaPipe 手部关键点分布手掌一共输出 21 个归一化坐标点x/y 范围 0~1本代码用到关键点位0 号点手掌根部腕关节4 号点大拇指指尖5 号点食指根部关节8 号点食指指尖12 号点中指指尖16 号点无名指指尖20 号点小指指尖2. 手指伸直判断逻辑基准长度校准用腕关节 0 点与食指根部 5 点的距离作为手掌基准长度消除远近、手掌大小带来的坐标偏差base distance_0_5 / 0.6四根常规手指食 / 中 / 无名 / 小指计算腕部 0 点到各指尖的欧式距离平方若距离大于基准值判定手指伸直flag 计数 1大拇指特殊判定大拇指活动方式与其余四指不同改用食指根部 5 点到大拇指 4 点距离做阈值判断阈值缩小为base*0.3手势映射flag 代表伸直手指总数对应列表gesture [none, one, two...,ten]实时打印对应数字手势。3. 图像预处理说明MediaPipe 模型要求输入 RGB 图像但 OpenCV 读取摄像头默认为 BGR 格式因此需要两次色彩转换摄像头画面 BGR → RGB 送入手部模型推理推理完成 RGB → BGR 用于 OpenCV 绘图、显示 额外增加cv2.flip(frame,1)水平镜像符合人眼正常视觉习惯。四、完整可运行代码python运行import cv2 import mediapipe as mp # 手势标签flag对应伸直手指数量 gesture [none, one, two, three, four, five, six, seven, eight, nine, ten] flag 0 # 初始化mediapipe绘图工具与手部检测模块 mp_drawing mp.solutions.drawing_utils mp_hands mp.solutions.hands # 手部检测参数配置 hands mp_hands.Hands( static_image_modeFalse, # False视频流模式True静态图片模式 max_num_hands2, # 最多检测2只手 min_detection_confidence0.75,# 手部检测最低置信度 min_tracking_confidence0.75 # 手部跟踪最低置信度 ) # 打开本地摄像头 cap cv2.VideoCapture(0) while True: flag 0 # 每帧重置手指计数 ret, frame cap.read() if not ret: print(无法读取摄像头画面) break # BGR转RGB供mediapipe处理 frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 水平翻转消除镜像 frame cv2.flip(frame, 1) # 手部关键点推理 results hands.process(frame) # 转回BGR用于opencv绘图显示 frame cv2.cvtColor(frame, cv2.COLOR_RGB2BGR) # 如果检测到手部关键点 if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: # 0腕部坐标5食指根部坐标计算手掌基准长度 p0_x hand_landmarks.landmark[0].x p0_y hand_landmarks.landmark[0].y p5_x hand_landmarks.landmark[5].x p5_y hand_landmarks.landmark[5].y distance_0_5 pow(p0_x - p5_x, 2) pow(p0_y - p5_y, 2) base distance_0_5 / 0.6 # 大拇指4号指尖距离计算 p4_x hand_landmarks.landmark[4].x p4_y hand_landmarks.landmark[4].y distance_5_4 pow(p5_x - p4_x, 2) pow(p5_y - p4_y, 2) # 食指8、中指12、无名指16、小指20指尖距离 p8_x, p8_y hand_landmarks.landmark[8].x, hand_landmarks.landmark[8].y distance_0_8 pow(p0_x - p8_x, 2) pow(p0_y - p8_y, 2) p12_x, p12_y hand_landmarks.landmark[12].x, hand_landmarks.landmark[12].y distance_0_12 pow(p0_x - p12_x, 2) pow(p0_y - p12_y, 2) p16_x, p16_y hand_landmarks.landmark[16].x, hand_landmarks.landmark[16].y distance_0_16 pow(p0_x - p16_x, 2) pow(p0_y - p16_y, 2) p20_x, p20_y hand_landmarks.landmark[20].x, hand_landmarks.landmark[20].y distance_0_20 pow(p0_x - p20_x, 2) pow(p0_y - p20_y, 2) # 判断四根手指是否伸直 if distance_0_8 base: flag 1 if distance_0_12 base: flag 1 if distance_0_16 base: flag 1 if distance_0_20 base: flag 1 # 判断大拇指是否伸出 if distance_5_4 base * 0.3: flag 1 # 最大限制10根手指双手 if flag 10: flag 10 # 绘制手部21个关键点与连接线 mp_drawing.draw_landmarks(frame, hand_landmarks, mp_hands.HAND_CONNECTIONS) # 在画面左上角显示识别结果 cv2.putText(frame, gesture[flag], (50, 50), 0, 1.3, (0, 0, 255), 3) # 窗口展示画面 cv2.imshow(MediaPipe Hands, frame) # 按下ESC键退出循环 if cv2.waitKey(1) 0xFF 27: break # 释放资源 cap.release() cv2.destroyAllWindows()五、代码分段详细解析1. MediaPipe 手部检测初始化参数python运行hands mp_hands.Hands( static_image_modeFalse, max_num_hands2, min_detection_confidence0.75, min_tracking_confidence0.75 )static_image_modeFalse视频流模式启用手部跟踪加速推理帧率更高图片识别改为 Truemax_num_hands2支持左右手同时识别最高可检测双手 10 根手指两个 confidence 阈值过滤低置信度误识别阈值越高识别越严格。2. 距离平方代替欧式距离代码全部使用pow(x差,2)pow(y差,2)计算距离平方不开根号减少浮点运算提升实时推理速度不影响大小比较逻辑。3. 自适应基准 base 解决远近干扰直接使用固定距离阈值会出现手靠近镜头判定全伸直、远离镜头判定全弯曲。 代码利用手掌自身尺寸做自适应基准无论手掌远近判定标准统一鲁棒性更强。4. 双手兼容逻辑单只手最多 5 根手指双手最多 10 根flag 10限制最大计数为 10对应 gesture 列表 ten。5. 可视化与退出逻辑mp_drawing.draw_landmarks自动绘制手掌 21 个关键点 骨骼连线直观观察手部识别效果cv2.putText红色粗字体实时展示当前识别数字waitKey(1)监听键盘按下 ESC27关闭摄像头窗口。六、运行效果说明运行代码自动弹出摄像头窗口画面左右镜像伸出对应数量手指左上角实时显示 one/two/three...ten无手进入画面显示 none双手同时伸出最多显示 ten画面上会绘制彩色手掌骨骼关键点方便调试识别异常。七、常见问题优化方案识别不准、手指计数乱跳调高min_detection_confidence至 0.85调整base distance_0_5 / 0.6中的 0.6 阈值根据自己摄像头微调大拇指识别错误修改大拇指阈值base * 0.3增大 / 缩小系数适配手势画面卡顿降低摄像头分辨率将max_num_hands改为 1只检测单手不需要镜像画面删除frame cv2.flip(frame, 1)这一行即可。八、拓展改进方向增加手势分类剪刀、石头、布等自定义手势保存手势截图制作手势数据集结合串口 / 单片机手势控制硬件设备替换距离判断逻辑使用关键点角度判断手指弯曲程度识别精度更高增加左右手区分分别计数。九、总结MediaPipe 手部检测上手成本极低无需训练模型依靠内置预训练模型即可快速完成手部关键点提取。本文通过简单几何距离计算实现 0~10 数字手势识别代码轻量化、实时性强适合入门学习手部视觉交互开发可拓展到人机交互、体感控制、课堂答题计数等场景。
一、项目简介本文基于 Google 开源的 MediaPipe 手部识别方案结合 OpenCV 调用本地摄像头通过手掌 21 个手部关键点坐标计算距离判断伸直手指数量实现实时 0-10 数字手势识别。 无需深度学习模型训练开箱即用运行速度快适合手势交互、简易数字识别、课堂手势计数等轻量化场景。二、环境依赖安装只需要安装两个库命令行执行bash运行pip install opencv-python mediapipeopencv-python摄像头读取、画面渲染、图像色彩转换mediapipeGoogle 手部关键点检测框架内置轻量化手部识别模型支持单 / 双手检测三、核心原理讲解1. MediaPipe 手部关键点分布手掌一共输出 21 个归一化坐标点x/y 范围 0~1本代码用到关键点位0 号点手掌根部腕关节4 号点大拇指指尖5 号点食指根部关节8 号点食指指尖12 号点中指指尖16 号点无名指指尖20 号点小指指尖2. 手指伸直判断逻辑基准长度校准用腕关节 0 点与食指根部 5 点的距离作为手掌基准长度消除远近、手掌大小带来的坐标偏差base distance_0_5 / 0.6四根常规手指食 / 中 / 无名 / 小指计算腕部 0 点到各指尖的欧式距离平方若距离大于基准值判定手指伸直flag 计数 1大拇指特殊判定大拇指活动方式与其余四指不同改用食指根部 5 点到大拇指 4 点距离做阈值判断阈值缩小为base*0.3手势映射flag 代表伸直手指总数对应列表gesture [none, one, two...,ten]实时打印对应数字手势。3. 图像预处理说明MediaPipe 模型要求输入 RGB 图像但 OpenCV 读取摄像头默认为 BGR 格式因此需要两次色彩转换摄像头画面 BGR → RGB 送入手部模型推理推理完成 RGB → BGR 用于 OpenCV 绘图、显示 额外增加cv2.flip(frame,1)水平镜像符合人眼正常视觉习惯。四、完整可运行代码python运行import cv2 import mediapipe as mp # 手势标签flag对应伸直手指数量 gesture [none, one, two, three, four, five, six, seven, eight, nine, ten] flag 0 # 初始化mediapipe绘图工具与手部检测模块 mp_drawing mp.solutions.drawing_utils mp_hands mp.solutions.hands # 手部检测参数配置 hands mp_hands.Hands( static_image_modeFalse, # False视频流模式True静态图片模式 max_num_hands2, # 最多检测2只手 min_detection_confidence0.75,# 手部检测最低置信度 min_tracking_confidence0.75 # 手部跟踪最低置信度 ) # 打开本地摄像头 cap cv2.VideoCapture(0) while True: flag 0 # 每帧重置手指计数 ret, frame cap.read() if not ret: print(无法读取摄像头画面) break # BGR转RGB供mediapipe处理 frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 水平翻转消除镜像 frame cv2.flip(frame, 1) # 手部关键点推理 results hands.process(frame) # 转回BGR用于opencv绘图显示 frame cv2.cvtColor(frame, cv2.COLOR_RGB2BGR) # 如果检测到手部关键点 if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: # 0腕部坐标5食指根部坐标计算手掌基准长度 p0_x hand_landmarks.landmark[0].x p0_y hand_landmarks.landmark[0].y p5_x hand_landmarks.landmark[5].x p5_y hand_landmarks.landmark[5].y distance_0_5 pow(p0_x - p5_x, 2) pow(p0_y - p5_y, 2) base distance_0_5 / 0.6 # 大拇指4号指尖距离计算 p4_x hand_landmarks.landmark[4].x p4_y hand_landmarks.landmark[4].y distance_5_4 pow(p5_x - p4_x, 2) pow(p5_y - p4_y, 2) # 食指8、中指12、无名指16、小指20指尖距离 p8_x, p8_y hand_landmarks.landmark[8].x, hand_landmarks.landmark[8].y distance_0_8 pow(p0_x - p8_x, 2) pow(p0_y - p8_y, 2) p12_x, p12_y hand_landmarks.landmark[12].x, hand_landmarks.landmark[12].y distance_0_12 pow(p0_x - p12_x, 2) pow(p0_y - p12_y, 2) p16_x, p16_y hand_landmarks.landmark[16].x, hand_landmarks.landmark[16].y distance_0_16 pow(p0_x - p16_x, 2) pow(p0_y - p16_y, 2) p20_x, p20_y hand_landmarks.landmark[20].x, hand_landmarks.landmark[20].y distance_0_20 pow(p0_x - p20_x, 2) pow(p0_y - p20_y, 2) # 判断四根手指是否伸直 if distance_0_8 base: flag 1 if distance_0_12 base: flag 1 if distance_0_16 base: flag 1 if distance_0_20 base: flag 1 # 判断大拇指是否伸出 if distance_5_4 base * 0.3: flag 1 # 最大限制10根手指双手 if flag 10: flag 10 # 绘制手部21个关键点与连接线 mp_drawing.draw_landmarks(frame, hand_landmarks, mp_hands.HAND_CONNECTIONS) # 在画面左上角显示识别结果 cv2.putText(frame, gesture[flag], (50, 50), 0, 1.3, (0, 0, 255), 3) # 窗口展示画面 cv2.imshow(MediaPipe Hands, frame) # 按下ESC键退出循环 if cv2.waitKey(1) 0xFF 27: break # 释放资源 cap.release() cv2.destroyAllWindows()五、代码分段详细解析1. MediaPipe 手部检测初始化参数python运行hands mp_hands.Hands( static_image_modeFalse, max_num_hands2, min_detection_confidence0.75, min_tracking_confidence0.75 )static_image_modeFalse视频流模式启用手部跟踪加速推理帧率更高图片识别改为 Truemax_num_hands2支持左右手同时识别最高可检测双手 10 根手指两个 confidence 阈值过滤低置信度误识别阈值越高识别越严格。2. 距离平方代替欧式距离代码全部使用pow(x差,2)pow(y差,2)计算距离平方不开根号减少浮点运算提升实时推理速度不影响大小比较逻辑。3. 自适应基准 base 解决远近干扰直接使用固定距离阈值会出现手靠近镜头判定全伸直、远离镜头判定全弯曲。 代码利用手掌自身尺寸做自适应基准无论手掌远近判定标准统一鲁棒性更强。4. 双手兼容逻辑单只手最多 5 根手指双手最多 10 根flag 10限制最大计数为 10对应 gesture 列表 ten。5. 可视化与退出逻辑mp_drawing.draw_landmarks自动绘制手掌 21 个关键点 骨骼连线直观观察手部识别效果cv2.putText红色粗字体实时展示当前识别数字waitKey(1)监听键盘按下 ESC27关闭摄像头窗口。六、运行效果说明运行代码自动弹出摄像头窗口画面左右镜像伸出对应数量手指左上角实时显示 one/two/three...ten无手进入画面显示 none双手同时伸出最多显示 ten画面上会绘制彩色手掌骨骼关键点方便调试识别异常。七、常见问题优化方案识别不准、手指计数乱跳调高min_detection_confidence至 0.85调整base distance_0_5 / 0.6中的 0.6 阈值根据自己摄像头微调大拇指识别错误修改大拇指阈值base * 0.3增大 / 缩小系数适配手势画面卡顿降低摄像头分辨率将max_num_hands改为 1只检测单手不需要镜像画面删除frame cv2.flip(frame, 1)这一行即可。八、拓展改进方向增加手势分类剪刀、石头、布等自定义手势保存手势截图制作手势数据集结合串口 / 单片机手势控制硬件设备替换距离判断逻辑使用关键点角度判断手指弯曲程度识别精度更高增加左右手区分分别计数。九、总结MediaPipe 手部检测上手成本极低无需训练模型依靠内置预训练模型即可快速完成手部关键点提取。本文通过简单几何距离计算实现 0~10 数字手势识别代码轻量化、实时性强适合入门学习手部视觉交互开发可拓展到人机交互、体感控制、课堂答题计数等场景。
