
MediaPipe Hands 实时手部追踪5 分钟跑通 21 点手部关键点检测【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipeMediaPipe Hands 是 Google 开源的跨平台实时手部追踪方案从单帧图像里定位 21 个手部关键点手腕和各指节的位置点一次可跟多只手适合做 AR 交互、手势识别的开发者。pip 一行装好就能用不用自己训检测模型。一、它解决什么问题 做 AR 应用时你总得先弄清手在哪、手指怎么动。自己从零训一个实时手部检测模型要标数据、搭网络、再啃移动端性能动辄花掉几周。MediaPipe Hands 把这段路走完了喂一帧画面它直接返回 21 个手部关键点坐标还能同时跟多只手。你把它当成一个即插即用的手部位置雷达就行省下的是模型训练和工程调试的时间。二、原理速览 它的思路像拍照先拍一张远景找到人再拍一张特写看清细节。落到手上先用一个手掌检测模型在整张图里粗定位手掌再只把手掌那一小块裁出来交给关键点模型精修出 21 个关节。处理视频时更省下一帧的裁剪区域直接沿用上一帧算出的关键点只有手真的跟丢了才重新走一遍全图检测。所以连续帧之间算得很轻普通手机也能实时跑。三、快速上手 ⚡pip install mediapipe下面这段连上摄像头、实时画出手部关键点复制即可跑cv2 会随 mediapipe 一起装好按 Esc 退出import cv2 import mediapipe as mp hands mp.solutions.hands.Hands( static_image_modeFalse, max_num_hands2, min_detection_confidence0.5, min_tracking_confidence0.5) cap cv2.VideoCapture(0) while cap.isOpened(): ok, frame cap.read() if not ok: break frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) res hands.process(frame) if res.multi_hand_landmarks: for lm in res.multi_hand_landmarks: mp.solutions.drawing_utils.draw_landmarks( frame, lm, mp.solutions.hands.HAND_CONNECTIONS) cv2.imshow(MediaPipe Hands, cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)) if cv2.waitKey(5) 0xFF 27: break cap.release()四、关键参数调优 置信度就是模型给自己判断打的把握分取值 0~1越高越确定。常用参数对照如下参数作用推荐值调优建议static_image_modetrue 逐张独立检测false 按视频流追踪false视频/ true批量图摄像头和视频保持 false批量分析历史图片才设 truemax_num_hands最多同时追踪的手数2只关心单手设 1 省算力双手交互保持 2model_complexity关键点模型复杂度0 快、1 准1追求低延迟用 0精度优先用 1min_detection_confidence检测被接受的最低置信度0.5频繁漏检就调高到 0.6~0.7min_tracking_confidence跟丢后触发重新检测的阈值0.5抖动、丢跟时调高代价是延迟上升更多参数说明见官方文档docs/solutions/hands.md。五、进阶玩法 手势控制基于 21 个关键点的相对位置和运动轨迹把捏比 OK挥手映射成命令接到智能家居或游戏里。手语翻译把连续帧的关键点拼成时序数据喂给识别网络就能把手语转成文字或语音关键点输出天然是它的输入。AR 交互关键点带 z 深度可判断手指离摄像头远近做虚拟试戴、捏合抓取这类自然交互。想深入看检测子图可以翻 mediapipe/graphs/hand_tracking/ 里的 pbtxt。六、常见坑与排查 左右手标签反了——判定默认按自拍镜像图计算输入不是镜像就把输出的 Left/Right 对调。关键点抖动或跟丢——把 min_tracking_confidence 调到 0.6 以上同时保证手在画面中央、光照充足。相机读不到帧——多半是摄像头被占用或设备号不对确认cap.isOpened()返回 True 并换个设备号。MediaPipe Hands 把手在哪、怎么动这件最耗工程的事压缩成了几行调用。选对模式、调好两个阈值你就能拿到稳定的 21 点输出剩下的创造力留给自己的应用。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考