目录
🖐️ HandPose – 在 Scratch 中检测手部和手势 #
HandPose 扩展把实时手部追踪功能带入 Scratch。
它可以让你的项目对手指、手腕动作和简单手势做出反应—直接在浏览器中运行,无需任何额外设置。
非常适合课堂教学、工作坊和创意编程项目。 🙌


🌟 概述 #
- 最多检测 4 只手: 可同时追踪一只或多只手。
- 21 个 landmark (特征点): 包括手腕、拇指关节以及每根手指的关节和指尖。
- 读取坐标: 获取 Scratch Stage (舞台) 上任意手部特征点的 X/Y 位置。
- 测量: 计算手部特征点之间的角度和距离。
- 摄像头控制: 显示、隐藏、镜像摄像头画面,并选择要使用的摄像头设备。
- 选择输入源: 从实时摄像头画面或 Stage 图像进行分析。
✨ 主要特点 #
- 支持多手追踪(1–4 只手)。
- 提供易于使用的下拉菜单,可选择各个关节和指尖。
- 可调节 “classify” 检测间隔,在流畅运行和 CPU 使用率之间取得平衡。
- 支持摄像头预览透明度和镜像设置。
- 完全基于浏览器运行— 无需安装,私密又安全。
🚀 如何使用 #
- 前往 pishi.ai/play.
- 打开扩展程序部分。
- 从列表中选择 HandPose。
- 出现提示时允许访问摄像头,并确认摄像头预览已经显示。
- 如果没有检测到摄像头,输入源会自动切换到 Stage 图像。
- 默认会以流畅的 100 ms 间隔开始连续检测。
- 使用位置和测量积木,让 sprite (角色) 对手指手势做出反应。
提示:
- 使用充足且均匀的光线,可以获得更准确的追踪效果。
- 当画面中出现多只手时,请在积木的 hand no: 1–4 下拉菜单中选择要追踪的手。
- 在性能较低的电脑上,可以增大检测间隔(例如 150–250 ms),以降低 CPU 负载。
🧱 积木和函数 #
📍 位置和数量 #
返回 Stage 上指定手部 landmark (特征点) 的 X 或 Y 位置。
KEYPOINT:从下拉列表中选择特征点(手腕、关节或指尖)。
HAND_NUMBER:选择要追踪哪只手(1–4)。“1”表示第一只检测到的手。
如果没有检测到手,则返回空值。
手数量
返回当前检测到的手的数量(0–4)。
📏 测量 #
关键点之间的角度: [KEYPOINT_1] 和 [KEYPOINT_2] 对象号: [HAND_NUMBER]
返回两个特征点之间的角度(单位:度)—非常适合检测手指弯曲或手腕旋转。
关键点之间的距离: [KEYPOINT_1] 和 [KEYPOINT_2] 对象号: [HAND_NUMBER]
测量两个特征点之间的距离,单位为 Stage 像素—适合检测捏合、张开或手指展开等手势。
当找不到 x/y 时返回 [RETURN_TYPE]
选择在找不到手或特征点时,坐标积木应该返回什么。
RETURN_TYPE:可以保留最后一次找到的坐标,也可以返回空值。
注意:
Default keypoints (默认关键点): 0 (wrist,手腕)和 12 (middle fingertip,中指指尖)。
坐标以 Scratch Stage 中心为基准(X ≈ −240…240, Y ≈ −180…180).
开启镜像后,X 值会翻转,以与摄像头预览中的方向保持一致。
⚙️ 检测控制 #
- 分类 [INTERVAL] - 选择检测运行的频率:
- 每次运行此积木时检测一次
- 连续检测,无延迟
- 连续检测,每隔 50–2500 ms 运行一次
- 将分类 [ON_OFF] - 开始或停止连续检测。
- 分类间隔 - 返回当前检测间隔,单位为毫秒。
- 连续分类 - 返回连续检测当前是“on”还是“off”。
- 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
- 输入图像 - 返回当前正在使用的输入源。
🎥 视频控制 #
- 将视频 [off/on/on-flipped]
- on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
- on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
- off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
- 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
- 0:完全可见(不透明图像)
- 100:完全透明(不可见,但仍在运行)
- 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。
- 显示检测框 [开启/关闭]打开或关闭检测框显示。 打开后,每个检测到的物体周围都会显示一个方框,让你可以看到模型正在跟踪哪些物体。 这对于测试摄像头、检查模型的识别效果以及实时调试项目都很有帮助。
🖐️ 常用关键点(实用编号) #
可以使用下面这些常见手部位置的快捷编号,也可以从下拉菜单中选择任意 landmark (特征点)。
0:手腕
1:拇指根部 2:拇指第 2 关节
3:拇指第 1 关节, 4:拇指指尖
5–8:食指关节 / 指尖
9–12:中指关节 / 指尖
13–16:无名指关节 / 指尖
17–20:小指关节 / 指尖
1:拇指根部 2:拇指第 2 关节
3:拇指第 1 关节, 4:拇指指尖
5–8:食指关节 / 指尖
9–12:中指关节 / 指尖
13–16:无名指关节 / 指尖
17–20:小指关节 / 指尖
菜单编号从 0–20(与 MediaPipe 索引一致)。
🎓 教育用途 #
- 通过观察手部关节和动作,探索 computer vision (计算机视觉)。
- 将手指移动映射到 sprite 的 X/Y 坐标,学习坐标系统。
- 运用几何和数学知识计算角度和距离。
- 创建基于手势的互动,例如捏合、指向或竖起大拇指时触发操作。
🎮 示例项目 #
- 捏合点击: 检测拇指与食指之间的距离,模拟鼠标点击。
- 手指钢琴: 将指尖映射到琴键,并在移动手指时播放音符。
- 竖起大拇指检测器: 当拇指向上时触发操作。
- 石头 — 剪刀 — 布: 使用特征点之间的距离识别不同手势。
- 手部控制器: 使用手腕的 X/Y 坐标移动 sprite,并在手指张开时进行加速。
🧩 自己试试: pishi.ai/play
🔧 提示和故障排除 #
- 没有摄像头?
• 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
• 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
• 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。 - 没有检测结果?
• 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
• 如果检测已经启用,请改善环境光线,并正对摄像头。
• 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
• 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
• 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
• Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
• 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
• 当你使用以下积木时,检测也可能自动重新启动:
将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage]. - 画面方向翻转了?
将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。 - 卡顿或运行缓慢?
使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。 - 出现 WebGL2 警告?
尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。 - 想分析 Stage 而不是摄像头?
选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。
🖐️ HandPose 专用提示 #
- 检测不到手? 确保整只手—包括手腕—都出现在摄像头画面中。稍微张开手指;握拳或运动模糊都会让检测变得更加困难。
- 手指识别混乱? 保持手指之间清晰分开,并避免相互重叠,这样才能更准确地追踪每个指尖。
- 有多只手? 使用积木中的 hand no: 1–4 参数选择要追踪的手。Hand 1 通常是画面中最大或距离摄像头最近的手。
- 追踪不稳定? 保持手部稳定并让光线均匀。避免手部出现强烈阴影或非常明亮的反光。
- 检测捏合手势? 测量 keypoint 4 (关键点 4,拇指指尖) 与 keypoint 8 (关键点 8,食指指尖) 之间的距离。距离越小,越可能表示正在进行捏合手势。
- 检测指向手势? 检查 keypoint 8 (关键点 8,食指指尖) 的 Y 值是否小于 keypoint 5 (关键点 5,食指根部) 的 Y 值,同时其他手指保持向下弯曲。
- 计算伸出的手指数? 比较每个指尖与其根部的 Y 位置—如果指尖的 Y 值更高,则表示该手指处于伸展状态。
- 检测竖起大拇指? 检查 keypoint 4 (关键点 4,拇指指尖) 是否高于 keypoint 2 (关键点 2,拇指根部),同时其他手指保持折叠。
- 判断手部方向? 计算 keypoint 0 (关键点 0,手腕) 与 keypoint 12 (关键点 12,中指指尖) 之间的角度,以估算手部的旋转或倾斜程度。
- 在 Stage 模式下使用照片? 在 Stage 模式下,landmark 不会被镜像—left 和 right 对应真实的解剖学左右位置。
🔒 隐私与安全 #
- 所有处理都在你的浏览器本地运行。
- 不会将任何图像或视频上传到其他地方。
- 扩展启动时,模型文件会直接从 Pishi.ai 加载,因此不会使用任何第三方模型服务器。
- 使用摄像头之前,请务必先询问老师或家长。
- 你可以随时安全地使用此积木 将视频 [关闭].
🧪 技术信息 #
- Model (模型): MediaPipe Hands (HandPose)
- Framework (框架): TensorFlow.js (latest)—完全在浏览器中运行,并使用 WebGL 2
- Detection (检测): 最多 4 只手 / 21 个 landmark (0–20)
- Coordinate System (坐标系统): Scratch Stage 像素坐标(X 向右,Y 向上)
- Mirroring (镜像): “on” = 镜像预览,“on-flipped” = 真实方向视图
- Input Modes (输入模式): Camera 或 Stage canvas
- Default Keypoints (默认关键点): 0 (wrist,手腕)、12 (middle fingertip,中指指尖)
- Default Classify Interval (默认检测间隔): 100 ms
🔗 相关扩展 #
- 😎 人脸网格 – detect face landmarks
- 🕺 身体姿态检测 – 追踪身体姿势
- 🖼️ 图像训练器 – 创建自定义 AI model
- 🏫 Google 可训练机器 – 导入你自己的 TM model

