查看类别

HandPose – 在 Scratch 中检测手部和手势

🖐️ HandPose – 在 Scratch 中检测手部和手势 #

HandPose 扩展把实时手部追踪功能带入 Scratch。
它可以让你的项目对手指、手腕动作和简单手势做出反应—直接在浏览器中运行,无需任何额外设置。
非常适合课堂教学、工作坊和创意编程项目。 🙌

Pishi points to a screen tracking a hand’s landmarks for gesture recognition.

HandPose AI Extension Sample

 


🌟 概述 #

  • 最多检测 4 只手: 可同时追踪一只或多只手。
  • 21 个 landmark (特征点): 包括手腕、拇指关节以及每根手指的关节和指尖。
  • 读取坐标: 获取 Scratch Stage (舞台) 上任意手部特征点的 X/Y 位置。
  • 测量: 计算手部特征点之间的角度和距离。
  • 摄像头控制: 显示、隐藏、镜像摄像头画面,并选择要使用的摄像头设备。
  • 选择输入源: 从实时摄像头画面或 Stage 图像进行分析。

✨ 主要特点 #

  • 支持多手追踪(1–4 只手)。
  • 提供易于使用的下拉菜单,可选择各个关节和指尖。
  • 可调节 “classify” 检测间隔,在流畅运行和 CPU 使用率之间取得平衡。
  • 支持摄像头预览透明度和镜像设置。
  • 完全基于浏览器运行— 无需安装,私密又安全。

🚀 如何使用 #

  1. 前往 pishi.ai/play.
  2. 打开扩展程序部分。
  3. 从列表中选择 HandPose。
  4. 出现提示时允许访问摄像头,并确认摄像头预览已经显示。
  5. 如果没有检测到摄像头,输入源会自动切换到 Stage 图像。
  6. 默认会以流畅的 100 ms 间隔开始连续检测。
  7. 使用位置和测量积木,让 sprite (角色) 对手指手势做出反应。

提示:

  • 使用充足且均匀的光线,可以获得更准确的追踪效果。
  • 当画面中出现多只手时,请在积木的 hand no: 1–4 下拉菜单中选择要追踪的手。
  • 在性能较低的电脑上,可以增大检测间隔(例如 150–250 ms),以降低 CPU 负载。

🧱 积木和函数 #

📍 位置和数量 #

[KEYPOINT] 的 x 坐标,人物编号 [HAND_NUMBER]
[KEYPOINT] 的 y 坐标,人物编号 [HAND_NUMBER]

返回 Stage 上指定手部 landmark (特征点) 的 X 或 Y 位置。
KEYPOINT:从下拉列表中选择特征点(手腕、关节或指尖)。
HAND_NUMBER:选择要追踪哪只手(1–4)。“1”表示第一只检测到的手。
如果没有检测到手,则返回空值。

 

手数量

返回当前检测到的手的数量(0–4)。


📏 测量 #

关键点之间的角度: [KEYPOINT_1] 和 [KEYPOINT_2] 对象号: [HAND_NUMBER]

返回两个特征点之间的角度(单位:度)—非常适合检测手指弯曲或手腕旋转。

关键点之间的距离: [KEYPOINT_1] 和 [KEYPOINT_2] 对象号: [HAND_NUMBER]

测量两个特征点之间的距离,单位为 Stage 像素—适合检测捏合、张开或手指展开等手势。

当找不到 x/y 时返回 [RETURN_TYPE]

选择在找不到手或特征点时,坐标积木应该返回什么。
RETURN_TYPE:可以保留最后一次找到的坐标,也可以返回空值。

注意:
Default keypoints (默认关键点): 0 (wrist,手腕)和 12 (middle fingertip,中指指尖)。
坐标以 Scratch Stage 中心为基准(X ≈ −240…240, Y ≈ −180…180).
开启镜像后,X 值会翻转,以与摄像头预览中的方向保持一致。


⚙️ 检测控制 #

  • 分类 [INTERVAL] - 选择检测运行的频率:
    • 每次运行此积木时检测一次
    • 连续检测,无延迟
    • 连续检测,每隔 50–2500 ms 运行一次
  • 将分类 [ON_OFF] - 开始或停止连续检测。
  • 分类间隔 - 返回当前检测间隔,单位为毫秒。
  • 连续分类 - 返回连续检测当前是“on”还是“off”。
  • 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
  • 输入图像 - 返回当前正在使用的输入源。

🎥 视频控制 #

  • 将视频 [off/on/on-flipped]
    • on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
    • on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
    • off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
  • 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
    • 0:完全可见(不透明图像)
    • 100:完全透明(不可见,但仍在运行)
    使用 0–100 之间的值来调整摄像头背景的透明度,让 sprite 能够清晰地显示在摄像头预览上方。
  • 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。
  • 显示检测框 [开启/关闭]
    打开或关闭检测框显示。 打开后,每个检测到的物体周围都会显示一个方框,让你可以看到模型正在跟踪哪些物体。 这对于测试摄像头、检查模型的识别效果以及实时调试项目都很有帮助。


🖐️ 常用关键点(实用编号) #

可以使用下面这些常见手部位置的快捷编号,也可以从下拉菜单中选择任意 landmark (特征点)。

0:手腕
1:拇指根部 2:拇指第 2 关节
3:拇指第 1 关节, 4:拇指指尖
5–8:食指关节 / 指尖
9–12:中指关节 / 指尖
13–16:无名指关节 / 指尖
17–20:小指关节 / 指尖

菜单编号从 0–20(与 MediaPipe 索引一致)。


🎓 教育用途 #

  • 通过观察手部关节和动作,探索 computer vision (计算机视觉)。
  • 将手指移动映射到 sprite 的 X/Y 坐标,学习坐标系统。
  • 运用几何和数学知识计算角度和距离。
  • 创建基于手势的互动,例如捏合、指向或竖起大拇指时触发操作。

🎮 示例项目 #

  • 捏合点击: 检测拇指与食指之间的距离,模拟鼠标点击。
  • 手指钢琴: 将指尖映射到琴键,并在移动手指时播放音符。
  • 竖起大拇指检测器: 当拇指向上时触发操作。
  • 石头 — 剪刀 — 布: 使用特征点之间的距离识别不同手势。
  • 手部控制器: 使用手腕的 X/Y 坐标移动 sprite,并在手指张开时进行加速。

✨ 试试一个项目 #

准备好把你学到的知识应用到实践中了吗?
用你的手指在 Scratch 中喂养 Pishi
使用手部关键点,通过指尖控制小球,捕捉小鱼并喂给 Pishi。
查看项目

 

🧩 自己试试: pishi.ai/play


🔧 提示和故障排除 #

  • 没有摄像头?
    • 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
    • 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
    • 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。
  • 没有检测结果?
    • 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
    • 如果检测已经启用,请改善环境光线,并正对摄像头。
    • 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
    • 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
    • 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
    • Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
    • 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
    • 当你使用以下积木时,检测也可能自动重新启动:
    将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage].
  • 画面方向翻转了?
    将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。
  • 卡顿或运行缓慢?
    使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。
  • 出现 WebGL2 警告?
    尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。
  • 想分析 Stage 而不是摄像头?
    选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。
    注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。

🖐️ HandPose 专用提示 #

  • 检测不到手? 确保整只手—包括手腕—都出现在摄像头画面中。稍微张开手指;握拳或运动模糊都会让检测变得更加困难。
  • 手指识别混乱? 保持手指之间清晰分开,并避免相互重叠,这样才能更准确地追踪每个指尖。
  • 有多只手? 使用积木中的 hand no: 1–4 参数选择要追踪的手。Hand 1 通常是画面中最大或距离摄像头最近的手。
  • 追踪不稳定? 保持手部稳定并让光线均匀。避免手部出现强烈阴影或非常明亮的反光。
  • 检测捏合手势? 测量 keypoint 4 (关键点 4,拇指指尖) 与 keypoint 8 (关键点 8,食指指尖) 之间的距离。距离越小,越可能表示正在进行捏合手势。
  • 检测指向手势? 检查 keypoint 8 (关键点 8,食指指尖) 的 Y 值是否小于 keypoint 5 (关键点 5,食指根部) 的 Y 值,同时其他手指保持向下弯曲。
  • 计算伸出的手指数? 比较每个指尖与其根部的 Y 位置—如果指尖的 Y 值更高,则表示该手指处于伸展状态。
  • 检测竖起大拇指? 检查 keypoint 4 (关键点 4,拇指指尖) 是否高于 keypoint 2 (关键点 2,拇指根部),同时其他手指保持折叠。
  • 判断手部方向? 计算 keypoint 0 (关键点 0,手腕) 与 keypoint 12 (关键点 12,中指指尖) 之间的角度,以估算手部的旋转或倾斜程度。
  • 在 Stage 模式下使用照片? 在 Stage 模式下,landmark 不会被镜像—left 和 right 对应真实的解剖学左右位置。

🔒 隐私与安全 #

  • 所有处理都在你的浏览器本地运行。
  • 不会将任何图像或视频上传到其他地方。
  • 扩展启动时,模型文件会直接从 Pishi.ai 加载,因此不会使用任何第三方模型服务器。
  • 使用摄像头之前,请务必先询问老师或家长。
  • 你可以随时安全地使用此积木 将视频 [关闭].

🧪 技术信息 #

  • Model (模型): MediaPipe Hands (HandPose)
  • Framework (框架): TensorFlow.js (latest)—完全在浏览器中运行,并使用 WebGL 2
  • Detection (检测): 最多 4 只手 / 21 个 landmark (0–20)
  • Coordinate System (坐标系统): Scratch Stage 像素坐标(X 向右,Y 向上)
  • Mirroring (镜像): “on” = 镜像预览,“on-flipped” = 真实方向视图
  • Input Modes (输入模式): Camera 或 Stage canvas
  • Default Keypoints (默认关键点): 0 (wrist,手腕)、12 (middle fingertip,中指指尖)
  • Default Classify Interval (默认检测间隔): 100 ms

🔗 相关扩展 #

  • 😎 人脸网格 – detect face landmarks
  • 🕺 身体姿态检测 – 追踪身体姿势
  • 🖼️ 图像训练器 – 创建自定义 AI model
  • 🏫 Google 可训练机器 – 导入你自己的 TM model

📚 了解更多 #


滚动至顶部