😎 FaceMesh – 在 Scratch 中检测人脸和表情 #
FaceMesh 扩展将真正由 AI 驱动的人脸追踪功能带入 Scratch。
它可以让你的 Scratch 程序实时响应你的面部表情、头部动作和手势——所有处理都直接在浏览器中完成,无需任何额外设置。
对学生来说足够简单,同时也足够强大,可以用于充满创意的课堂项目。 😊 😊
![]()

🌟 概述 #
- 检测 4 张人脸: 最多可同时检测 4 张人脸。
- 478 个 landmark(特征点): 追踪 468 个面部 keypoint(关键点)(眼睛、鼻子、嘴巴、下巴等),以及 10 个专门用于虹膜的 keypoint。
- 读取坐标: 获取 Scratch Stage(舞台)上任意面部 landmark 的 X/Y 位置。
- 测量: 计算面部 landmark 之间的角度和距离。
- 更改摄像头预览: 显示、隐藏或翻转实时摄像头画面,以适应你的使用方式。
- 选择输入源: 可以分析实时摄像头画面,也可以直接分析 Scratch Stage 图像。
✨ 主要特点 #
- 支持多人脸追踪(1–4 张人脸)。
- 为常用面部区域提供简单易用的下拉菜单。
- 可调整“classify”检测间隔,让运行更加流畅。
- 支持摄像头预览、透明度和设备选择控制。
- 完全在浏览器中运行 — 安全且保护隐私。.
🚀 如何使用 #
- 前往: pishi.ai/play
- 打开扩展程序部分。
- 选择 FaceMesh 扩展。
- 如果浏览器提示,请允许访问摄像头,并确认视频预览已经出现。
- 如果没有检测到摄像头,输入源会自动切换到 Stage 图像。
- 扩展成功加载后,会自动启动无延迟的连续人脸检测。
- 现在,你可以使用位置或测量积木,让 sprite(角色)根据你的脸做出反应——移动、微笑、眨眼或倾斜头部,就能控制你的项目!
提示
- 良好的光线可以帮助 model(模型)更准确地检测你的脸。
- 当画面中出现多张人脸时,请使用 person no: 1–4 选择要追踪的人脸。
- 在课堂环境或较旧的设备上,建议从 100–250 ms 的检测间隔开始,以获得更流畅的运行效果。
🧱 积木和函数 #
📍 位置与数量 #
返回某个面部 landmark 在 Stage 上的 X 或 Y 位置。
KEYPOINT_MENU_ITEM:从下拉列表中选择(眼睛、鼻子、嘴唇等)。
KEYPOINT_NUMBER:输入 0–477 之间的 keypoint 索引。
点击下方图片可查看完整尺寸的 landmark 编号图:
PERSON_NUMBER:选择要追踪哪一张人脸(1–4)。“1” = 第一张检测到的人脸。
如果没有检测到人脸,则返回空值。
返回当前检测到的人脸数量(0–4)。
📏 测量 #
返回同一张人脸上两个 landmark 之间的角度(以度为单位—非常适合检测头部倾斜或点头动作。
返回两个 landmark 之间以 Stage 像素为单位的距离 — 非常适合检测张嘴或眨眼。
选择在人脸或 landmark 未找到时,坐标积木应该返回什么内容。
RETURN_TYPE:可以保留最后一次找到的坐标,也可以返回空值。
注意:
Default keypoints (默认关键点): 454 (左脸颊)和 234 (右脸颊)
坐标以 Stage 中心为原点(X ≈ −240…240, Y ≈ −180…180).
当视频被镜像时,X 坐标值也会翻转,以与你在屏幕上看到的方向保持一致。
⚙️ 检测控制 #
- 分类 [INTERVAL] - 选择检测运行的频率:
- 每次运行此积木时检测一次
- 连续检测,无延迟
- 连续检测,每隔 50–2500 ms 运行一次
- 将分类 [ON_OFF] - 开始或停止连续检测。
- 分类间隔 - 返回当前检测间隔,单位为毫秒。
- 连续分类 - 返回连续检测当前是“on”还是“off”。
- 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
- 输入图像 - 返回当前正在使用的输入源。
🎥 视频控制 #
- 将视频 [off/on/on-flipped]
- on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
- on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
- off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
- 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
- 0:完全可见(不透明图像)
- 100:完全透明(不可见,但仍在运行)
- 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。
- 显示检测框 [开启/关闭]打开或关闭检测框显示。 打开后,每个检测到的物体周围都会显示一个方框,让你可以看到模型正在跟踪哪些物体。 这对于测试摄像头、检查模型的识别效果以及实时调试项目都很有帮助。
😊 常用 keypoint(实用编号) #
以下是常见面部区域的快捷 keypoint。你也可以手动输入 0–477 之间的任意索引。
这些编号与 MediaPipe FaceMesh 使用的 landmark 索引一致。
🎓 教育用途 #
- 通过视觉方式探索 AI 和计算机视觉概念 —了解计算机如何识别和追踪人脸。
- 将头部或眼睛的移动与 Stage 上 sprite 的位置关联起来,帮助学习坐标系统。
- 运用数学和几何知识测量角度、距离和面部对称性。
- 创建能够响应表情或动作的互动艺术项目或无障碍辅助项目。
🎮 示例项目 #
- 会说话的角色: 测量嘴唇之间的距离,让嘴巴产生动画效果或触发语音。
- 头部倾斜控制器: 向左或向右倾斜头部,控制 sprite 或小汽车的方向。
- 眨眼跳跃: 检测眼睑闭合,让角色跳起来——这是一个有趣的免手控制方式!
- 人脸计数游戏: 只有检测到人脸时才开始游戏——如果同时出现两张人脸,还可以获得额外得分!
- 微笑获胜: 创建一个通过微笑或开心表情获得奖励的游戏。
- Emoji 表情模仿: 模仿屏幕上显示的 Emoji 表情来获得分数。
🧩 自己试试看: pishi.ai/play
🔧 提示和故障排除 #
- 没有摄像头?
• 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
• 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
• 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。 - 没有检测结果?
• 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
• 如果检测已经启用,请改善环境光线,并正对摄像头。
• 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
• 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
• 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
• Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
• 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
• 当你使用以下积木时,检测也可能自动重新启动:
将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage]. - 画面方向翻转了?
将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。 - 卡顿或运行缓慢?
使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。 - 出现 WebGL2 警告?
尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。 - 想分析 Stage 而不是摄像头?
选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。
😎 FaceMesh 专用提示 #
- 检测不到人脸? 确保整张脸都清晰可见,并且光线充足—避免窗户等强光从背后照射。
- 追踪不稳定? 尽量保持头部稳定并正对摄像头,以获得最佳准确度。
- 有多张人脸? 使用 person no: 1–4 选择要追踪的人脸。Person 1 通常是画面中最大或距离摄像头最近的人脸。
- landmark 抖动? 增大检测间隔(例如 150–200 ms),可以减少快速波动。
- 需要精确追踪眼睛或虹膜? 使用 keypoint 468–477 获取虹膜中心和边缘—非常适合检测注视方向或眨眼。
- 检测不到张嘴? 测量 keypoint 0(上唇)和 17(下唇)之间的距离—数值越大,表示嘴巴张得越开。
- 检测头部倾斜? 计算 keypoint 454(左脸颊)与 234(右脸颊)之间的角度—与 0° 的偏差表示头部倾斜程度。
- 检测点头(向上/向下)? 测量 keypoint 10(额头)和 152(下巴)之间的垂直距离—正面朝向摄像头时距离最大,向上或向下点头时距离会减小。可用于识别点头动作或追踪上下方向的注意力。
- 检测微笑? 测量两个嘴角之间的距离(keypoint 61 和 291)—距离越宽,越可能是在微笑。
- 在 Stage 模式中使用照片? 请记住,Stage 模式中的 landmark 不会镜像—左右方向对应真实的身体解剖位置。
🔒 隐私与安全 #
- 所有处理都在你的浏览器本地运行。
- 不会将任何图像或视频上传到其他地方。
- 扩展启动时,模型文件会直接从 Pishi.ai 加载,因此不会使用任何第三方模型服务器。
- 使用摄像头之前,请务必先询问老师或家长。
- 你可以随时安全地使用此积木 将视频 [关闭].
🧪 技术信息 #
- Model (模型): MediaPipe Face Mesh
- FrameWork: TensorFlow.js (latest version)—完全在浏览器中运行,并使用 WebGL2 加速
- 人脸: 最多 4 张
- Landmarks: 共 478 个(0–477)
- Coordinates (坐标): 以 Stage 中心为原点的像素坐标(X 向右,Y 向上)
- Mirroring (镜像): “on” = 镜像预览,“on-flipped” = 真实方向视图
- Inputs (输入源): camera 或 Stage canvas
- Default keypoints (默认关键点): 454(左脸颊),234(右脸颊)
- Requires (要求): 为获得最佳性能,需要支持 WebGL2
🔗 相关扩展 #
- 🖐️ 手部姿势 – 检测手部 landmark
- 🕺 身体姿态检测 – 追踪身体姿势
- 🖼️ 图像训练器 – 创建自定义 AI model
- 🏫 Google 可训练机器 – 导入你自己的 TM model
| 功能 | MIT Scratch Face Sensing | Pishi.ai FaceMesh |
|---|---|---|
| 检测类型 | 简单的人脸矩形检测(仅 bounding box,即边界框)。 | 高级 3D 人脸 landmark 检测,包含 478 个 keypoint。 |
| 支持的人脸数量 | 1 张人脸 | 最多可同时检测 4 张人脸 |
| Keypoints / Landmarks | 无(只能获得大致位置和大小)。 | 468 个标准 landmark + 10 个虹膜 keypoint(眼睛、嘴唇、下巴、鼻子等) |
| 表情追踪 | 功能有限——只能检测“有人脸”或“人脸发生移动”。 | 完整的面部几何分析——可以测量微笑、眨眼、张嘴、倾斜、点头或抬眉。 |
| 输入源 | 仅摄像头 | 摄像头或 Stage 图像(可用于分析照片或截图)。在 Stage 模式下,也可以同时对摄像头和 Stage 进行检测,实现组合分析。 |
| 视频控制 | 可以开启视频、开启并翻转视频、关闭视频,以及调整视频预览透明度。 | 除了开启视频、开启并翻转视频、关闭视频和调整视频预览透明度之外,还支持选择摄像头。 |
| 性能调整 | 固定速度。 | 灵活的检测模式——可调整间隔(每 50–2500 ms)、连续检测,或点击积木时才检测。还可以随时开启或关闭检测,以控制性能或用于课堂演示。 |
| 隐私 | 在浏览器本地运行。 | 100% 在本地运行,不上传任何内容——隐私保护级别相同,而且 model 加载完成后甚至可以离线使用。 |
| 教育重点 | 简单介绍人脸检测。 | 深入探索 AI 和计算机视觉概念——包括几何、数学和交互设计。 |
↔ 在手机上左右滑动即可查看完整表格
💡 为什么选择 FaceMesh? #
FaceMesh 能够以更加丰富、更加精确的方式理解人脸。 它不只是检测一张人脸是否存在——还可以告诉你这张脸正在做什么。
- 将面部表情和动作直接连接到 sprite 的行为。
- 测量角度、距离和位置,用于 STEM 和 AI 课程。
- 完全在 Scratch 中创建基于动作控制的游戏,或能够响应情绪的角色。
- 学习真正的计算机视觉概念,并进一步理解 MediaPipe 等专业 AI framework(框架)。
简单来说:
MIT 的 Face Sensing 非常适合用简单、有趣的方式入门。
Pishi.ai FaceMesh 则适合希望体验真正 AI 表情追踪功能的创作者— 依然简单易用,但功能强大得多。
