查看类别

人脸网格 – 在 Scratch 中检测人脸和表情

😎 FaceMesh – 在 Scratch 中检测人脸和表情 #

FaceMesh 扩展将真正由 AI 驱动的人脸追踪功能带入 Scratch。
它可以让你的 Scratch 程序实时响应你的面部表情、头部动作和手势——所有处理都直接在浏览器中完成,无需任何额外设置。
对学生来说足够简单,同时也足够强大,可以用于充满创意的课堂项目。 😊 😊

Pishi points to a tracked face, with features for 478 keypoints, four faces, and expressions.

FaceMesh Extension Sample

 


🌟 概述 #

  • 检测 4 张人脸: 最多可同时检测 4 张人脸。
  • 478 个 landmark(特征点): 追踪 468 个面部 keypoint(关键点)(眼睛、鼻子、嘴巴、下巴等),以及 10 个专门用于虹膜的 keypoint。
  • 读取坐标: 获取 Scratch Stage(舞台)上任意面部 landmark 的 X/Y 位置。
  • 测量: 计算面部 landmark 之间的角度和距离。
  • 更改摄像头预览: 显示、隐藏或翻转实时摄像头画面,以适应你的使用方式。
  • 选择输入源: 可以分析实时摄像头画面,也可以直接分析 Scratch Stage 图像。

✨ 主要特点 #

  • 支持多人脸追踪(1–4 张人脸)。
  • 为常用面部区域提供简单易用的下拉菜单。
  • 可调整“classify”检测间隔,让运行更加流畅。
  • 支持摄像头预览、透明度和设备选择控制。
  • 完全在浏览器中运行 — 安全且保护隐私。.

🚀 如何使用 #

  1. 前往: pishi.ai/play
  2. 打开扩展程序部分。
  3. 选择 FaceMesh 扩展。
  4. 如果浏览器提示,请允许访问摄像头,并确认视频预览已经出现。
  5. 如果没有检测到摄像头,输入源会自动切换到 Stage 图像。
  6. 扩展成功加载后,会自动启动无延迟的连续人脸检测。
  7. 现在,你可以使用位置或测量积木,让 sprite(角色)根据你的脸做出反应——移动、微笑、眨眼或倾斜头部,就能控制你的项目!

提示

  • 良好的光线可以帮助 model(模型)更准确地检测你的脸。
  • 当画面中出现多张人脸时,请使用 person no: 1–4 选择要追踪的人脸。
  • 在课堂环境或较旧的设备上,建议从 100–250 ms 的检测间隔开始,以获得更流畅的运行效果。

🧱 积木和函数 #

 

📍 位置与数量 #

[KEYPOINT_MENU_ITEM] 的 x 坐标,人物编号 [PERSON_NUMBER]
[KEYPOINT_MENU_ITEM] 的 y 坐标,人物编号 [PERSON_NUMBER]
[KEYPOINT_NUMBER|text] 的 x 坐标,人物编号 [PERSON_NUMBER]
[KEYPOINT_NUMBER|text] 的 y 坐标,人物编号 [PERSON_NUMBER]

返回某个面部 landmark 在 Stage 上的 X 或 Y 位置。
KEYPOINT_MENU_ITEM:从下拉列表中选择(眼睛、鼻子、嘴唇等)。
KEYPOINT_NUMBER:输入 0–477 之间的 keypoint 索引。

 

点击下方图片可查看完整尺寸的 landmark 编号图:

Mediapipe face landmarks Thumbnail

 

PERSON_NUMBER:选择要追踪哪一张人脸(1–4)。“1” = 第一张检测到的人脸。
如果没有检测到人脸,则返回空值。

 

人脸数量

返回当前检测到的人脸数量(0–4)。


📏 测量 #

关键点之间的角度: [KEYPOINT_1|text] 和 [KEYPOINT_2|text] 对象号: [PERSON_NUMBER]

返回同一张人脸上两个 landmark 之间的角度(以度为单位—非常适合检测头部倾斜或点头动作。

关键点之间的距离: [KEYPOINT_1|text] 和 [KEYPOINT_2]|text 对象号: [PERSON_NUMBER]

返回两个 landmark 之间以 Stage 像素为单位的距离 — 非常适合检测张嘴或眨眼。

当找不到 x/y 时返回 [RETURN_TYPE]

选择在人脸或 landmark 未找到时,坐标积木应该返回什么内容。
RETURN_TYPE:可以保留最后一次找到的坐标,也可以返回空值。

注意:
Default keypoints (默认关键点): 454 (左脸颊)和 234 (右脸颊)
坐标以 Stage 中心为原点(X ≈ −240…240, Y ≈ −180…180).
当视频被镜像时,X 坐标值也会翻转,以与你在屏幕上看到的方向保持一致。


⚙️ 检测控制 #

  • 分类 [INTERVAL] - 选择检测运行的频率:
    • 每次运行此积木时检测一次
    • 连续检测,无延迟
    • 连续检测,每隔 50–2500 ms 运行一次
  • 将分类 [ON_OFF] - 开始或停止连续检测。
  • 分类间隔 - 返回当前检测间隔,单位为毫秒。
  • 连续分类 - 返回连续检测当前是“on”还是“off”。
  • 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
  • 输入图像 - 返回当前正在使用的输入源。

🎥 视频控制 #

  • 将视频 [off/on/on-flipped]
    • on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
    • on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
    • off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
  • 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
    • 0:完全可见(不透明图像)
    • 100:完全透明(不可见,但仍在运行)
    使用 0–100 之间的值来调整摄像头背景的透明度,让 sprite 能够清晰地显示在摄像头预览上方。
  • 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。
  • 显示检测框 [开启/关闭]
    打开或关闭检测框显示。 打开后,每个检测到的物体周围都会显示一个方框,让你可以看到模型正在跟踪哪些物体。 这对于测试摄像头、检查模型的识别效果以及实时调试项目都很有帮助。


😊 常用 keypoint(实用编号) #

以下是常见面部区域的快捷 keypoint。你也可以手动输入 0–477 之间的任意索引。

1:鼻尖,  10:额头中心,  152:下巴,  473:左眼虹膜中心,  468:右眼虹膜中心,  291 / 61:嘴巴左侧 / 右侧嘴角,  0 / 17:上唇 / 下唇中点,  362 / 263:左眼内侧 / 外侧,  133 / 33:右眼内侧 / 外侧,  159 / 145:右眼上方 / 下方,  386 / 374:左眼上方 / 下方

这些编号与 MediaPipe FaceMesh 使用的 landmark 索引一致。


🎓 教育用途 #

  • 通过视觉方式探索 AI 和计算机视觉概念 —了解计算机如何识别和追踪人脸。
  • 将头部或眼睛的移动与 Stage 上 sprite 的位置关联起来,帮助学习坐标系统。
  • 运用数学和几何知识测量角度、距离和面部对称性。
  • 创建能够响应表情或动作的互动艺术项目或无障碍辅助项目。

🎮 示例项目 #

  • 会说话的角色: 测量嘴唇之间的距离,让嘴巴产生动画效果或触发语音。
  • 头部倾斜控制器: 向左或向右倾斜头部,控制 sprite 或小汽车的方向。
  • 眨眼跳跃: 检测眼睑闭合,让角色跳起来——这是一个有趣的免手控制方式!
  • 人脸计数游戏: 只有检测到人脸时才开始游戏——如果同时出现两张人脸,还可以获得额外得分!
  • 微笑获胜: 创建一个通过微笑或开心表情获得奖励的游戏。
  • Emoji 表情模仿: 模仿屏幕上显示的 Emoji 表情来获得分数。

✨ 试试一个项目 #

准备好把你学到的知识应用到实践中了吗?
青蛙大战甲虫:用你的脸控制 Scratch 游戏
使用人脸网格,通过你的面部动作控制青蛙并捕捉甲虫。
查看项目

 

🧩 自己试试看: pishi.ai/play

 


🔧 提示和故障排除 #

  • 没有摄像头?
    • 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
    • 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
    • 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。
  • 没有检测结果?
    • 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
    • 如果检测已经启用,请改善环境光线,并正对摄像头。
    • 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
    • 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
    • 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
    • Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
    • 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
    • 当你使用以下积木时,检测也可能自动重新启动:
    将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage].
  • 画面方向翻转了?
    将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。
  • 卡顿或运行缓慢?
    使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。
  • 出现 WebGL2 警告?
    尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。
  • 想分析 Stage 而不是摄像头?
    选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。
    注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。

😎 FaceMesh 专用提示 #

  • 检测不到人脸? 确保整张脸都清晰可见,并且光线充足—避免窗户等强光从背后照射。
  • 追踪不稳定? 尽量保持头部稳定并正对摄像头,以获得最佳准确度。
  • 有多张人脸? 使用 person no: 1–4 选择要追踪的人脸。Person 1 通常是画面中最大或距离摄像头最近的人脸。
  • landmark 抖动? 增大检测间隔(例如 150–200 ms),可以减少快速波动。
  • 需要精确追踪眼睛或虹膜? 使用 keypoint 468–477 获取虹膜中心和边缘—非常适合检测注视方向或眨眼。
  • 检测不到张嘴? 测量 keypoint 0(上唇)和 17(下唇)之间的距离—数值越大,表示嘴巴张得越开。
  • 检测头部倾斜? 计算 keypoint 454(左脸颊)与 234(右脸颊)之间的角度—与 0° 的偏差表示头部倾斜程度。
  • 检测点头(向上/向下)? 测量 keypoint 10(额头)和 152(下巴)之间的垂直距离—正面朝向摄像头时距离最大,向上或向下点头时距离会减小。可用于识别点头动作或追踪上下方向的注意力。
  • 检测微笑? 测量两个嘴角之间的距离(keypoint 61 和 291)—距离越宽,越可能是在微笑。
  • 在 Stage 模式中使用照片? 请记住,Stage 模式中的 landmark 不会镜像—左右方向对应真实的身体解剖位置。

🔒 隐私与安全 #

  • 所有处理都在你的浏览器本地运行。
  • 不会将任何图像或视频上传到其他地方。
  • 扩展启动时,模型文件会直接从 Pishi.ai 加载,因此不会使用任何第三方模型服务器。
  • 使用摄像头之前,请务必先询问老师或家长。
  • 你可以随时安全地使用此积木 将视频 [关闭].

🧪 技术信息 #

  • Model (模型): MediaPipe Face Mesh
  • FrameWork: TensorFlow.js (latest version)—完全在浏览器中运行,并使用 WebGL2 加速
  • 人脸: 最多 4 张
  • Landmarks: 共 478 个(0–477)
  • Coordinates (坐标): 以 Stage 中心为原点的像素坐标(X 向右,Y 向上)
  • Mirroring (镜像): “on” = 镜像预览,“on-flipped” = 真实方向视图
  • Inputs (输入源): camera 或 Stage canvas
  • Default keypoints (默认关键点): 454(左脸颊),234(右脸颊)
  • Requires (要求): 为获得最佳性能,需要支持 WebGL2

🔗 相关扩展 #

  • 🖐️ 手部姿势 – 检测手部 landmark
  • 🕺 身体姿态检测 – 追踪身体姿势
  • 🖼️ 图像训练器 – 创建自定义 AI model
  • 🏫 Google 可训练机器 – 导入你自己的 TM model

功能 MIT Scratch Face Sensing Pishi.ai FaceMesh
检测类型 简单的人脸矩形检测(仅 bounding box,即边界框)。 高级 3D 人脸 landmark 检测,包含 478 个 keypoint。
支持的人脸数量 1 张人脸 最多可同时检测 4 张人脸
Keypoints / Landmarks 无(只能获得大致位置和大小)。 468 个标准 landmark + 10 个虹膜 keypoint(眼睛、嘴唇、下巴、鼻子等)
表情追踪 功能有限——只能检测“有人脸”或“人脸发生移动”。 完整的面部几何分析——可以测量微笑、眨眼、张嘴、倾斜、点头或抬眉。
输入源 仅摄像头 摄像头或 Stage 图像(可用于分析照片或截图)。在 Stage 模式下,也可以同时对摄像头和 Stage 进行检测,实现组合分析。
视频控制 可以开启视频、开启并翻转视频、关闭视频,以及调整视频预览透明度。 除了开启视频、开启并翻转视频、关闭视频和调整视频预览透明度之外,还支持选择摄像头。
性能调整 固定速度。 灵活的检测模式——可调整间隔(每 50–2500 ms)、连续检测,或点击积木时才检测。还可以随时开启或关闭检测,以控制性能或用于课堂演示。
隐私 在浏览器本地运行。 100% 在本地运行,不上传任何内容——隐私保护级别相同,而且 model 加载完成后甚至可以离线使用。
教育重点 简单介绍人脸检测。 深入探索 AI 和计算机视觉概念——包括几何、数学和交互设计。

↔ 在手机上左右滑动即可查看完整表格

💡 为什么选择 FaceMesh? #

FaceMesh 能够以更加丰富、更加精确的方式理解人脸。 它不只是检测一张人脸是否存在——还可以告诉你这张脸正在做什么。

  • 将面部表情和动作直接连接到 sprite 的行为。
  • 测量角度、距离和位置,用于 STEM 和 AI 课程。
  • 完全在 Scratch 中创建基于动作控制的游戏,或能够响应情绪的角色。
  • 学习真正的计算机视觉概念,并进一步理解 MediaPipe 等专业 AI framework(框架)。

简单来说:
MIT 的 Face Sensing 非常适合用简单、有趣的方式入门。
Pishi.ai FaceMesh 则适合希望体验真正 AI 表情追踪功能的创作者— 依然简单易用,但功能强大得多。


📚 了解更多 #


滚动至顶部