😊Face Sensing—在 Scratch 中进行简单的人脸检测 #
Face Sensing 扩展为 Scratch 带来了简单易用的人脸检测功能。
它可以让角色对人脸的位置、倾斜角度和大小做出反应—所有处理都在浏览器中实时完成,无需进行任何设置。
非常适合初学者和快速制作互动项目。 🎭
🌟 概述 #
- 检测 1 张人脸: 简单的单人脸检测,让项目更加简洁。
- 8 个关键点: 追踪重要的面部特征(眼睛、鼻子、嘴巴、耳朵等)。
- 控制角色: 让角色移动到面部部位、跟随头部倾斜,或根据人脸大小改变尺寸。
- 人脸事件: 在人脸被检测到、发生倾斜,或角色碰到面部特征时触发动作。
- 简单快速: 轻量级检测,专为课堂使用和快速制作原型而优化。
- 基于浏览器: 完全在浏览器中运行—无需使用外部服务。
✨ 主要特点 #
- 使用 8 个重要关键点追踪单张人脸。
- 提供易于使用的积木,帮助你实现常见的人脸互动。
- 实时检测向左或向右倾斜。
- 测量人脸大小,用于制作响应式动画。
- 完全在浏览器中运行 — 安全且保护隐私。.
- 非常适合正在学习 AI 概念的初学者。
🚀 如何使用 #
- 前往: pishi.ai/play
- 打开扩展程序部分。
- 选择 Face Sensing 扩展。
- 如果浏览器提示,请允许访问摄像头,并确认视频预览已经出现。
- 扩展成功加载后,会以大约每秒 15 帧的速度自动开始人脸检测。
- 现在,你可以使用指令积木让角色跟随你的人脸、模仿你的动作,或在你倾斜头部时做出反应!
提示
- 良好的光线可以帮助 model(模型)更准确地检测你的脸。
- 正对摄像头可以获得最佳准确度。
- 该扩展在大多数设备上都能良好运行,包括较旧的电脑和 Chromebook。
- 尝试将人脸检测与 Scratch 的其他功能结合起来,创作更有趣的项目!
🧱 积木和函数 #
📍指令积木 #
将角色移动到指定的面部特征位置。
PART:从下拉菜单中选择 nose (鼻子)、mouth (嘴巴)、left eye (左眼)、right eye (右眼)、between eyes (双眼之间)、left ear (左耳)、right ear (右耳) 或 top of head (头顶)。
当你的人脸在屏幕上移动时,角色会跟随该部位移动。
Sets the sprite’s direction to match your face tilt angle.
Perfect for creating mirroring effects or head-controlled steering.
将角色的方向设置为与人脸倾斜角度一致。
非常适合制作镜像效果或用头部控制方向。
👋事件积木(帽形积木) #
当你的人脸向左或向右倾斜时触发。
DIRECTION:选择“left”或“right”。
倾斜角度必须偏离中心超过 10 度才能触发。
当角色碰到指定的面部特征时触发。
PART:选择 8 个面部关键点中的任意一个。
非常适合制作“捕捉面部特征”互动游戏。
当摄像头画面中出现人脸时触发。
非常适合用于启动动画或显示欢迎信息。
📊报告积木 #
布尔值报告积木:检测到人脸时返回 true,否则返回 false。
可以在条件语句中使用它来控制程序流程。
报告人脸倾斜角度,单位为度(0–180)。
90 = 正对前方,小于 90 = 向左倾斜,大于 90 = 向右倾斜。
报告检测到的人脸高度,单位为像素。
数值越大,表示人脸越靠近摄像头,或者人脸本身越大。
😊可用的面部部位# #
Face Sensing 扩展可以检测 8 个关键面部特征:
- nose (鼻子) —鼻尖
- mouth (嘴巴) —嘴巴中心
- left eye (左眼) —左眼中心
- right eye (右眼) —右眼中心
- between eyes (双眼之间) —双眼之间的中点
- left ear (左耳) —左耳的位置
- right ear (右耳) —右耳的位置
- top of head (头顶) —估算的头顶位置(根据眼睛和嘴巴的位置计算)
注意:“left”和“right”是指你看向屏幕时自己的左侧和右侧(镜像画面)。
🎓 教育用途 #
- AI 入门: 向学生展示计算机如何实时识别和追踪人脸。
- 坐标系统: 通过将面部部位与角色位置关联起来,教授 X/Y 定位。
- 事件驱动编程: 练习使用能够响应人脸检测事件的帽形积木。
- 无障碍项目: 为适合使用其他输入方式的学生制作免手操作控制器。
- 创意表达: 创作能够对用户的出现和动作做出反应的互动艺术作品。
🎮 示例项目 #
- 人脸跟随器: 让角色在屏幕上跟随你的鼻子移动—非常适合作为第一个项目!
- 倾斜赛车: 向左或向右倾斜头部,控制汽车穿过障碍物。
- 大小镜像: 制作一个角色,让它随着你靠近或远离摄像头而变大或缩小。
- 人脸启动游戏: 只有检测到人脸时才开始游戏—非常适合多人游戏。
- 捕捉面部特征: 控制角色并尝试碰到不同的面部部位来得分。
- 模仿动画: 让角色跟随你的人脸一起倾斜和移动,创造镜像效果。
- 魔法镜: 将面部部位与造型切换结合起来,创建增强现实效果。
🧩 自己试试看: pishi.ai/play
🔧 提示和故障排除 #
🎯Face Sensing 专用提示 #
- 检测不到人脸? 确保你的人脸光线充足,并且完整出现在摄像头画面中。避免坐在明亮的窗户前,让窗户出现在你的身后。
- 追踪画面抖动? 尽量保持头部相对静止。该扩展内置了平滑处理,但突然移动可能会造成短暂的不稳定。
- 面部部位的位置不符合预期? 请记住,摄像头画面是镜像的—你的左侧会显示在屏幕右侧。
- 倾斜事件没有触发? 你需要从中心向左或向右倾斜至少 10 度,才能激活帽形积木。
- 人脸大小似乎不正确? 人脸大小以屏幕像素为单位进行测量。越靠近摄像头,数值就越大。
- 扩展加载缓慢? 首次加载时需要下载 AI 模型。由于浏览器会缓存模型,之后使用时会更快。
- 角色跟随不够流畅? 使用“glide”积木代替立即执行的“go to”指令,可以让移动更加平滑。
- 摄像头中有多个人? 该扩展只会追踪一张人脸—通常是画面中最大或最靠近中心的人脸。
🔒 隐私与安全 #
- 所有人脸感应处理都在你的浏览器本地运行。
- 不会上传或存储任何图像或视频。
- 该扩展只检测简单的人脸动作,不会识别人物身份。
- 使用摄像头前,请先征得老师或家长的同意。
- 你可以随时使用其他基于摄像头的扩展(例如 Video Sensing 或 FaceMesh)关闭摄像头。
🧪 技术信息 #
- Model (模型): MediaPipe Face Detector
- Framework (框架): TensorFlow.js 与 @tensorflow-models/face-detection—完全在浏览器中运行
- 人脸: 最多 1 张人脸
- 关键点: 8 个面部 landmark (特征点)(鼻子、嘴巴、眼睛、耳朵、双眼之间、头顶)
- 检测速率: 每秒约 15 帧(根据系统性能自动调整)
- 平滑处理: 内置 5 帧平滑处理,用于避免误报
- 倾斜阈值: 偏离中心 10 度
- Coordinates (坐标): 以 Stage (舞台) 中心为原点的像素坐标(X 向右,Y 向上)
- 视频格式: 480×360 分析分辨率
- Requires (要求): 支持 WebGL 并已获得摄像头权限的现代浏览器
🔗 相关扩展 #
- 😎 FaceMesh —使用高级 478 点面部 landmark 检测,详细追踪面部表情
- 🖐️ 手部姿势 —检测并追踪手部位置和手势
- 🕺 身体姿态检测 —全身姿态检测与追踪
- 🏫 Google 可训练机器 —训练并使用自定义 AI 模型
- 🖼️ Image Trainer —构建你自己的图像识别模型
| 功能 | MIT Scratch Face Sensing | Pishi.ai FaceMesh |
|---|---|---|
| 检测类型 | 简单的人脸矩形检测(仅 bounding box,即边界框)。 | 高级 3D 人脸 landmark 检测,包含 478 个 keypoint。 |
| 支持的人脸数量 | 1 张人脸 | 最多可同时检测 4 张人脸 |
| Keypoints / Landmarks | 无(只能获得大致位置和大小)。 | 468 个标准 landmark + 10 个虹膜 keypoint(眼睛、嘴唇、下巴、鼻子等) |
| 表情追踪 | 功能有限——只能检测“有人脸”或“人脸发生移动”。 | 完整的面部几何分析——可以测量微笑、眨眼、张嘴、倾斜、点头或抬眉。 |
| 输入源 | 仅摄像头 | 摄像头或 Stage 图像(可用于分析照片或截图)。在 Stage 模式下,也可以同时对摄像头和 Stage 进行检测,实现组合分析。 |
| 视频控制 | 可以开启视频、开启并翻转视频、关闭视频,以及调整视频预览透明度。 | 除了开启视频、开启并翻转视频、关闭视频和调整视频预览透明度之外,还支持选择摄像头。 |
| 性能调整 | 固定速度。 | 灵活的检测模式——可调整间隔(每 50–2500 ms)、连续检测,或点击积木时才检测。还可以随时开启或关闭检测,以控制性能或用于课堂演示。 |
| 隐私 | 在浏览器本地运行。 | 100% 在本地运行,不上传任何内容——隐私保护级别相同,而且 model 加载完成后甚至可以离线使用。 |
| 教育重点 | 简单介绍人脸检测。 | 深入探索 AI 和计算机视觉概念——包括几何、数学和交互设计。 |
↔ 在手机上左右滑动即可查看完整表格
💡 何时选择 Face Sensing #
如果你想要简单、快速地检测人脸,而不想处理复杂的功能,那么 Face Sensing 是理想的选择。
- AI 入门学习: 简单易用的积木非常适合初学者和课堂教学。
- 快速原型开发: 可以快速搭建项目,测试由人脸控制的交互创意。
- 基础交互: 内置人脸跟踪、根据头部倾斜做出反应,以及基于人脸大小的特效等功能。
- 较旧的设备: 轻量级的人脸检测能够流畅运行,即使在 Chromebook 和较旧的电脑上也能使用。
- 简单项目: 如果不需要精确追踪面部关键点,Face Sensing 会更加快速、简单。
简单来说:
Face Sensing 非常适合简单、易上手的项目,以及学习人脸检测的基础知识。
而 FaceMesh 则适合需要精确追踪面部关键点和进行高级面部表情分析的创作者。
