查看类别

人脸感应—在 Scratch 中进行简单的人脸检测

😊Face Sensing—在 Scratch 中进行简单的人脸检测 #

Face Sensing 扩展为 Scratch 带来了简单易用的人脸检测功能。
它可以让角色对人脸的位置、倾斜角度和大小做出反应—所有处理都在浏览器中实时完成,无需进行任何设置。
非常适合初学者和快速制作互动项目。 🎭


🌟 概述 #

  • 检测 1 张人脸: 简单的单人脸检测,让项目更加简洁。
  • 8 个关键点: 追踪重要的面部特征(眼睛、鼻子、嘴巴、耳朵等)。
  • 控制角色: 让角色移动到面部部位、跟随头部倾斜,或根据人脸大小改变尺寸。
  • 人脸事件: 在人脸被检测到、发生倾斜,或角色碰到面部特征时触发动作。
  • 简单快速: 轻量级检测,专为课堂使用和快速制作原型而优化。
  • 基于浏览器: 完全在浏览器中运行—无需使用外部服务。

✨ 主要特点 #

  • 使用 8 个重要关键点追踪单张人脸。
  • 提供易于使用的积木,帮助你实现常见的人脸互动。
  • 实时检测向左或向右倾斜。
  • 测量人脸大小,用于制作响应式动画。
  • 完全在浏览器中运行 — 安全且保护隐私。.
  • 非常适合正在学习 AI 概念的初学者。

🚀 如何使用 #

  1. 前往: pishi.ai/play
  2. 打开扩展程序部分。
  3. 选择 Face Sensing 扩展。
  4. 如果浏览器提示,请允许访问摄像头,并确认视频预览已经出现。
  5. 扩展成功加载后,会以大约每秒 15 帧的速度自动开始人脸检测。
  6. 现在,你可以使用指令积木让角色跟随你的人脸、模仿你的动作,或在你倾斜头部时做出反应!

提示

  • 良好的光线可以帮助 model(模型)更准确地检测你的脸。
  • 正对摄像头可以获得最佳准确度。
  • 该扩展在大多数设备上都能良好运行,包括较旧的电脑和 Chromebook。
  • 尝试将人脸检测与 Scratch 的其他功能结合起来,创作更有趣的项目!

🧱 积木和函数 #

 

📍指令积木 #

前往 [PART|rect]

将角色移动到指定的面部特征位置。
PART:从下拉菜单中选择 nose (鼻子)、mouth (嘴巴)、left eye (左眼)、right eye (右眼)、between eyes (双眼之间)、left ear (左耳)、right ear (右耳) 或 top of head (头顶)。
当你的人脸在屏幕上移动时,角色会跟随该部位移动。

 

指向人脸倾斜的方向

Sets the sprite’s direction to match your face tilt angle.
Perfect for creating mirroring effects or head-controlled steering.

 

将大小设为人脸大小

将角色的方向设置为与人脸倾斜角度一致。
非常适合制作镜像效果或用头部控制方向。


👋事件积木(帽形积木) #

当人脸向 [DIRECTION|rect] 倾斜时

当你的人脸向左或向右倾斜时触发。
DIRECTION:选择“left”或“right”。
倾斜角度必须偏离中心超过 10 度才能触发。

 

当此角色碰到 [PART|rect] 时

当角色碰到指定的面部特征时触发。
PART:选择 8 个面部关键点中的任意一个。
非常适合制作“捕捉面部特征”互动游戏。

 

当检测到人脸时

当摄像头画面中出现人脸时触发。
非常适合用于启动动画或显示欢迎信息。


📊报告积木 #

检测到人脸?

布尔值报告积木:检测到人脸时返回 true,否则返回 false。
可以在条件语句中使用它来控制程序流程。

 

人脸倾斜

报告人脸倾斜角度,单位为度(0–180)。
90 = 正对前方,小于 90 = 向左倾斜,大于 90 = 向右倾斜。

 

人脸大小

报告检测到的人脸高度,单位为像素。
数值越大,表示人脸越靠近摄像头,或者人脸本身越大。


😊可用的面部部位# #

Face Sensing 扩展可以检测 8 个关键面部特征:

  • nose (鼻子) —鼻尖
  • mouth (嘴巴) —嘴巴中心
  • left eye (左眼) —左眼中心
  • right eye (右眼) —右眼中心
  • between eyes (双眼之间) —双眼之间的中点
  • left ear (左耳) —左耳的位置
  • right ear (右耳) —右耳的位置
  • top of head (头顶) —估算的头顶位置(根据眼睛和嘴巴的位置计算)

注意:“left”和“right”是指你看向屏幕时自己的左侧和右侧(镜像画面)。


🎓 教育用途 #

  • AI 入门: 向学生展示计算机如何实时识别和追踪人脸。
  • 坐标系统: 通过将面部部位与角色位置关联起来,教授 X/Y 定位。
  • 事件驱动编程: 练习使用能够响应人脸检测事件的帽形积木。
  • 无障碍项目: 为适合使用其他输入方式的学生制作免手操作控制器。
  • 创意表达: 创作能够对用户的出现和动作做出反应的互动艺术作品。

🎮 示例项目 #

  • 人脸跟随器: 让角色在屏幕上跟随你的鼻子移动—非常适合作为第一个项目!
  • 倾斜赛车: 向左或向右倾斜头部,控制汽车穿过障碍物。
  • 大小镜像: 制作一个角色,让它随着你靠近或远离摄像头而变大或缩小。
  • 人脸启动游戏: 只有检测到人脸时才开始游戏—非常适合多人游戏。
  • 捕捉面部特征: 控制角色并尝试碰到不同的面部部位来得分。
  • 模仿动画: 让角色跟随你的人脸一起倾斜和移动,创造镜像效果。
  • 魔法镜: 将面部部位与造型切换结合起来,创建增强现实效果。

🧩 自己试试看: pishi.ai/play

 


🔧 提示和故障排除 #

 

🎯Face Sensing 专用提示 #

  • 检测不到人脸? 确保你的人脸光线充足,并且完整出现在摄像头画面中。避免坐在明亮的窗户前,让窗户出现在你的身后。
  • 追踪画面抖动? 尽量保持头部相对静止。该扩展内置了平滑处理,但突然移动可能会造成短暂的不稳定。
  • 面部部位的位置不符合预期? 请记住,摄像头画面是镜像的—你的左侧会显示在屏幕右侧。
  • 倾斜事件没有触发? 你需要从中心向左或向右倾斜至少 10 度,才能激活帽形积木。
  • 人脸大小似乎不正确? 人脸大小以屏幕像素为单位进行测量。越靠近摄像头,数值就越大。
  • 扩展加载缓慢? 首次加载时需要下载 AI 模型。由于浏览器会缓存模型,之后使用时会更快。
  • 角色跟随不够流畅? 使用“glide”积木代替立即执行的“go to”指令,可以让移动更加平滑。
  • 摄像头中有多个人? 该扩展只会追踪一张人脸—通常是画面中最大或最靠近中心的人脸。

🔒 隐私与安全 #

  • 所有人脸感应处理都在你的浏览器本地运行。
  • 不会上传或存储任何图像或视频。
  • 该扩展只检测简单的人脸动作,不会识别人物身份。
  • 使用摄像头前,请先征得老师或家长的同意。
  • 你可以随时使用其他基于摄像头的扩展(例如 Video Sensing 或 FaceMesh)关闭摄像头。

🧪 技术信息 #

  • Model (模型): MediaPipe Face Detector
  • Framework (框架): TensorFlow.js 与 @tensorflow-models/face-detection—完全在浏览器中运行
  • 人脸: 最多 1 张人脸
  • 关键点: 8 个面部 landmark (特征点)(鼻子、嘴巴、眼睛、耳朵、双眼之间、头顶)
  • 检测速率: 每秒约 15 帧(根据系统性能自动调整)
  • 平滑处理: 内置 5 帧平滑处理,用于避免误报
  • 倾斜阈值: 偏离中心 10 度
  • Coordinates (坐标): 以 Stage (舞台) 中心为原点的像素坐标(X 向右,Y 向上)
  • 视频格式: 480×360 分析分辨率
  • Requires (要求): 支持 WebGL 并已获得摄像头权限的现代浏览器

🔗 相关扩展 #

  • 😎 FaceMesh —使用高级 478 点面部 landmark 检测,详细追踪面部表情
  • 🖐️ 手部姿势 —检测并追踪手部位置和手势
  • 🕺 身体姿态检测 —全身姿态检测与追踪
  • 🏫 Google 可训练机器 —训练并使用自定义 AI 模型
  • 🖼️ Image Trainer —构建你自己的图像识别模型

功能 MIT Scratch Face Sensing Pishi.ai FaceMesh
检测类型 简单的人脸矩形检测(仅 bounding box,即边界框)。 高级 3D 人脸 landmark 检测,包含 478 个 keypoint。
支持的人脸数量 1 张人脸 最多可同时检测 4 张人脸
Keypoints / Landmarks 无(只能获得大致位置和大小)。 468 个标准 landmark + 10 个虹膜 keypoint(眼睛、嘴唇、下巴、鼻子等)
表情追踪 功能有限——只能检测“有人脸”或“人脸发生移动”。 完整的面部几何分析——可以测量微笑、眨眼、张嘴、倾斜、点头或抬眉。
输入源 仅摄像头 摄像头或 Stage 图像(可用于分析照片或截图)。在 Stage 模式下,也可以同时对摄像头和 Stage 进行检测,实现组合分析。
视频控制 可以开启视频、开启并翻转视频、关闭视频,以及调整视频预览透明度。 除了开启视频、开启并翻转视频、关闭视频和调整视频预览透明度之外,还支持选择摄像头。
性能调整 固定速度。 灵活的检测模式——可调整间隔(每 50–2500 ms)、连续检测,或点击积木时才检测。还可以随时开启或关闭检测,以控制性能或用于课堂演示。
隐私 在浏览器本地运行。 100% 在本地运行,不上传任何内容——隐私保护级别相同,而且 model 加载完成后甚至可以离线使用。
教育重点 简单介绍人脸检测。 深入探索 AI 和计算机视觉概念——包括几何、数学和交互设计。

↔ 在手机上左右滑动即可查看完整表格

💡 何时选择 Face Sensing #

如果你想要简单、快速地检测人脸,而不想处理复杂的功能,那么 Face Sensing 是理想的选择。

  • AI 入门学习: 简单易用的积木非常适合初学者和课堂教学。
  • 快速原型开发: 可以快速搭建项目,测试由人脸控制的交互创意。
  • 基础交互: 内置人脸跟踪、根据头部倾斜做出反应,以及基于人脸大小的特效等功能。
  • 较旧的设备: 轻量级的人脸检测能够流畅运行,即使在 Chromebook 和较旧的电脑上也能使用。
  • 简单项目: 如果不需要精确追踪面部关键点,Face Sensing 会更加快速、简单。

简单来说:
Face Sensing 非常适合简单、易上手的项目,以及学习人脸检测的基础知识。
而 FaceMesh 则适合需要精确追踪面部关键点和进行高级面部表情分析的创作者。


📚 了解更多 #


滚动至顶部