🖼️ Image Trainer — 在 Scratch 中构建自定义 AI 模型 #
Image Trainer 扩展将真正的机器学习带入 Scratch。
它可以让你训练自己的 AI 模型来识别图像—玩具、人脸、手势、物体,或摄像头能够看到的任何东西—所有操作都能实时完成,直接在浏览器中运行,无需编写代码或进行额外设置。
对学生来说足够简单,同时也足够强大,可以用于充满创意的课堂项目。 😊 ✨

🌟 概述 #
- 训练自定义模型: 使用摄像头或 Stage (舞台) 图像,教 AI 识别最多 20 个不同的图像 label (标签)。
- 无需预先训练: 从零开始—只需展示示例,AI 就会立即学习。
- 实时分类: 当模型识别看到的内容时,可以立即获得结果。
- 保存与加载: 下载已训练的模型数据,之后再上传,即可继续你的项目。
- 更改摄像头预览: 显示、隐藏或翻转实时摄像头画面,以适应你的使用方式。
- 选择输入源: 可以使用实时摄像头或直接使用 Scratch Stage 图像进行训练和分类。
✨ 主要特点 #
- 最多支持 20 个可自定义训练的 label(编号 1–20),默认名称与对应编号相同。
- 使用 MobileNet v2 进行特征提取和 transfer learning (迁移学习),实现快速训练。
- 使用 K-Nearest Neighbors (KNN,K 近邻) 分类,实现快速高效的识别。
- 可调节 “classify” 检测间隔,以获得流畅的运行效果。
- 支持摄像头预览、透明度和设备选择控制。
- Download and upload learning data to save and restore your trained models.
- 完全在浏览器中运行 — 安全且保护隐私。.
🚀 如何使用 #
- 前往: pishi.ai/play
- 打开扩展程序部分。
- Select the Image Trainer extension.
- 如果浏览器提示,请允许访问摄像头,并确认视频预览已经出现。
- 如果没有检测到摄像头,输入源会自动切换到 Stage 图像。
- 训练阶段:
- 将一个物体放在摄像头前,或者摆出一个姿势。
- 反复运行 train label [1] 积木(5–20 次),教 AI 认识 label 1 (标签 1) 的样子。
- 使用不同的物体或姿势,对 label 2、3、4 等重复相同操作。
- 第一次训练可能需要一点时间—请耐心等待!之后的训练会立即完成。
- 分类阶段: 训练完成后,AI 会持续分析摄像头画面,并通过 detected label 积木返回当前识别到的 label。
- 使用 when label [1] detected 帽子积木,在识别到特定 label 时触发 sprite (角色) 的动作。
提示
- 从多个角度和距离为每个 label 提供训练示例,以提高准确度。
- 在训练和测试时保持相近的光照条件。
- 每个 label 至少训练 5–10 个示例,以获得更可靠的识别效果。
- 在课堂环境或较旧的设备上,建议从 100–250 ms 的检测间隔开始,以获得更流畅的运行效果。
🧱 积木和函数 #
🎓 训练 #
捕获当前摄像头或 Stage 图像,并将其作为所选 label 的一个训练示例。
LABEL:从 1 到 20 中选择一个 label 编号。
工作原理:
- 在展示你希望 AI 学习的物体或姿势时,多次运行这个积木(5–20 次)。
- 你提供的示例越多,AI 就越容易准确识别该 label。
- 每运行一次,就会添加一个训练样本—你会看到训练数量随之增加。
- 第一次训练时,model (模型) 需要进行初始化,因此可能需要一点时间—之后的训练会立即完成。
返回指定 label 已经收集了多少个训练示例。
可以使用它追踪训练进度,或者将训练数量显示在屏幕上。
为数字 label 设置一个名称。默认名称为 label 的编号;将名称设置为空即可恢复默认名称。Label 菜单仍然会显示数字 label 值。
返回某个 label 的名称。默认名称为该 label 的编号。
🧮 检测 #
返回 AI 当前在摄像头或 Stage 图像中识别出的 label 编号(1–20)。
如果没有以足够的 confidence (置信度) 检测到任何 label,或者尚未进行训练,则返回空值。
例如: 如果 AI 看到了你训练为 label 3 的物体,这个积木会返回 “3”。
返回 AI 当前在摄像头或 Stage 图像中识别出的 label 名称(文本)。
如果没有以足够的 confidence (置信度) 检测到任何 label,或者尚未进行训练,则返回空值。
例如: 如果 label 3 被命名为 “red toy”,并且 AI 识别到了它,这个积木会返回 “red toy”。
当任意已训练的 label 以高于最低阈值的 confidence 被检测到时触发的帽子积木。
非常适合在识别到任何图像时触发通用操作。
当指定 label 以高于最低阈值的 confidence 被检测到时触发的帽子积木。
LABEL:从 1 到 20 中选择一个 label 编号。
示例用法:
- 将 label 1 训练为 “red toy” → 当检测到 label 1 时,让 sprite 说 “I see red!”
- 将 label 2 训练为 “thumbs up” → 当检测到 label 2 时,播放胜利音效。
- 将 label 3 训练为 “hand wave” → 当检测到 label 3 时,让 sprite 挥手回应。
注意: 帽子积木有一个短暂的超时时间(100ms),用于防止在短时间内被连续多次触发。
🎯 置信度 #
设置一个 label 被报告为已检测到所需的最低 confidence 分数(0–1)。
如果 AI 的 confidence 低于这个阈值,该检测结果会被忽略—这意味着 detected label 积木会返回空值,帽子积木也不会触发。
0.7–0.9 — 将其提高到 0.7-0.9,可以获得更严格、更准确的检测结果(减少误识别)。
0.3–0.5 — 将其降低到 0.3-0.5,可以让检测更宽松(可能增加误识别,但也能捕捉更多接近阈值的情况)。
返回当前的置信度阈值—可以用于将其显示在屏幕上,或在项目运行过程中动态调整。
提示: 如果项目中出现太多误识别,请提高 confidence。如果正确的目标经常检测不到,请降低 confidence。
🗑️ 重置与管理 #
清除指定 label 的所有训练数据。
LABEL:从 1 到 20 中选择一个 label 编号。
系统会显示确认提示,以防止误删。
当你想要从头重新训练某个 label 时,可以使用这个积木。
清除所有 label(1–20)的全部训练数据。
系统会显示确认提示,以防止误删。
当你想开始一次完全全新的训练时,可以使用这个积木。
警告: 这会删除你所有的训练成果!如果你想保存这些数据,请务必先下载 learning data (学习数据)。
💾 保存与加载 #
将训练好的 model 数据以 JSON 文件的形式下载到你的电脑。
文件名的格式为: imagetrainer-[timestamp].json
可以用它来:
- 在关闭项目之前保存你的训练成果。
- 与同学或朋友分享训练好的 model。
- 备份你的训练进度。
打开文件选择器,加载之前保存的 learning data(JSON 文件)。
加载完成后,AI 会立即识别之前训练过的 label,无需重新训练。
可以用它来:
- 从上次停止的地方继续项目。
- 加载其他人训练好的 model。
- 在不同项目中切换使用不同的已训练 model。
注意: 只能上传通过 Image Trainer 扩展下载的 JSON 文件。
⚙️ 检测控制 #
- 分类 [INTERVAL] - 选择检测运行的频率:
- 每次运行此积木时检测一次
- 连续检测,无延迟
- 连续检测,每隔 50–2500 ms 运行一次
- 将分类 [ON_OFF] - 开始或停止连续检测。
- 分类间隔 - 返回当前检测间隔,单位为毫秒。
- 连续分类 - 返回连续检测当前是“on”还是“off”。
- 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
- 输入图像 - 返回当前正在使用的输入源。
🎥 视频控制 #
- 将视频 [off/on/on-flipped]
- on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
- on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
- off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
- 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
- 0:完全可见(不透明图像)
- 100:完全透明(不可见,但仍在运行)
- 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。
🎓 教育用途 #
- 学习机器学习概念: 学生可以了解 AI model 是如何通过示例而不是规则进行训练的。
- 学生可以了解 AI model 是如何通过示例而不是规则进行训练的。
- 探索 transfer learning (迁移学习)—了解预训练 model(MobileNet)如何适应新的任务。
- 通过动手实验了解 overfitting (过拟合)、underfitting (欠拟合) 和 model 准确度。
- 创建能够对现实世界中的物体、手势或人脸做出反应的互动游戏和工具。
- 创建更方便的输入方式—通过手势、面部表情或自定义动作来控制项目。
🎮 示例项目 #
- 石头剪刀布 AI: 将 label 1、2、3 分别训练为石头、剪刀、布—然后和电脑对战!
- 颜色分类器: 为不同颜色的物体训练 label—让 sprite 对每种颜色做出不同反应。
- 自定义手势控制器: 训练不同手势(竖起大拇指、V 手势、握拳),用它们控制 sprite 移动。
- 宠物识别: 为不同的宠物或玩具训练 label—让 sprite 用不同的方式向它们打招呼。
- 智能课堂工具: 为 “hand raised”、“question”、“ready” 训练 label—自动触发课堂中的不同反应。
- 表情检测器: 为开心、难过、惊讶的人脸训练 label—创建一个能够对表情做出反应的角色。
- 寻找物品游戏: 为隐藏物品训练 label—创建一个使用 AI 验证结果的寻找游戏。
✨ 试试一个项目 #
准备好把你学到的知识应用到实践中了吗?
在 Scratch 中使用图像训练器训练你自己的 AI
使用图像训练器教会 Pishi 识别你自己的视觉指令,然后用它们控制游戏。
查看项目
🧩 自己试试看: pishi.ai/play
🔧 提示和故障排除 #
- 没有摄像头?
• 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
• 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
• 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。 - 没有检测结果?
• 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
• 如果检测已经启用,请改善环境光线,并正对摄像头。
• 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
• 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
• 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
• Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
• 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
• 当你使用以下积木时,检测也可能自动重新启动:
将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage]. - 画面方向翻转了?
将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。 - 卡顿或运行缓慢?
使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。 - 出现 WebGL2 警告?
尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。 - 想分析 Stage 而不是摄像头?
选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。
🖼️ Image Trainer 专用提示 #
- 检测不够准确? 从不同角度训练更多示例(建议每个 label 使用 10–20 个示例)。
- 出现误识别? 提高 minimum confidence (最低置信度) 阈值(可以尝试 0.7–0.8)。
- 检测不到目标? 降低 confidence 阈值(可以尝试 0.4–0.5),或者训练更多不同类型的示例。
- 第一次训练很慢? 这是正常现象—MobileNet 会在第一次训练时加载。之后的训练会立即完成。
- 想重新开始? 使用 "reset all labels"—但如果想保留当前数据,请先下载数据!
- 光线很重要: 为了获得最佳效果,请尽量在相似的光照条件下进行训练和测试。
- 背景太杂乱? 训练时使用简单干净的背景,可以获得更清晰的识别效果。
🔒 隐私与安全 #
- 所有处理都在你的浏览器本地运行。
- 不会将任何图像或视频上传到其他地方。
- 扩展启动时,模型文件会直接从 Pishi.ai 加载,因此不会使用任何第三方模型服务器。
- 使用摄像头之前,请务必先询问老师或家长。
- 你可以随时安全地使用此积木 将视频 [关闭].
Image Trainer 隐私说明:
- 你的训练数据会保留在自己的电脑上—不会上传到任何服务器。
- 下载的 learning data 会以 JSON 文件的形式保存在本地—由你决定如何保存或分享它。
- 不会将任何个人图像发送到其他地方—所有训练和分类都在你的浏览器中完成。
🧪 技术信息 #
- Base Model (基础模型): MobileNet v2
- Framework (框架): TensorFlow.js + KNN Classifier—完全在浏览器中运行,并使用 WebGL2 加速
- Technique (技术): Transfer learning + K-Nearest Neighbors classification
- Labels (标签): 20 个可训练 label(1–20),支持自定义名称
- Training (训练): 第一次初始化完成后即可立即训练—无需服务器
- Inputs (输入源): camera 或 Stage canvas
- Default confidence (默认置信度): 0.6(可在 0–1 之间调整)
- Model loading (模型加载): 本地文件或随扩展一起提供
- Data format (数据格式): JSON
- Requires (要求): 为获得最佳性能,需要支持 WebGL2
🔗 相关扩展 #
- 🏫 Google 可训练机器 — 从 Teachable Machine 导入预训练 model
- 😎 人脸网格 — 检测面部 landmark
- 🖐️ 手部姿势 – 检测手部 landmark
- 🕺 身体姿态检测 – 追踪身体姿势
🖼️ 对比:Image Trainer 与 Google Teachable Machine 扩展 #
这两个扩展都可以让你在 Scratch 中使用自己训练的 AI model—但它们训练 model 的位置和方式有所不同。
| 功能 | 图像训练器 | Google 可训练机器 |
|---|---|---|
| 训练位置 | 直接在 Scratch 内训练—即时完成并与项目完全集成。 | 在 Teachable Machine 中训练,导出 model,然后获取一个可在 Scratch 扩展中使用的分享链接。 |
| 模型类型 | 仅支持图像分类。 | 支持图像、声音和姿势分类。 |
| 使用难度 | 一体化操作—无需使用外部工具。 | 需要在 TM 网站和 Pishi.ai Scratch 之间切换。 |
| 支持的标签数量 | 20 个 label(1–20),支持自定义名称 | label 数量不限(取决于你的 TM model) |
| 训练速度 | 第一次加载后即可快速训练—点击一次即可添加示例。 | 较慢—需要在 TM 网站上训练、等待处理、导出并导入。 |
| 模型可移植性 | 可以下载/上传 JSON 文件,用于保存和分享 model。 | 通过 URL 导入预训练的 TM model。 |
| 最适合 | 在项目运行过程中快速、反复进行训练—非常适合课堂和初学者。 | 需要更复杂 model 或大量 label 的高级项目。 |
| 隐私 | 100% 本地运行—所有训练都保留在你的浏览器中。 | 在 TM 网站(Google)上进行训练—model 文件会下载并在本地处理。 |
| 教育重点 | 通过动手操作学习 ML—可以实时看到训练过程。 | 学习专业的 ML 工作流程—训练、导出和部署。 |
↔ 在手机上左右滑动即可查看完整表格
💡 为什么选择 Image Trainer? #
Image Trainer 非常适合实时、互动式学习。 学生可以立即进行训练、测试和反复改进—无需切换标签页,也不用等待上传。
- 实验后可以立即看到反馈。
- 完全独立运行—无需外部账号或网站。
- 注重隐私—所有数据都保留在你的设备上。
- 非常适合快速制作原型和课堂演示。
💡 为什么选择 Teachable Machine? #
Teachable Machine 更适合高级项目或提前规划好的 model。
- 支持更多 label,并提供更强大的训练选项。
- 可以通过 URL 分享 model—更方便协作。
- 可以使用 Google 的训练基础设施来处理更复杂的 model。
简单来说:
图像训练器 = Scratch 中即时、一体化、适合初学者的 ML。
Teachable Machine = 适用于复杂预训练 model 的专业工作流程。
