🏫 Google Teachable Machine – 将预训练 AI 模型导入 Scratch #
Google Teachable Machine 扩展可以把 Google 的 Teachable Machine 网站中训练好的高级 AI 模型直接带入 Scratch。
在线训练强大的图像、声音或姿势识别模型—然后只需一个 URL,就能把它们导入你的 Scratch 项目。
让专业级机器学习工作流程变得简单易用,适合学生、老师和创作者。 ✨

🌟 概述 #
- 三种模型类型: 导入在 Teachable Machine 中训练的图像、声音或姿势分类模型。
- 不限 labels(标签)数量: 可以使用任意数量的自定义类别—不受 10 个 labels 的限制。
- 云端训练: 利用 Google 的基础设施训练高准确度模型。
- 轻松导入: 将模型的分享 URL 粘贴到 Scratch 中即可立即使用。
- 实时分类: 当模型识别图像、声音或姿势时,实时获得预测结果。
- 摄像头和视频控制: 显示、隐藏或翻转实时预览画面,以适应你的使用环境。
✨ 主要特点 #
- 支持全部三种 Teachable Machine 模型类型(Image、Sound、Pose)。
- 每个模型可使用不限数量的 labels。
- 可通过分享 URL 导入,也可以上传文件。
- 可查看每个 label 的 confidence(置信度)分数。
- 可调整分类间隔和最低置信度阈值。
- 模型加载后完全在浏览器中运行—快速又高效。 fast and efficient.
🚀 如何使用 #
步骤 1 – 在 Teachable Machine 上训练你的模型 #
- 前往 teachablemachine.withgoogle.com.
- 选择一种项目类型: Image、Audio 或 Pose。.
- 创建你的类别(labels),例如“Cat”、“Dog”、“Bird”。
- 为每个类别添加训练样本:
- Images: 上传照片或使用摄像头拍摄。
- Sounds: 录制简短的音频片段。
- Poses: 使用摄像头记录身体姿势。
- 点击 Train Model,等待训练完成(1–5 分钟)。
- 在 Preview 部分测试你的模型,确认识别准确度。
- Choose the Scratch-compatible export options:
- For an image project, select Standard image model (224×224 color images).
- In the export window, select the Tensorflow.js tab. This is the web format used by the Scratch extension; do not choose Tensorflow or Tensorflow Lite.
- Click Export Model, choose Upload (shareable link), and then click Upload my model or Update my cloud model (for an existing model).
- 复制可分享的 URL(例如:https://teachablemachine.withgoogle.com/models/abc123/)。
步骤 2 – 将你的模型导入 Scratch #
- 打开 pishi.ai/play.
- 选择 Google Teachable Machine 扩展。
- 如果出现提示,请允许使用摄像头或麦克风(具体取决于模型类型)。
- 使用以下任意一个设置积木:
-
设置图像模型 URL: [URL|text]
-
设置声音模型 URL: [URL|text]
-
设置姿势模型 URL: [URL|text]
-
- 等待加载指示完成—模型加载后会自动开始分类。
- 使用检测积木,让你的 sprite(角色)对识别到的 labels 做出反应。
提示
- 每个 label 使用 20–50 个不同的示例进行训练,可以获得更可靠的结果。
- 尽量让实际使用时的光线和声音条件与训练时保持一致。
- 在导入之前,先在 Teachable Machine 中充分测试你的模型。
- 在较旧的设备上,可以调整分类间隔(100–250 ms)以改善运行性能。
🧱 积木和函数 #
🖼️ 图像分类 #
从提供的 Teachable Machine URL 加载图像分类模型。
URL:粘贴你的 Teachable Machine 模型 URL(例如:https://teachablemachine.withgoogle.com/models/u87itobc/)
它的作用:
- 下载模型并将其加载到 Scratch 中。
- 从 camera(摄像头)或 Stage(舞台)开始连续进行图像分类。
- 模型会保持加载状态,直到你设置其他 URL 或重新加载项目。
返回当前置信度最高的图像类别 label 名称。
如果没有任何 label 达到最低置信度阈值,则返回空值。
例如: 如果你的模型以较高的置信度检测到“Cat”,这个积木会返回“Cat”。
当指定的图像 label 被检测到,并且置信度高于最低阈值时触发的帽子积木。
LABEL:从模型中选择一个 label,或者选择“any”,在检测到任意 label 时触发。
如果希望在高置信度检测到任何内容时做出反应,可以使用“any”。
布尔积木。当当前检测到指定图像 label 时返回 true。
LABEL:从模型中选择一个 label,或者选择“any”。
返回指定图像 label 的置信度分数(0–1)。
数值越高,表示检测结果越确定。
例如: confidence of image “Dog” 可能返回 0.95(置信度 95%)。
🔊 声音分类 #
从提供的 Teachable Machine URL 加载声音分类模型。
URL:粘贴你的 Teachable Machine 音频模型 URL。
它的作用:
- 下载音频模型并将其加载到 Scratch 中。
- 开始通过麦克风连续进行声音分类。
- 实时监听并分类音频。
返回当前置信度最高的声音类别 label 名称。
如果没有任何声音达到最低置信度阈值,则返回空值。
例如: 如果你的模型听到“Clap”,这个积木会返回“Clap”。
注意: 检测结果会自动过滤背景噪音。
当指定的声音 label 被检测到,并且置信度高于最低阈值时触发的帽子积木。
LABEL:从模型中选择一个 label,或者选择“any”。
注意: 背景噪音 labels 不会触发“any”。
布尔积木。当当前检测到指定声音 label 时返回 true。
LABEL:从模型中选择一个 label,或者选择“any”。
返回指定声音 label 的置信度分数(0–1)。
🕺 姿势分类 #
从提供的 Teachable Machine URL 加载姿势分类模型。
URL:粘贴你的 Teachable Machine 姿势模型 URL。
它的作用:
- 下载姿势模型并将其加载到 Scratch 中。
- Starts continuous pose classification from the camera or stage.
- 检测身体姿势,并根据你训练过的姿势进行分类。
返回当前置信度最高的姿势类别 label 名称。
如果没有任何姿势达到最低置信度阈值,则返回空值。
例如: 如果你的模型检测到“Arms Up”,这个积木会返回“Arms Up”。
当指定的姿势 label 被检测到,并且置信度高于最低阈值时触发的帽子积木。
LABEL:从模型中选择一个 label,或者选择“any”。
布尔积木。当当前检测到指定姿势 label 时返回 true。
LABEL:从模型中选择一个 label,或者选择“any”。
返回指定姿势 label 的置信度分数(0–1)。
🎯 置信度(共享积木) #
重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。
设置所选类别检测结果的最低置信度阈值(0–1)。
- TYPE:选择要应用置信度设置的 AI 检测器—从下拉菜单中选择: image、sound 或 pose.
- CONFIDENCE:设置 0 到 1 之间的阈值。
使用这个积木可以控制 AI 必须达到多高的确定程度,才会报告检测结果:
- 默认值:0.5—在准确度和灵敏度之间取得平衡。
- 提高到 0.6–0.8:检测更严格、更准确(误报更少)。
- 降低到 0.3–0.4:检测更灵敏(可能增加误报)。
返回所选检测器(image、sound 或 pose)当前的置信度阈值。image、sound 或 pose).
⚙️ 分类控制(共享积木) #
重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。
Input image blocks are available for image and pose models; sound models use the microphone and do not require an image input.
- 分类 [INTERVAL] - 选择检测运行的频率:
- 每次运行此积木时检测一次
- 连续检测,无延迟
- 连续检测,每隔 50–2500 ms 运行一次
- 将分类 [ON_OFF] - 开始或停止连续检测。
- 分类间隔 - 返回当前检测间隔,单位为毫秒。
- 连续分类 - 返回连续检测当前是“on”还是“off”。
- 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
- 输入图像 - 返回当前正在使用的输入源。
🎥 视频控制(共享积木) #
重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。
- 将视频 [off/on/on-flipped]
- on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
- on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
- off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
- 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
- 0:完全可见(不透明图像)
- 100:完全透明(不可见,但仍在运行)
- 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。
🎓 教育用途 #
- 学习专业的 ML 工作流程: 体验完整流程—收集数据、训练、测试和部署。
- 使用 Google 的工具学习 deep learning(深度学习)和 transfer learning(迁移学习)的概念。
- 探索模型评估—准确度、置信度、误报和漏报。
- 使用可分享的模型 URL 创建课堂协作项目。
- 帮助学生了解现实行业中使用的 AI 工具。
🎮 示例项目 #
- 动物识别器: 识别不同动物—制作教育类问答游戏。
- 音乐检测器: 通过声音识别钢琴、吉他或鼓。
- 瑜伽教练: 为瑜伽动作训练姿势模型—实时提供反馈。
- 手语助手: 识别 ASL 手语手势—用于无障碍学习训练。
- 表情分类器: 检测开心、惊讶等面部表情。
- 语音指令游戏: 使用“Jump”、“Duck”、“Left”、“Right”等指令—无需用手也能玩!
- 回收分类器: 对塑料、纸张、金属、玻璃等材料进行分类。
🧩 自己试试: pishi.ai/play
🔧 使用技巧与故障排除(通用积木) #
重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。
- 没有摄像头?
• 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
• 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
• 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。 - 没有检测结果?
• 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
• 如果检测已经启用,请改善环境光线,并正对摄像头。
• 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
• 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
• 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
• Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
• 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
• 当你使用以下积木时,检测也可能自动重新启动:
将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage]. - 画面方向翻转了?
将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。 - 卡顿或运行缓慢?
使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。 - 出现 WebGL2 警告?
尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。 - 想分析 Stage 而不是摄像头?
选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。
对塑料、纸张、金属、玻璃等材料进行分类。 #
- 模型无法加载? 确保你已经在 Teachable Machine 中点击“Upload my model”,并复制了完整的可分享 URL。
- URL 格式错误? 你的链接必须以 https://teachablemachine.withgoogle.com/models/ 开头,并以斜杠(/)结尾。
- 在 Scratch 中准确度较低? 先检查模型在 Teachable Machine 中的表现—确保光线和声音条件与训练时的环境一致。
- 模型没有更新? 再次设置模型 URL,或者重新加载 Scratch 页面进行刷新。
- 声音模型检测不到声音? 检查麦克风权限,并使用与训练样本相似的声音。
- 姿势模型识别混乱? 确保你的整个上半身都清晰可见—使用与训练时相同的条件。
- Left/right pose labels reversed? Left and right may appear differently between Teachable Machine and Scratch, especially when using a mirrored camera view. Test the labels in Scratch and train or name the classes to match the view used by your project.
- 误报太多? 将最低置信度提高到 0.7–0.8,或者使用更多不同的示例重新训练。
- 测试多个模型? 使用对应的“set model url”积木进行切换—更改会立即生效。
- 分享模型? 分享你的 Teachable Machine URL,这样其他人就能在自己的项目中导入和使用模型。
- 模型太大? 在从 Teachable Machine 导出之前,减少图像分辨率或训练样本数量。
🔒 隐私与安全 #
- 模型上传后会托管在 Google 的服务器上。
- 模型加载到 Scratch 后,所有分类操作都会在你的浏览器本地运行。
- 摄像头和麦克风数据会在本地处理—使用过程中不会发送到服务器。
- 你的 Teachable Machine 训练数据遵循 Google 的隐私政策。
- 可分享的 URL 是公开的—请避免发布包含敏感内容的模型链接。
🧪 技术信息 #
- Model Source: Google Teachable Machine (teachablemachine.withgoogle.com)
- Framework (框架): TensorFlow.js—完全在浏览器中运行,并使用 WebGL 加速
- Model Types (模型类型): Image、Sound、Pose classification
- Labels (标签): 不限数量(取决于模型)
- Inputs (输入源): Microphone(声音)、Camera 或 Stage canvas(图像/姿势)
- Default Confidence (默认置信度): 0.5(可在 0–1 范围内调整)
- Model Format (模型格式): TensorFlow.js graph model + metadata
- Requires (要求): 为获得最佳性能,需要支持 WebGL2
🔗 相关扩展 #
- 🖼️ 图像训练器 – 直接在 Scratch 中训练自定义模型
- 😎 人脸网格 — 检测面部 landmark
- 🖐️ HandPose – 检测手部 landmark
- 🕺 身体姿态检测 – track full-body pose
🧩 对比:Image Trainer 与 Google Teachable Machine 扩展 #
这两个扩展都可以让你在 Scratch 中使用自己训练的 AI 模型,但它们在训练位置和训练方式上有所不同。
| 功能 | 图像训练器 | Google 可训练机器 |
|---|---|---|
| 训练位置 | 直接在 Scratch 内训练—即时完成并与项目完全集成。 | 在 Teachable Machine 中训练,导出 model,然后获取一个可在 Scratch 扩展中使用的分享链接。 |
| 模型类型 | 仅支持图像分类。 | 支持图像、声音和姿势分类。 |
| 使用难度 | 一体化操作—无需使用外部工具。 | 需要在 TM 网站和 Pishi.ai Scratch 之间切换。 |
| 支持的标签数量 | 10 labels (1–10) | label 数量不限(取决于你的 TM model) |
| 训练速度 | 第一次加载后即可快速训练—点击一次即可添加示例。 | 较慢—需要在 TM 网站上训练、等待处理、导出并导入。 |
| 模型可移植性 | 可以下载/上传 JSON 文件,用于保存和分享 model。 | 通过 URL 导入预训练的 TM model。 |
| 最适合 | 在项目运行过程中快速、反复进行训练—非常适合课堂和初学者。 | 需要更复杂 model 或大量 label 的高级项目。 |
| 隐私 | 100% 本地运行—所有训练都保留在你的浏览器中。 | 在 TM 网站(Google)上进行训练—model 文件会下载并在本地处理。 |
| 教育重点 | 通过动手操作学习 ML—可以实时看到训练过程。 | 学习专业的 ML 工作流程—训练、导出和部署。 |
↔ 在手机上左右滑动即可查看完整表格
💡 为什么选择 Teachable Machine? #
Teachable Machine 非常适合制作功能更复杂、方便分享的 AI 项目。
- 可以训练 Image、Sound 和 Pose 模型—三种类型都支持。
- labels 数量不限,并可利用强大的云端训练功能。
- 可以通过公开 URL 轻松分享模型。
- 非常适合高级课程和协作项目。
- 帮助学习真实世界中的 ML 工作流程和工具。
💡 为什么选择 Image Trainer? #
Image Trainer 非常适合直接在 Scratch 中进行快速实验。
- 即时反馈—无需使用外部网站或账号。
- 即时反馈—无需使用外部网站或账号。
- 非常适合课堂、工作坊和初学者 ML 项目。
简单来说:
Teachable Machine = 适合复杂、可分享模型(image/sound/pose)的专业工作流程。
图像训练器 = 直接集成在 Scratch 中、即时且适合初学者的 ML(仅支持 image)。
