查看类别

Google Teachable Machine – 将预训练 AI 模型导入 Scratch

🏫 Google Teachable Machine – 将预训练 AI 模型导入 Scratch #

Google Teachable Machine 扩展可以把 Google 的 Teachable Machine 网站中训练好的高级 AI 模型直接带入 Scratch。
在线训练强大的图像、声音或姿势识别模型—然后只需一个 URL,就能把它们导入你的 Scratch 项目。
让专业级机器学习工作流程变得简单易用,适合学生、老师和创作者。 ✨

Pishi and a blue dog illustrate image, pose, and sound models connected through a Google model URL.


🌟 概述 #

  • 三种模型类型: 导入在 Teachable Machine 中训练的图像、声音或姿势分类模型。
  • 不限 labels(标签)数量: 可以使用任意数量的自定义类别—不受 10 个 labels 的限制。
  • 云端训练: 利用 Google 的基础设施训练高准确度模型。
  • 轻松导入: 将模型的分享 URL 粘贴到 Scratch 中即可立即使用。
  • 实时分类: 当模型识别图像、声音或姿势时,实时获得预测结果。
  • 摄像头和视频控制: 显示、隐藏或翻转实时预览画面,以适应你的使用环境。

✨ 主要特点 #

  • 支持全部三种 Teachable Machine 模型类型(Image、Sound、Pose)。
  • 每个模型可使用不限数量的 labels。
  • 可通过分享 URL 导入,也可以上传文件。
  • 可查看每个 label 的 confidence(置信度)分数。
  • 可调整分类间隔和最低置信度阈值。
  • 模型加载后完全在浏览器中运行—快速又高效。 fast and efficient.

🚀 如何使用 #

步骤 1 – 在 Teachable Machine 上训练你的模型 #

  1. 前往 teachablemachine.withgoogle.com.
  2. 选择一种项目类型: Image、Audio 或 Pose。.
  3. 创建你的类别(labels),例如“Cat”、“Dog”、“Bird”。
  4. 为每个类别添加训练样本:
    • Images: 上传照片或使用摄像头拍摄。
    • Sounds: 录制简短的音频片段。
    • Poses: 使用摄像头记录身体姿势。
  5. 点击 Train Model,等待训练完成(1–5 分钟)。
  6. 在 Preview 部分测试你的模型,确认识别准确度。
  7. Choose the Scratch-compatible export options:
    • For an image project, select Standard image model (224×224 color images).
    • In the export window, select the Tensorflow.js tab. This is the web format used by the Scratch extension; do not choose Tensorflow or Tensorflow Lite.
    • Click Export Model, choose Upload (shareable link), and then click Upload my model or Update my cloud model (for an existing model).
  8. 复制可分享的 URL(例如:https://teachablemachine.withgoogle.com/models/abc123/)。

步骤 2 – 将你的模型导入 Scratch #

  1. 打开 pishi.ai/play.
  2. 选择 Google Teachable Machine 扩展。
  3. 如果出现提示,请允许使用摄像头或麦克风(具体取决于模型类型)。
  4. 使用以下任意一个设置积木:
    • 设置图像模型 URL: [URL|text]
    • 设置声音模型 URL: [URL|text]
    • 设置姿势模型 URL: [URL|text]
  5. 等待加载指示完成—模型加载后会自动开始分类。
  6. 使用检测积木,让你的 sprite(角色)对识别到的 labels 做出反应。

提示

  • 每个 label 使用 20–50 个不同的示例进行训练,可以获得更可靠的结果。
  • 尽量让实际使用时的光线和声音条件与训练时保持一致。
  • 在导入之前,先在 Teachable Machine 中充分测试你的模型。
  • 在较旧的设备上,可以调整分类间隔(100–250 ms)以改善运行性能。

🧱 积木和函数 #

 

🖼️ 图像分类 #

设置图像模型 URL: [URL|text]

从提供的 Teachable Machine URL 加载图像分类模型。
URL:粘贴你的 Teachable Machine 模型 URL(例如:https://teachablemachine.withgoogle.com/models/u87itobc/)

它的作用:

  • 下载模型并将其加载到 Scratch 中。
  • 从 camera(摄像头)或 Stage(舞台)开始连续进行图像分类。
  • 模型会保持加载状态,直到你设置其他 URL 或重新加载项目。

 

图像标签

返回当前置信度最高的图像类别 label 名称。
如果没有任何 label 达到最低置信度阈值,则返回空值。

例如: 如果你的模型以较高的置信度检测到“Cat”,这个积木会返回“Cat”。

 

当检测到图像 [LABEL] 时

当指定的图像 label 被检测到,并且置信度高于最低阈值时触发的帽子积木。
LABEL:从模型中选择一个 label,或者选择“any”,在检测到任意 label 时触发。

如果希望在高置信度检测到任何内容时做出反应,可以使用“any”。

 

检测到图像 [LABEL]

布尔积木。当当前检测到指定图像 label 时返回 true。
LABEL:从模型中选择一个 label,或者选择“any”。

 

图像 [LABEL] 的置信度

返回指定图像 label 的置信度分数(0–1)。
数值越高,表示检测结果越确定。

例如: confidence of image “Dog” 可能返回 0.95(置信度 95%)。

 


🔊 声音分类 #

设置声音模型 URL: [URL|text]

从提供的 Teachable Machine URL 加载声音分类模型。
URL:粘贴你的 Teachable Machine 音频模型 URL。

它的作用:

  • 下载音频模型并将其加载到 Scratch 中。
  • 开始通过麦克风连续进行声音分类。
  • 实时监听并分类音频。

 

声音标签

返回当前置信度最高的声音类别 label 名称。
如果没有任何声音达到最低置信度阈值,则返回空值。

例如: 如果你的模型听到“Clap”,这个积木会返回“Clap”。

注意: 检测结果会自动过滤背景噪音。

 

当检测到声音 [LABEL] 时

当指定的声音 label 被检测到,并且置信度高于最低阈值时触发的帽子积木。
LABEL:从模型中选择一个 label,或者选择“any”。

注意: 背景噪音 labels 不会触发“any”。

 

检测到声音 [LABEL]

布尔积木。当当前检测到指定声音 label 时返回 true。
LABEL:从模型中选择一个 label,或者选择“any”。

 

声音 [LABEL] 的置信度

返回指定声音 label 的置信度分数(0–1)。

 


🕺 姿势分类 #

设置姿势模型 URL: [URL|text]

从提供的 Teachable Machine URL 加载姿势分类模型。
URL:粘贴你的 Teachable Machine 姿势模型 URL。

它的作用:

  • 下载姿势模型并将其加载到 Scratch 中。
  • Starts continuous pose classification from the camera or stage.
  • 检测身体姿势,并根据你训练过的姿势进行分类。

 

姿势标签

返回当前置信度最高的姿势类别 label 名称。
如果没有任何姿势达到最低置信度阈值,则返回空值。

例如: 如果你的模型检测到“Arms Up”,这个积木会返回“Arms Up”。

 

当检测到姿势 [LABEL] 时

当指定的姿势 label 被检测到,并且置信度高于最低阈值时触发的帽子积木。
LABEL:从模型中选择一个 label,或者选择“any”。

 

检测到姿势 [LABEL]

布尔积木。当当前检测到指定姿势 label 时返回 true。
LABEL:从模型中选择一个 label,或者选择“any”。

 

姿势 [LABEL] 的置信度

返回指定姿势 label 的置信度分数(0–1)。

 


🎯 置信度(共享积木) #

重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。

[TYPE|rect] 置最低置信度为 [CONFIDENCE|text]

设置所选类别检测结果的最低置信度阈值(0–1)。

  • TYPE:选择要应用置信度设置的 AI 检测器—从下拉菜单中选择: image、sound 或 pose.
  • CONFIDENCE:设置 0 到 1 之间的阈值。

使用这个积木可以控制 AI 必须达到多高的确定程度,才会报告检测结果:

  • 默认值:0.5—在准确度和灵敏度之间取得平衡。
  • 提高到 0.6–0.8:检测更严格、更准确(误报更少)。
  • 降低到 0.3–0.4:检测更灵敏(可能增加误报)。
[TYPE|rect] 最低置信度

返回所选检测器(image、sound 或 pose)当前的置信度阈值。image、sound 或 pose).


⚙️ 分类控制(共享积木) #

重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。

Input image blocks are available for image and pose models; sound models use the microphone and do not require an image input.

  • 分类 [INTERVAL] - 选择检测运行的频率:
    • 每次运行此积木时检测一次
    • 连续检测,无延迟
    • 连续检测,每隔 50–2500 ms 运行一次
  • 将分类 [ON_OFF] - 开始或停止连续检测。
  • 分类间隔 - 返回当前检测间隔,单位为毫秒。
  • 连续分类 - 返回连续检测当前是“on”还是“off”。
  • 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
  • 输入图像 - 返回当前正在使用的输入源。

🎥 视频控制(共享积木) #

重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。

  • 将视频 [off/on/on-flipped]
    • on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
    • on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
    • off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
  • 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
    • 0:完全可见(不透明图像)
    • 100:完全透明(不可见,但仍在运行)
    使用 0–100 之间的值来调整摄像头背景的透明度,让 sprite 能够清晰地显示在摄像头预览上方。
  • 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。

🎓 教育用途 #

  • 学习专业的 ML 工作流程: 体验完整流程—收集数据、训练、测试和部署。
  • 使用 Google 的工具学习 deep learning(深度学习)和 transfer learning(迁移学习)的概念。
  • 探索模型评估—准确度、置信度、误报和漏报。
  • 使用可分享的模型 URL 创建课堂协作项目。
  • 帮助学生了解现实行业中使用的 AI 工具。

🎮 示例项目 #

  • 动物识别器: 识别不同动物—制作教育类问答游戏。
  • 音乐检测器: 通过声音识别钢琴、吉他或鼓。
  • 瑜伽教练: 为瑜伽动作训练姿势模型—实时提供反馈。
  • 手语助手: 识别 ASL 手语手势—用于无障碍学习训练。
  • 表情分类器: 检测开心、惊讶等面部表情。
  • 语音指令游戏: 使用“Jump”、“Duck”、“Left”、“Right”等指令—无需用手也能玩!
  • 回收分类器: 对塑料、纸张、金属、玻璃等材料进行分类。

🧩 自己试试: pishi.ai/play


🔧 使用技巧与故障排除(通用积木) #

重要说明 (TYPE)—这些积木都包含一个 [TYPE] 下拉菜单,你可以从中选择 AI 类别— image、sound 或 pose这个选项决定积木控制哪个模型,或者从哪个模型返回数据。

  • 没有摄像头?
    • 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
    • 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
    • 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。
  • 没有检测结果?
    • 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
    • 如果检测已经启用,请改善环境光线,并正对摄像头。
    • 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
    • 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
    • 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
    • Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
    • 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
    • 当你使用以下积木时,检测也可能自动重新启动:
    将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage].
  • 画面方向翻转了?
    将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。
  • 卡顿或运行缓慢?
    使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。
  • 出现 WebGL2 警告?
    尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。
  • 想分析 Stage 而不是摄像头?
    选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。
    注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。

 

对塑料、纸张、金属、玻璃等材料进行分类。 #

  • 模型无法加载? 确保你已经在 Teachable Machine 中点击“Upload my model”,并复制了完整的可分享 URL。
  • URL 格式错误? 你的链接必须以 https://teachablemachine.withgoogle.com/models/ 开头,并以斜杠(/)结尾。
  • 在 Scratch 中准确度较低? 先检查模型在 Teachable Machine 中的表现—确保光线和声音条件与训练时的环境一致。
  • 模型没有更新? 再次设置模型 URL,或者重新加载 Scratch 页面进行刷新。
  • 声音模型检测不到声音? 检查麦克风权限,并使用与训练样本相似的声音。
  • 姿势模型识别混乱? 确保你的整个上半身都清晰可见—使用与训练时相同的条件。
  • Left/right pose labels reversed? Left and right may appear differently between Teachable Machine and Scratch, especially when using a mirrored camera view. Test the labels in Scratch and train or name the classes to match the view used by your project.
  • 误报太多? 将最低置信度提高到 0.7–0.8,或者使用更多不同的示例重新训练。
  • 测试多个模型? 使用对应的“set model url”积木进行切换—更改会立即生效。
  • 分享模型? 分享你的 Teachable Machine URL,这样其他人就能在自己的项目中导入和使用模型。
  • 模型太大? 在从 Teachable Machine 导出之前,减少图像分辨率或训练样本数量。

🔒 隐私与安全 #

  • 模型上传后会托管在 Google 的服务器上。
  • 模型加载到 Scratch 后,所有分类操作都会在你的浏览器本地运行。
  • 摄像头和麦克风数据会在本地处理—使用过程中不会发送到服务器。
  • 你的 Teachable Machine 训练数据遵循 Google 的隐私政策。
  • 可分享的 URL 是公开的—请避免发布包含敏感内容的模型链接。

🧪 技术信息 #

  • Model Source: Google Teachable Machine (teachablemachine.withgoogle.com)
  • Framework (框架): TensorFlow.js—完全在浏览器中运行,并使用 WebGL 加速
  • Model Types (模型类型): Image、Sound、Pose classification
  • Labels (标签): 不限数量(取决于模型)
  • Inputs (输入源): Microphone(声音)、Camera 或 Stage canvas(图像/姿势)
  • Default Confidence (默认置信度): 0.5(可在 0–1 范围内调整)
  • Model Format (模型格式): TensorFlow.js graph model + metadata
  • Requires (要求): 为获得最佳性能,需要支持 WebGL2

🔗 相关扩展 #

  • 🖼️ 图像训练器 – 直接在 Scratch 中训练自定义模型
  • 😎 人脸网格 — 检测面部 landmark
  • 🖐️ HandPose – 检测手部 landmark
  • 🕺 身体姿态检测 – track full-body pose

🧩 对比:Image Trainer 与 Google Teachable Machine 扩展 #

这两个扩展都可以让你在 Scratch 中使用自己训练的 AI 模型,但它们在训练位置和训练方式上有所不同。

功能 图像训练器 Google 可训练机器
训练位置 直接在 Scratch 内训练—即时完成并与项目完全集成。 在 Teachable Machine 中训练,导出 model,然后获取一个可在 Scratch 扩展中使用的分享链接。
模型类型 仅支持图像分类。 支持图像、声音和姿势分类。
使用难度 一体化操作—无需使用外部工具。 需要在 TM 网站和 Pishi.ai Scratch 之间切换。
支持的标签数量 10 labels (1–10) label 数量不限(取决于你的 TM model)
训练速度 第一次加载后即可快速训练—点击一次即可添加示例。 较慢—需要在 TM 网站上训练、等待处理、导出并导入。
模型可移植性 可以下载/上传 JSON 文件,用于保存和分享 model。 通过 URL 导入预训练的 TM model。
最适合 在项目运行过程中快速、反复进行训练—非常适合课堂和初学者。 需要更复杂 model 或大量 label 的高级项目。
隐私 100% 本地运行—所有训练都保留在你的浏览器中。 在 TM 网站(Google)上进行训练—model 文件会下载并在本地处理。
教育重点 通过动手操作学习 ML—可以实时看到训练过程。 学习专业的 ML 工作流程—训练、导出和部署。

↔ 在手机上左右滑动即可查看完整表格

 

💡 为什么选择 Teachable Machine? #

Teachable Machine 非常适合制作功能更复杂、方便分享的 AI 项目。

  • 可以训练 Image、Sound 和 Pose 模型—三种类型都支持。
  • labels 数量不限,并可利用强大的云端训练功能。
  • 可以通过公开 URL 轻松分享模型。
  • 非常适合高级课程和协作项目。
  • 帮助学习真实世界中的 ML 工作流程和工具。

💡 为什么选择 Image Trainer? #

Image Trainer 非常适合直接在 Scratch 中进行快速实验。

  • 即时反馈—无需使用外部网站或账号。
  • 即时反馈—无需使用外部网站或账号。
  • 非常适合课堂、工作坊和初学者 ML 项目。

简单来说:
Teachable Machine = 适合复杂、可分享模型(image/sound/pose)的专业工作流程。
图像训练器 = 直接集成在 Scratch 中、即时且适合初学者的 ML(仅支持 image)。


📚 了解更多 #


滚动至顶部