查看类别

物体检测—在 Scratch 中检测物体

🎯 Scratch 中的 Object Detection—检测物体 #

Object Detection 扩展将 AI 驱动的物体识别功能带入 Scratch。
它可以让你的项目从摄像头实时画面或 Scratch 舞台中识别多个物体,对它们进行计数,读取它们的位置和大小,并在物体出现时作出响应。
由于模型已经预先训练完成,学生可以立即开始探索计算机视觉,无需训练模型或进行任何外部设置。
它简单易用,适合初学者,同时也足够强大,可用于课堂 AI、STEM 和互动游戏项目。🤖

Pishi points to a screen detecting and labeling an apple, bottle, cup, backpack, ball, and toy.


🌟 概述 #

  • 检测多个物体: 在同一张图像或同一摄像头画面中识别多个受支持的物体。
  • 统计 AI 看到的物体: 获取检测结果总数,或只统计某一种物体的数量。
  • 追踪位置和大小: 以 Scratch 舞台单位获取检测物体的中心 X/Y 坐标、宽度和高度。
  • 筛选重要物体: 检测模型能够识别的所有物体,或创建自己的物体名称列表,让检测专注于指定物体。
  • 保存并排序检测结果: 保存所选检测结果的快照,并按置信度、位置或大小进行排序。
  • 触发事件: 使用帽形积木,在物体出现或检测数量发生变化时作出响应。
  • 选择合适的模型: 根据你的设备、图像细节以及所需识别物体的种类,在快速、平衡和宽域检测选项之间切换。
  • 选择输入源: 从摄像头实时画面或直接从 Scratch 舞台图像中检测物体。

✨ 主要特点 #

  • 使用预训练模型检测物体,无需提示词,也无需任何训练步骤。
  • 在同一画面中检测多个物体,并分别处理每个检测结果。
  • 获取物体的名称、数量、置信度、位置、宽度和高度。
  • 在构建更高级的项目时,可以选择使用当前的实时检测结果或已保存的快照。
  • 创建自定义检测列表,忽略对项目不重要的物体。
  • 保存检测结果,并按从左到右、从上到下、从大到小或置信度从高到低的顺序进行排列;也可以反转其中任意一种顺序。
  • 帽形积木让创建物体控制的游戏和互动场景变得更加容易。
  • 可调节的检测间隔有助于在检测速度与设备性能之间取得平衡。
  • 完全在浏览器中运行 — 安全且保护隐私。.

🚀 如何使用 #

  1. 前往: pishi.ai/play
  2. 打开扩展程序部分。
  3. 选择 Object Detection 扩展。
  4. 出现提示时允许访问摄像头,并确认摄像头预览已经显示。
  5. 如果愿意,你也可以将 Scratch 舞台用作输入源,检测舞台图像中的物体,包括舞台上显示的摄像头视频。为了获得最佳实时性能,建议使用摄像头输入,因为处理舞台图像可能会更慢。
  6. 扩展启动时使用“快速”检测模型。你可以随时在“快速”“平衡”和“宽域”模型之间切换,以调整速度、图像细节和物体覆盖范围之间的平衡。
  7. 试试“[当前] 检测列表”报告积木,查看 AI 能够识别的物体名称。
  8. 然后使用计数、位置、已保存检测结果、筛选和事件积木来构建你的项目。

提示

  • 保持光线充足,并让物体在画面中足够大,以便清楚识别。
  • 在构建依赖多个物体的项目之前,先从一个受支持的物体开始。
  • 在其他积木中输入物体名称时,请使用“[SOURCE] 检测列表”报告积木返回的准确物体标签。
  • 物体词汇和检测标签均为英文,因此输入物体名称时,请使用英文标签。
  • “当前”表示最新的实时检测结果。“已保存”表示使用保存并排序积木创建的快照。
  • 如果同一种物体出现多次,请使用 #1、#2、#3 等编号分别处理各个检测结果。
  • 如果设备上的检测速度较慢,请尝试使用“快速”模型,或增大分类间隔。

🧱 积木和函数 #

 

📊 检测列表、来源和数量 #

理解 SOURCE:

  • current —来自摄像头或舞台的最新实时检测结果。
  • saved —由以下积木保存的快照:
    从 [OBJECT|text] 检测结果中保存 [SOURCE] 并按 [ORDER_TYPE] 排序

当你希望项目处理物体时,其顺序和位置保持不变,使用已保存的快照会很有帮助。

 

共同规则: 如果没有匹配的检测结果、尚未保存快照,或请求的项目编号不存在,返回名称、列表、置信度、位置或大小的报告积木会返回空值。计数报告积木会返回 0,布尔积木会返回 false。

 

[SOURCE] 检测列表

以逗号分隔的文本形式返回所选检测来源中的物体标签。
选择 current 可查看 AI 现在识别出的物体;选择 saved 可读取已保存的快照。
这是了解所选模型在检测结果中使用的准确物体名称的最佳积木之一。

 

[SOURCE] 检测数量

返回所选来源中的物体总数。
例如,它可以统计 current 中的所有实时检测结果,也可以告诉你 saved 中保存了多少个物体。

 

all

返回特殊值 all,表示所有检测到的物体,不论其标签是什么。
如果希望积木处理所有检测到的物体,而不是某个特定标签,请将它放入要求输入物体名称的输入框中(OBJECT).
你也可以直接在物体名称输入框中输入英文 all,无需使用此报告积木。

 

从 [OBJECT|text] 检测结果中保存 [SOURCE] 并按 [ORDER_TYPE] 排序

从所选来源提取匹配的检测结果,将其排序,并把结果保存为新的 saved 快照。
如果需要按固定顺序处理物体,例如最左边的物体优先、最大的物体优先或置信度最高的物体优先,这个积木就很有用。

默认情况下,current 检测列表已经按置信度从高到低排序。

OBJECT:输入 person 等物体标签、person, car 等以逗号分隔的文本,或使用 all。

  • all保留所有检测结果,并按选定顺序保存。如果选择 confidence high to low,current 检测结果本来就按此顺序排列,因此积木只会将它们保存为快照。
  • 单个物体名称,例如 person:筛选出该物体的检测结果,再对匹配结果排序。
  • 多个物体名称,例如 person, car:合并与任一名称匹配的检测结果,再一起排序。

SOURCE:选择 current 或 saved。

  • current:使用最新的实时检测结果。
  • saved:使用已有的快照,你可以再次排序或进一步筛选。

ORDER_TYPE:可选的排序方式:

  • confidence high to low 或 confidence low to high
  • left to right 或 right to left
  • top to bottom 或 bottom to top
  • large to small 或 small to large

保存后,在其他积木的 SOURCE 菜单中选择 saved,即可读取快照。
已保存的检测结果会保持不变,直到你再次保存;切换检测模型会清除已保存的快照。

 

[SOURCE] 检测结果中 # [INDEX|text]

根据检测结果在所选来源中的位置返回一个物体标签。
INDEX:第一个项目用 1,第二个用 2,依此类推。
如果项目不存在,积木会返回空值。
对于 saved 检测结果,项目 1、项目 2 等遵循保存时选择的顺序。

 

[SOURCE] 检测结果中 [OBJECT|text] 的数量

返回所选来源中与某个物体名称匹配的检测数量。
OBJECT:输入准确的物体标签、以逗号分隔的文本,或使用 all 来统计来源中的所有物体。
如果输入多个名称,积木会返回这些物体的检测总数。例如,person, car 会统计检测到的所有人和汽车。
可用于计数游戏、课堂实验,或“看到两个人时继续”之类的逻辑。


📍 位置、大小和检测置信度 #

[SOURCE] 检测结果中 [OBJECT|text] # [INDEX|text] 的置信度

返回选定检测结果的置信度,范围为 0 到 1。
例如,0.87 表示模型对该检测结果给出的置信度约为 87%。

OBJECT:输入准确的物体标签,或使用 all 从整个来源中选择项目。

INDEX:选择第一个、第二个、第三个等匹配项目。

SOURCE:选择 current 或 saved。

 

[OBJECT|text] 检测结果中 [INDEX|text] # [SOURCE] 的 x 坐标

返回所选检测框中心的 X 坐标,并将其映射到 Scratch 舞台坐标。

用它让角色跟随现实中的物体向左或向右移动。

注意: :检测框是围住检测到的物体的矩形区域,用来显示物体在图像中的位置。

 

[OBJECT|text] 检测结果中 [INDEX|text] # [SOURCE] 的 y 坐标

以 Scratch 舞台单位返回所选检测框的宽度。
数值越大,表示检测到的物体在图像中占据的水平空间越大。

 

[SOURCE] 检测结果中 [OBJECT|text] # [INDEX|text] 的宽度

以 Scratch 舞台单位返回所选检测框的宽度。
数值越大,表示检测到的物体在图像中占据的水平空间越大。

 

[SOURCE] 检测结果中 [OBJECT|text] # [INDEX|text] 的高度

以 Scratch 舞台单位返回所选检测框的高度。

 

[SOURCE] 检测结果中有内容吗?

当所选来源至少包含一个检测结果时返回 true;为空时返回 false。
选择 current 可检查实时画面;选择 saved 可检查已保存的快照。

 

[SOURCE] 检测结果中有 [OBJECT|text] #[INDEX|text]

检查所选来源中是否存在指定物体及项目编号。
例如,只有检测到第二个匹配的 person 时,person #2 才会返回 true。
你也可以将物体值设为 all,以检查整个来源中是否存在指定编号的项目。


🎯 检测模式和自定义列表 #

[MODE] 寻找

控制哪些检测到的物体会出现在扩展的其他积木和检测事件使用的结果中。

MODE:

  • all detections —保留所选模型识别出的每个物体。
  • my detection list —只保留你已加入自定义检测列表的物体名称。

重要提示: 扩展启动时,my detection list 为空。你可以随时切换到此模式,但在列表中至少加入一个物体名称之前,不会报告任何检测结果。

 

my detection list

以逗号分隔的文本形式返回你的自定义物体列表。
此列表也可以不重复地保存新检测到的物体名称。例如,当检测数量变化时,将 current 检测列表加入 my detection list。即使大小写不同,重复添加已有名称也不会产生新项目。

 

我的检测列表第 [INDEX|text] 项

返回自定义检测列表中指定位置的物体名称。
INDEX:第一个项目用 1,第二个用 2,依此类推。
如果项目不存在,积木会返回空值。

 

我的检测列表中的项目数

返回自定义检测列表中不重复的物体名称数量。
这里统计的是列表中设置的名称,而不是摄像头当前看到的物体。

 

将 [OBJECT|text] 添加到我的检测列表

将一个物体标签加入自定义列表。
请使用模型返回的准确标签。
输入以逗号分隔的文本时,每个标签会分别加入。
再次添加相同名称不会产生重复项目。

 

从我的检测列表中删除 [OBJECT|text]

从自定义列表中移除匹配的物体名称。
输入以逗号分隔的文本时,会移除每个匹配的标签。

 

清除我的检测列表

清除自定义检测列表中的所有名称。


⚡ 帽形积木和响应 #

当检测到任何物体时

当任意物体的稳定检测数量增加时,运行所连接的脚本。
第一个物体出现、新的物体标签出现,或画面中已有物体的另一个实例被检测到时,都可能触发。

 

当检测到 [OBJECT|text] 时

当指定物体的稳定检测数量增加时运行。
例如,检测到第一个 person 时可以触发,之后新检测到另一个 person 时也可以再次触发。
输入以逗号分隔的名称,只要其中任一物体的稳定检测数量增加,就会运行。
在这里使用 all,与上一个“when any object detected”帽形积木的行为相同。

 

当检测计数发生变化时

当当前检测到的物体稳定总数增加或减少时运行。
适用于计数游戏,以及物体进入或离开摄像头画面时作出响应的场景。

 

注意: 检测帽形积木会等到连续 2 帧出现相同的数量,才把它视为稳定。这有助于减少单帧闪烁和误触发。


🧠 模型和置信度控制 #

使用 [MODEL_NAME] 模型查找

切换当前使用的物体检测模型。
扩展启动时使用 Fast 模型。学生可以根据项目需要,选择检测更快、图像细节更多,或能识别更广泛物体种类的模型。

Model Menu Input Size Classes 最适合
fast size: 320 classes: 365 320×320 365 处理负担较低,在性能较弱的设备上运行更流畅
balanced size: 640 classes: 365 640×640 365 在使用同样的 365 类物体词汇时,获得更多图像细节
wide size: 640 classes: 4585 640×640 4,585 当 365 类选项不包含你需要的物体时,使用范围更广的物体词汇

↔ 在手机上左右滑动即可查看完整表格

 

提示: 先使用默认的 Fast 模型,获得响应更快的检测效果。需要更多图像细节时选择 Balanced;需要更多物体类别时选择 Wide。

重要提示: 切换模型会清除已保存的检测结果,但当前的最低置信度设置会保留。

 

设置最低置信度为 [CONFIDENCE|text]

设置模型结果被报告为检测结果所需达到的最低置信度。

此设置的取值范围为 0 到 1:

  • 0.35 —默认值
  • 0.5-0.7 —要求更严格;可以减少置信度低或错误的检测结果。
  • 0.2-0.3 —要求更宽松;可能有助于检测较难识别的物体,但也可能增加错误。

这有助于让学生理解:AI 的预测并不只是“对”或“错”—每个检测结果都有一个置信度分数。

 

最低置信度

返回当前的最低置信度设置,取值范围为 0-1。

请记住: “minimum confidence”和“confidence of [OBJECT] #[INDEX] in [SOURCE] detections”都使用相同的 0-1 范围。


⚙️ 检测控制 #

  • 分类 [INTERVAL] - 选择检测运行的频率:
    • 每次运行此积木时检测一次
    • 连续检测,无延迟
    • 连续检测,每隔 50–2500 ms 运行一次
  • 将分类 [ON_OFF] - 开始或停止连续检测。
  • 分类间隔 - 返回当前检测间隔,单位为毫秒。
  • 连续分类 - 返回连续检测当前是“on”还是“off”。
  • 选择输入图像 [camera/stage] - 选择 camera(摄像头)或 Stage(舞台)。
  • 输入图像 - 返回当前正在使用的输入源。

🎥 视频控制 #

  • 将视频 [off/on/on-flipped]
    • on:以镜像方式显示摄像头预览(就像普通网络摄像头或镜子一样)。
    • on-flipped:以非镜像方式显示摄像头预览——方向与现实世界中的左右方向一致。
    • off:关闭摄像头预览。在 Stage 输入模式下,检测仍会继续运行。
  • 将视频透明度设为[TRANSPARENCY|text] — 调整摄像头预览的可见程度:
    • 0:完全可见(不透明图像)
    • 100:完全透明(不可见,但仍在运行)
    使用 0–100 之间的值来调整摄像头背景的透明度,让 sprite 能够清晰地显示在摄像头预览上方。
  • 选择摄像头 [CAMERA] — 从设备上的可用摄像头中进行选择。下拉菜单会列出检测到的所有摄像头,扩展会自动切换到你选择的摄像头。
  • 显示检测框 [开启/关闭]
    打开或关闭检测框显示。 打开后,每个检测到的物体周围都会显示一个方框,让你可以看到模型正在跟踪哪些物体。 这对于测试摄像头、检查模型的识别效果以及实时调试项目都很有帮助。

此扩展默认显示检测框。想显示或隐藏识别到的物体周围的方框时,请使用检测框控制积木。


🎓 教育用途 #

  • 认识计算机视觉: 学生可以看到 AI 模型如何把图像转换成物体标签和位置信息。
  • 学习置信度与不确定性: 比较不同置信度阈值下的预测,并讨论 AI 为什么有时会出错。
  • 探索坐标: 将检测到的 X/Y 位置与角色移动和 Scratch 坐标系联系起来。
  • 探索大小: 使用宽度和高度了解物体在图像中显得有多大。
  • 练习列表和索引: 处理第一个、第二个或第三个匹配物体,并比较多个检测结果。
  • 练习排序: 保存检测结果,并按位置、大小或置信度排序。
  • 学习事件: 通过帽形积木了解软件如何对环境变化作出响应。
  • 讨论 AI 的局限: 比较学生看到的物体与模型识别出的结果,并研究误报、漏检、光线、角度和物体大小的影响。

🎮 示例项目 #

  • 物体迎宾员: 当选定的受支持物体出现时,让角色打招呼。
  • 物体计数器: 显示可见物体的数量,达到目标数量时触发庆祝效果。
  • 跟随目标: 使用检测到的物体中心的 X/Y 坐标,让角色向它移动。
  • 左边还是右边? 按从左到右的顺序保存匹配结果,用项目 1 找到最左边的物体。
  • 最大物体挑战: 按从大到小的顺序保存检测结果,让 Scratch 对最大的物体作出响应。
  • AI 置信度实验室: 显示置信度数值,测试光线、距离、角度和背景如何影响预测。
  • 教室物体寻宝: 给学生一份受支持物体的清单,每当 AI 找到其中一个物体就得一分。
  • 画面里有什么? 显示“list of [SOURCE] detections”报告积木,让学生观察模型如何描述不断变化的场景。

🧩 自己试试看: pishi.ai/play

 


🔧 提示和故障排除 #

  • 没有摄像头?
    • 确保摄像头已经连接,并且浏览器已获得摄像头访问权限。
    • 如果摄像头被阻止,请在浏览器的网站设置中启用摄像头权限,然后重新加载页面。
    • 加载扩展时,如果未检测到摄像头,输入图像会自动切换到 Scratch 舞台,也就是显示背景和角色的画布,这样你仍然可以继续使用和测试扩展的功能。
  • 没有检测结果?
    • 连续分类:使用这个 reporter(报告积木)查看检测功能是否处于启用状态。
    • 如果检测已经启用,请改善环境光线,并正对摄像头。
    • 将分类 [ON]:如果检测没有启用,请使用这个积木,然后再次使用上面的 reporter 检查检测状态。
    • 在 camera 输入模式下,当摄像头关闭时,检测也会停止——你必须重新打开视频,或者将输入源切换到 Stage。
    • 在 Stage 输入模式下,系统会检测 Stage 上所有可见的内容——背景、sprite 或图像。你可以完全关闭视频,同时仍然处理 Stage 图像。
    • Stage 模式比 camera 输入速度慢,因此可以使用这个积木将检测间隔调低一些(例如 100–250 ms),以获得更流畅的效果: 分类 [INTERVAL]
    • 在 Stage 模式中,“left”和“right”对应的 landmark 会互换,因为 Stage 图像没有镜像——坐标空间表示的是真实的非镜像视图。
    • 当你使用以下积木时,检测也可能自动重新启动:
    将视频 [开启] / 分类 [INTERVAL] / 选择摄像头 [CAMERA] / 选择输入图像 [camera/stage].
  • 画面方向翻转了?
    将视频 [镜像开启]:使用此积木可以显示非镜像的摄像头画面。“on”会像自拍画面一样进行镜像;“on-flipped”则显示真实的左右方向。
  • 卡顿或运行缓慢?
    使用 100–250 ms 之间的检测间隔,或者关闭其他浏览器标签页,以减少设备的处理负担。
  • 出现 WebGL2 警告?
    尝试使用 Firefox,或者使用支持 WebGL2 图形加速的较新设备。
  • 想分析 Stage 而不是摄像头?
    选择输入图像 [stage]:使用这个积木分析 Scratch Stage 图像,而不是实时摄像头画面。 Scratch 舞台可以包含摄像头画面,以及当前在舞台上可见的任何角色和背景。
    注意: 处理 Scratch 舞台的速度可能会比直接使用摄像头更慢。

🎯 物体检测专项技巧 #

  • 没有检测到物体? 确认分类正在运行,改善光线,把物体移近一些,并检查所选模型是否支持该物体标签。
  • 物体名称不对? 每种检测模型都有自己学到的物体词汇。查看“list of [current] detections”积木返回的准确标签。
  • 错误检测太多? 逐步提高最低置信度,例如从 0.35 提高到 0.5。
  • 真实物体经常漏检? 尝试改善光线、调整角度、使用 Balanced 模型,或稍微降低置信度阈值。
  • 需要识别 Fast 或 Balanced 无法识别的物体? 试试物体类别词汇更广的 Wide 模型。
  • 只关注少数几种物体? 把这些物体的准确标签加入 my detection list,再将“look for [MODE]”切换到 my detection list。
  • my detection list 模式突然检测不到任何物体? 检查 my detection list 是否为空,以及列表中的名称是否与模型标签完全一致。
  • 项目 2 或项目 3 返回空值? 只有当前存在足够数量的匹配检测结果,这些编号才有效。
  • 已保存的位置似乎过时了? 保存的检测结果本来就是一个快照。再次运行“save [OBJECT] from [SOURCE] detections, order by [ORDER_TYPE]”,通常选择 current 作为来源,即可更新。
  • 项目运行缓慢? 使用 Fast 模型、增大分类间隔、关闭其他占用资源较多的浏览器标签页,或减少 Scratch 脚本读取检测数据的频率。
  • 无法使用摄像头? 将输入源切换为 stage,并使用背景、角色或导入的图像测试。

🔒 隐私与安全 #

  • 所有处理都在你的浏览器本地运行。
  • 不会将任何图像或视频上传到其他地方。
  • 扩展启动时,模型文件会直接从 Pishi.ai 加载,因此不会使用任何第三方模型服务器。
  • 使用摄像头之前,请务必先询问老师或家长。
  • 你可以随时安全地使用此积木 将视频 [关闭].

🧪 技术信息 #

  • 模型类型: 预训练的 ONNX 物体检测模型。
  • Framework (框架): onnxruntime-web.
  • 浏览器运行方式: 桌面浏览器在支持 WebGPU 时优先使用它,否则回退到 WebAssembly (WASM);Android 使用 WASM。
  • 模型选项: Fast (320×320,365 类)、Balanced (640×640,365 类) 和 Wide (640×640,4,585 类)。
  • 启动模型: 所有受支持的设备均使用 Fast (320×320)。
  • 默认最低置信度: 0.35.
  • Detection (检测): 同一帧可以报告多个物体。
  • 置信度报告积木 返回 0-1 范围内的数值。
  • Coordinates (坐标): 检测框中心会映射到 Scratch 舞台坐标;宽度和高度以舞台单位返回。
  • Sources: 报告积木可以读取 current 实时检测结果或 saved 快照。
  • 筛选: 检测模式可以保留所有结果,或只保留用户自定义检测列表中的标签。
  • Saved Detections: 可以按置信度、水平位置、垂直位置或大小筛选并排列快照。
  • Hat Stability: 检测数量的变化必须连续 2 帧保持一致,物体检测帽形积木才会将其视为稳定。
  • Detection Boxes: 默认显示可视化检测框,并且可以在扩展中控制。
  • Inputs (输入源): 摄像头实时画面或 Scratch 舞台图像。
  • Processing: 加载所需模型文件后,检测会在浏览器本地运行。

🔗 相关扩展 #

  • 🖐️ HandPose —检测手部特征点和手势。
  • 🕺 身体姿态检测 —追踪全身姿势和动作。
  • 😎 人脸网格 —检测面部特征点和表情。
  • 🖼️ 图像训练器 —直接在 Scratch 中训练自己的图像分类器。
  • 🏫 Google 可训练机器 —导入预先训练好的自定义分类模型。

🖼️ Object Detection 与 Image Trainer 对比 #

功能 物体检测 图像训练器
训练 使用预训练模型—无需训练 学生使用示例训练自己的标签
回答的问题 “这里有什么物体?有多少个?它们在哪里?” “哪个标签最符合整张图像?”
同时识别多个物体 是 不能分别定位各个物体
位置和大小 有—X、Y、宽度和高度 没有物体检测框的位置信息
自定义物体类别 仅限所选预训练检测模型提供的标签 可以—学生自行创建标签
最适合的课堂用途 计算机视觉、物体追踪、计数、坐标和事件驱动项目 学习机器学习、训练数据、示例和自定义视觉指令

↔ 在手机上左右滑动即可查看完整表格

 

💡 为什么选择物体检测? #

当项目需要找到真实物体并知道它们的位置时,请选择 Object Detection。
如果学生希望无需先训练模型就立即看到结果,它尤其有用。

  • 识别同一场景中的多个物体。
  • 统计物体数量,并比较它们的位置或大小。
  • 制作能对现实世界变化作出响应的项目。
  • 以适合 Scratch 学习者的方式探索置信度、筛选、排序和计算机视觉。

💡 什么时候应该改用图像训练器? #

如果需要项目专属的类别,例如你自己的手势、课堂卡片、自定义指令,或预训练检测器不认识的物体,请使用 Image Trainer。
Image Trainer 让学生自行创建标签,并通过自己的示例进行训练。

简单来说:
使用 Object Detection 寻找并定位 AI 已经认识的物体。
想教 AI 识别你自己的视觉类别时,使用 Image Trainer。


📚 了解更多 #


滚动至顶部