Ver categorías

Detección de objetos - detecta objetos en Scratch.

🎯 Detección de objetos - detecta objetos en Scratch #

La extensión Detección de objetos incorpora a Scratch un verdadero sistema de reconocimiento de objetos basado en inteligencia artificial.
Permite que tu proyecto identifique varios objetos mediante la imagen en directo de la cámara o el escenario de Scratch, los cuente, obtenga su posición y tamaño, y reaccione cuando aparezcan.
Como los modelos ya están entrenados, los estudiantes pueden comenzar a experimentar inmediatamente con la visión artificial, sin necesidad de entrenar un modelo ni realizar configuraciones externas.
Es lo suficientemente sencilla para principiantes y, a la vez, lo bastante potente para proyectos educativos de IA, STEM y juegos interactivos. 🤖

Pishi points to a screen detecting and labeling an apple, bottle, cup, backpack, ball, and toy.


🌟 Descripción general #

  • Detecta varios objetos: Reconoce varios objetos compatibles en una misma imagen o fotograma de la cámara.
  • Cuenta lo que ve la IA: Obtén el número total de detecciones o cuenta únicamente un objeto específico.
  • Sigue la posición y el tamaño: Obtén las coordenadas X/Y del centro, el ancho y la altura de los objetos detectados en unidades del escenario de Scratch.
  • Filtra lo que importa Detecta todo lo que reconoce el modelo o crea tu propia lista de nombres de objetos para centrar la detección en ellos.
  • Guarda y ordena las detecciones: Guarda una captura de las detecciones seleccionadas y ordénalas según su nivel de confianza, posición o tamaño.
  • Activa eventos: Usa bloques de sombrero para reaccionar cuando aparezca un objeto o cambie el número de detecciones.
  • Elige el modelo adecuado: Cambia entre las opciones de detección Rápida, Equilibrada y Amplia según tu dispositivo, el nivel de detalle de la imagen y la variedad de objetos que necesites.
  • Elige la entrada: Detecta objetos mediante la imagen en directo de la cámara o directamente desde la imagen del escenario de Scratch.

✨ Características principales #

  • Detección de objetos con modelos preentrenados y sin necesidad de prompts; no requiere ninguna fase de entrenamiento.
  • Detecta varios objetos en una misma imagen y trabaja con cada detección de forma individual.
  • Obtén los nombres, las cantidades, el nivel de confianza, la posición, el ancho y la altura de los objetos.
  • Al crear proyectos más avanzados, elige entre las detecciones actuales en tiempo real y una captura guardada.
  • Crea una lista de detección personalizada para ignorar los objetos que no sean importantes para tu proyecto.
  • Guarda y ordena las detecciones de izquierda a derecha, de arriba abajo, de mayor a menor tamaño o de mayor a menor nivel de confianza; también puedes invertir cualquiera de estos órdenes.
  • Los bloques de sombrero facilitan la creación de juegos controlados mediante objetos y de escenas interactivas.
  • Los intervalos de detección ajustables ayudan a equilibrar la velocidad y el rendimiento del dispositivo.
  • Funciona completamente en el navegador – seguro y privado.

🚀 Cómo usar #

  1. Ve a: pishi.ai/play
  2. Abre la sección Extensiones.
  3. Selecciona la extensión «Detección de objetos».
  4. Permite el acceso a la cámara cuando se te solicite y verifica que aparezca la vista previa.
  5. Si lo prefieres, usa el escenario de Scratch como entrada para detectar objetos en su imagen, incluido cualquier vídeo de la cámara que se muestre allí. Para obtener el mejor rendimiento en tiempo real, utiliza la entrada de la cámara, ya que procesar el escenario puede ser más lento.
  6. La extensión comienza con el modelo de detección «Rápido». Puedes cambiar en cualquier momento entre «Rápido», «Equilibrado» y «Amplio» para ajustar el equilibrio entre velocidad, detalle y cobertura de objetos.
  7. Prueba el bloque reportero «lista de detecciones [actuales]» para ver los nombres de los objetos que reconoce la IA.
  8. Después, utiliza los bloques de conteo, posición, detecciones guardadas, filtrado y eventos para crear tu proyecto.

Consejos

  • Utiliza una iluminación clara y mantén el objeto lo bastante grande para que se vea fácilmente en el encuadre.
  • Comienza con un solo objeto compatible antes de crear un proyecto que dependa de varios objetos.
  • Cuando escribas el nombre de un objeto en otro bloque, utiliza exactamente la etiqueta devuelta por el bloque reportero «lista de detecciones [SOURCE]».
  • El vocabulario de objetos y las etiquetas de detección están en inglés; por lo tanto, utiliza las etiquetas en inglés al introducir nombres de objetos.
  • «Actuales» se refiere a los resultados más recientes de la detección en tiempo real. «Guardadas» se refiere a una captura creada con el bloque de guardar y ordenar.
  • Si aparece más de un objeto del mismo tipo, utiliza #1, #2, #3 y así sucesivamente para trabajar con cada detección por separado.
  • Si la detección funciona lentamente en un dispositivo, prueba el modelo «Rápido» o aumenta el intervalo de clasificación.

🧱 Bloques y funciones #

 

📊 Listas de detección, fuentes y cantidades #

Understanding SOURCE:

  • current – las detecciones en vivo más recientes de la cámara o del escenario.
  • saved – una captura guardada por este bloque:
    save [OBJECT|text] from [SOURCE] detections, order by [ORDER_TYPE]

Usar una captura guardada es útil cuando quieres que el orden y las posiciones de los objetos permanezcan fijos mientras tu proyecto trabaja con ellos.

 

Shared behavior: Los bloques reporteros que devuelven un nombre, una lista, confianza, posición o tamaño devuelven un valor vacío cuando no hay una detección coincidente, no existe una captura guardada o el número de elemento solicitado no existe. Los reporteros de conteo devuelven 0 y los bloques booleanos devuelven falso.

 

list of [SOURCE] detections

Devuelve las etiquetas de los objetos de la fuente de detección seleccionada como texto separado por comas.
Elige actuales para ver lo que la IA reconoce en este momento, o guardadas para leer la captura almacenada.
Este es uno de los mejores bloques para conocer los nombres exactos de objetos que utiliza el modelo seleccionado en sus resultados de detección.

 

number of [SOURCE] detections

Devuelve el número total de objetos de la fuente seleccionada.
Por ejemplo, puede contar todas las detecciones actuales en vivo o indicar cuántos objetos están almacenados en las detecciones guardadas.

 

all

Devuelve el valor especial all, que representa todos los objetos detectados independientemente de su etiqueta.
Cuando quieras que un bloque trabaje con todos los objetos detectados en lugar de una etiqueta específica, colócalo en una entrada de un bloque que solicite un nombre de objeto (OBJECT).
También puedes escribir directamente all en inglés en la entrada del nombre del objeto en lugar de usar este bloque reportero.

 

save [OBJECT|text] from [SOURCE] detections, order by [ORDER_TYPE]

Toma las detecciones coincidentes de la fuente seleccionada, las ordena y guarda el resultado como una nueva captura.
Esto es especialmente útil cuando necesitas un orden predecible, como primero el objeto más a la izquierda, el más grande o el de mayor confianza.

De forma predeterminada, la lista de detecciones actuales ya está ordenada de mayor a menor confianza.

OBJECT: introduce una etiqueta de objeto como person, texto separado por comas como person, car, o utiliza all.

  • all: introduce una etiqueta de objeto como person, texto separado por comas como person, car, o utiliza all.
  • Un nombre de objeto, como person: filtra las detecciones para ese objeto y después ordena los resultados coincidentes.
  • Varios nombres de objetos, como person, car: combina las detecciones que coinciden con cualquiera de los nombres

SOURCE: elige actuales o guardadas.: elige actuales o guardadas.

  • current: utiliza los resultados de detección en vivo más recientes.
  • saved: utiliza la captura guardada existente, lo que permite volver a ordenarla o filtrarla aún más.

ORDER_TYPE: el tipo de orden puede ser:

  • confianza de mayor a menor o confianza de menor a mayor
  • de izquierda a derecha o de derecha a izquierda
  • de arriba abajo o de abajo arriba
  • de mayor a menor tamaño o de menor a mayor tamaño

Después de guardar, elige guardadas en el menú SOURCE de otros bloques para leer la captura.
Las detecciones guardadas permanecen sin cambios hasta que vuelvas a guardar, y cambiar el modelo de detección borra la captura guardada.

 

name of #[INDEX|text] [SOURCE] detection

Reports the label of one detection by its position in the selected source.
INDEX: usa 1 para el primer elemento, 2 para el segundo, y así sucesivamente.
Si el elemento no existe, el bloque devuelve un valor vacío.
En las detecciones guardadas, el elemento 1, el elemento 2 y así sucesivamente siguen el orden seleccionado al guardar las detecciones.

 

number of [OBJECT|text] in [SOURCE] detections

Devuelve cuántas detecciones de la fuente seleccionada coinciden con un nombre de objeto.
OBJECT: usa 1 para el primer elemento, 2 para el segundo, y así sucesivamente.: introduce una etiqueta exacta de objeto, texto separado por comas, o utiliza all para contar todos los objetos de la fuente.
Cuando se proporcionan varios nombres, el bloque devuelve el recuento combinado de sus detecciones. Por ejemplo, person, car cuenta todas las personas y coches detectados.
Úsalo para juegos de conteo, experimentos en clase o lógica como «continuar cuando haya dos personas visibles».


📍 Posición, tamaño y confianza de detección #

confidence of [OBJECT|text] #[INDEX|text] in [SOURCE] detections

Devuelve la confianza de una detección seleccionada en una escala de 0 a 1.
Por ejemplo, 0,87 significa que el modelo asignó a esa detección una puntuación de confianza aproximada del 87 %.

OBJECT: introduce una etiqueta exacta de objeto, o utiliza all para seleccionar elementos de toda la fuente.

INDEX: selecciona el primer, segundo, tercer elemento coincidente, y así sucesivamente.

SOURCE: elige actuales o guardadas.: elige actuales o guardadas.

 

x of [OBJECT|text] #[INDEX|text] in [SOURCE] detections

Devuelve la posición X del centro del cuadro de detección seleccionado, adaptada a las coordenadas del escenario de Scratch.

Úsalo para mover un sprite a la izquierda o a la derecha mediante un objeto del mundo real.

Nota: Un cuadro de detección es el área rectangular alrededor de un objeto detectado que muestra dónde se encuentra en la imagen.

 

y of [OBJECT|text] #[INDEX|text] in [SOURCE] detections

Devuelve la posición Y del centro del cuadro de detección seleccionado, adaptada a las coordenadas del escenario de Scratch.
Úsalo para seguimiento vertical, apuntado o juegos controlados mediante objetos.

 

width of [OBJECT|text] #[INDEX|text] in [SOURCE] detections

Devuelve el ancho del cuadro de detección seleccionado en unidades del escenario de Scratch.
Un valor mayor significa que el objeto detectado ocupa más espacio horizontal en la imagen.

 

height of [OBJECT|text] #[INDEX|text] in [SOURCE] detections

Devuelve la altura del cuadro de detección seleccionado en unidades del escenario de Scratch.

 

anything in [SOURCE] detections?

Devuelve verdadero cuando la fuente seleccionada contiene al menos una detección y falso cuando está vacía.
Con actuales, comprueba la escena en vivo. Con guardadas, comprueba la captura almacenada.

 

[OBJECT|text] #[INDEX|text] detected in [SOURCE] detections?

Comprueba si existen un objeto y un número de elemento determinados en la fuente seleccionada.
Por ejemplo, person #2 es verdadero solo cuando existe una segunda detección coincidente de person.
También puedes utilizar all como valor del objeto para comprobar si un número de elemento determinado existe en toda la fuente.


🎯 Modos de detección y listas personalizadas #

look for [MODE]

Controla qué objetos detectados se incluyen en los resultados utilizados por los demás bloques y eventos de detección de la extensión.

MODE:

  • all detections – conserva todos los objetos reconocidos por el modelo seleccionado.
  • my detection list – conserva únicamente los nombres de objetos que hayas añadido a tu lista de detección personalizada.

Importante: La lista «mi lista de detección» está vacía al iniciar la extensión. Puedes cambiar a este modo en cualquier momento, pero no se mostrarán detecciones hasta que la lista contenga al menos un nombre de objeto.

 

my detection list

Devuelve tu lista personalizada de objetos como texto separado por comas.
La lista también puede guardar un historial de nombres de objetos recién detectados sin duplicados. Por ejemplo, cuando cambie el número de detecciones, añade la lista de detecciones actuales a mi lista de detección. Si añades un nombre que ya está en la lista, incluso con mayúsculas o minúsculas diferentes, no se volverá a añadir.

 

my detection list item #[INDEX|text]

Reports the object name at the selected position in your custom detection list.
INDEX: usa 1 para el primer elemento, 2 para el segundo, y así sucesivamente.
Si el elemento no existe, el bloque devuelve un valor vacío.

 

number of items in my detection list

Devuelve cuántos nombres de objetos únicos hay en tu lista de detección personalizada.
Esto cuenta los nombres configurados, no los objetos visibles actualmente para la cámara.

 

add [OBJECT|text] to my detection list

Añade una etiqueta de objeto a la lista personalizada.
Utiliza exactamente la etiqueta devuelta por el modelo.
El texto separado por comas añade cada etiqueta por separado.
Añadir de nuevo el mismo nombre no crea una entrada duplicada.

 

remove [OBJECT|text] from my detection list

Elimina de tu lista personalizada el nombre de objeto coincidente.
Comma-separated text removes every matching label.

 

clear my detection list

El texto separado por comas elimina todas las etiquetas coincidentes.


⚡ Bloques de sombrero y reacciones #

when any object detected

Ejecuta el script asociado cuando aumenta el número estable de cualquier objeto detectado.
Puede activarse cuando aparece el primer objeto, cuando aparece una nueva etiqueta de objeto o cuando se detecta una instancia adicional de un objeto que ya era visible.

 

when [OBJECT|text] detected

Se ejecuta cuando aumenta el recuento estable del objeto indicado.
Por ejemplo, puede activarse cuando aparece la primera person y volver a activarse si se detecta una person adicional.
Introduce texto separado por comas para que se ejecute cuando aumente el recuento estable de cualquiera de los objetos indicados.
Utilizar all aquí produce el mismo comportamiento de «cuando se detecte cualquier objeto» que el bloque de sombrero anterior.

 

when detections count changed

Se ejecuta cuando cambia el número total estable de objetos detectados actualmente, ya sea aumentando o disminuyendo.
Esto es útil para juegos de conteo y escenas que reaccionan cuando los objetos entran o salen de la vista de la cámara.

 

Nota: Los bloques de sombrero de detección esperan a que se observe el mismo recuento en 2 fotogramas consecutivos antes de considerarlo estable. Esto ayuda a reducir el parpadeo de un solo fotograma y las activaciones accidentales.


🧠 Controles del modelo y de la confianza #

find using [MODEL_NAME] model

Cambia el modelo activo de detección de objetos.
La extensión comienza con el modelo Rápido. Los estudiantes pueden cambiar de modelo según si su proyecto necesita una detección más rápida, más detalle de imagen o compatibilidad con una mayor variedad de tipos de objetos.

Menú del modelo Input Size Classes Ideal para
rápido tamaño: 320 clases: 365 320×320 365 Menor carga de procesamiento y funcionamiento más fluido en dispositivos menos potentes
equilibrado tamaño: 640 clases: 365 640×640 365 Más detalle de imagen utilizando el mismo vocabulario de 365 clases de objetos
amplio tamaño: 640 clases: 4585 640×640 4,585 Un vocabulario de objetos mucho más amplio cuando las opciones de 365 clases no incluyen lo que necesitas

↔ Desliza hacia la izquierda o hacia la derecha para ver la tabla completa en dispositivos móviles.

 

Consejo: Empieza con el modelo Rápido predeterminado para obtener una detección ágil. Elige Equilibrado para obtener más detalle de imagen o Amplio cuando necesites muchas más categorías de objetos.

Importante: Cambiar de modelo borra las detecciones guardadas. El ajuste actual de confianza mínima se conserva al cambiar de modelo.

 

establecer confianza mínima [CONFIDENCE|text]

Establece la confianza mínima necesaria para que un resultado del modelo se informe como detección.

El ajuste utiliza una escala de 0 a 1:

  • 0.35 – default.
  • 0.5-0.7 – más estricto; puede reducir las detecciones débiles o falsas.
  • 0.2-0.3 – más permisivo; puede ayudar con detecciones difíciles, pero también aumentar los errores.

Esta es una forma útil de enseñar a los estudiantes que las predicciones de IA no son simplemente «correctas» o «incorrectas»: cada detección incluye una puntuación de confianza.

 

confianza mínima

Devuelve el ajuste actual de confianza mínima en la escala de 0 a 1.

Remember: Tanto «confianza mínima» como «confianza de [OBJECT] #[INDEX] en detecciones [SOURCE]» utilizan la misma escala de 0 a 1.


⚙️ Controles de Clasificación #

  • clasificar [INTERVAL] - Elige con qué frecuencia se ejecuta la detección:
    • cada vez que se ejecuta este bloque
    • continuo, sin retraso
    • continuo, cada 50–2500 ms
  • activar clasificación [on_off] - Inicia o detiene la detección continua.
  • intervalo de clasificación - Devuelve el intervalo actual en milisegundos.
  • clasificación continua - Indica si la detección continua está “on” u “off”.
  • seleccionar imagen de entrada [camera/stage] - Elige cámara o escenario (stage).
  • imagen de entrada - Devuelve la fuente de entrada activa.

🎥 Controles de Video #

  • activar vídeo [off/on/on-flipped]
    • encendido: muestra la vista previa de la cámara en modo espejo (como una webcam típica).
    • encendido-invertido: muestra la vista previa sin espejo — las direcciones aparecen como en el mundo real.
    • apagado: apaga la vista previa de la cámara. En modo stage, la detección continúa funcionando.
  • fijar transparencia de vídeo a [TRANSPARENCY|text] — Ajusta qué tan visible es la vista previa
    • 0: completamente visible
    • 100: completamente transparente (invisible pero activa)
    Usa un valor de 0–100 para ajustar la opacidad y ayudar a que los sprites se vean claramente sobre la cámara.
  • seleccionar cámara [CAMERA] — permite elegir entre las cámaras disponibles en tu dispositivo. El menú desplegable muestra todas las cámaras detectadas y la extensión cambia automáticamente a la que selecciones.
  • mostrar cuadros de detección [encendido/apagado]
    Activa o desactiva la visualización de los cuadros de detección. Cuando está activada, aparecen cuadros alrededor de cada objeto detectado para que puedas ver qué objetos está siguiendo el modelo. Esto es útil para probar la cámara, comprobar qué tan bien funciona el modelo y depurar un proyecto en tiempo real.

Los cuadros de detección están activados de forma predeterminada en esta extensión. Utiliza el control de cuadros de detección cuando quieras mostrar u ocultar los cuadros visuales alrededor de los objetos reconocidos.


🎓 Usos educativos #

  • Introducir la visión artificial: Los estudiantes pueden ver cómo un modelo de IA convierte imágenes en etiquetas y ubicaciones de objetos.
  • Enseñar confianza e incertidumbre: Compara las predicciones con distintos umbrales de confianza y analiza por qué la IA a veces comete errores.
  • Explore Coordinates: Relaciona las posiciones X/Y detectadas con el movimiento de los sprites y el sistema de coordenadas de Scratch.
  • Explore Size: Utiliza el ancho y la altura para ver qué tamaño parece tener un objeto en la imagen.
  • Practicar listas e índices: Trabaja con el primer, segundo o tercer objeto coincidente y compara varias detecciones.
  • Practice Sorting: Guarda las detecciones y ordénalas por posición, tamaño o confianza.
  • Teach Events: Utiliza bloques de sombrero para mostrar cómo el software puede reaccionar a los cambios del entorno.
  • Analizar las limitaciones de la IA: Compara lo que ven los estudiantes con lo que reconoce el modelo e investiga falsos positivos, objetos no detectados, iluminación, ángulo y tamaño del objeto.

🎮 Proyectos de ejemplo #

  • Saludo con objetos: Haz que un sprite salude cuando aparezca un objeto compatible que hayas elegido.
  • Contador de objetos: Muestra el número de objetos visibles y activa una celebración cuando el recuento alcance un objetivo.
  • Seguir el objetivo: Utiliza el centro X/Y de un objeto detectado para mover un sprite hacia él.
  • ¿Izquierda o derecha? Guarda las detecciones coincidentes de izquierda a derecha y utiliza el elemento 1 para encontrar el objeto situado más a la izquierda.
  • Desafío del objeto más grande: Guarda las detecciones de mayor a menor tamaño y haz que Scratch reaccione al objeto más grande.
  • Laboratorio de confianza de IA: Muestra los valores de confianza y prueba cómo la iluminación, la distancia, el ángulo y el fondo afectan a las predicciones.
  • Búsqueda de objetos en clase: Da a los estudiantes una lista de objetos compatibles y suma un punto cuando la IA encuentre cada uno.
  • ¿Qué hay en el encuadre? Muestra el bloque reportero «lista de detecciones [SOURCE]» para que los estudiantes observen cómo el modelo describe una escena cambiante.

🧩 Pruébalo tú mismo: pishi.ai/play

 


🔧 Consejos y solución de problemas #

  • ¿No hay cámara?
    • Asegúrate de que tu cámara esté conectada y que el navegador tenga permiso para usarla.
    • Si la cámara está bloqueada, actívala en la configuración de permisos del sitio del navegador y vuelve a cargar la página.
    • Al cargar la extensión, si no se detecta ninguna cámara, la imagen de entrada cambia automáticamente al escenario de Scratch, donde se muestran los fondos y los sprites, para que puedas seguir utilizando y probando las funciones de la extensión.
  • ¿No hay detección?
    • clasificación continua: Usa este bloque informador para comprobar si la clasificación está activa.
    • Si está activa, mejora la iluminación y mira directamente a la cámara.
    • activar clasificación [encendido]: Usa este bloque si la clasificación no está activa. Después vuelve a comprobar el estado de clasificación con el reportero anterior.
    • En el modo de entrada de cámara, cuando la cámara se apaga, la clasificación también se detiene. Debes volver a activar el vídeo o cambiar la entrada al escenario.
    • En el modo de entrada de escenario, el sistema clasifica todo lo que sea visible en el escenario: fondos, sprites o imágenes. Puedes apagar completamente el vídeo y aun así procesar imágenes del escenario.
    El modo escenario es más lento que la entrada por cámara, así que reduce tu intervalo de clasificación (por ejemplo, 100–250 ms) para obtener resultados más fluidos usando este bloque: clasificar [INTERVAL]
    • En el modo escenario, los puntos de referencia de “izquierda” y “derecha” están intercambiados porque la imagen del escenario no está reflejada. El sistema de coordenadas representa una vista real (sin espejo).
    • La clasificación también puede reiniciarse automáticamente cuando usas bloques como:
    activar vídeo [encendido] / clasificar [INTERVAL] / seleccionar cámara [CAMERA] / seleccionar imagen de entrada [camera/stage].
  • ¿Vista invertida?
    activar vídeo [encendido-invertido]: Usa esto para mostrar la cámara sin efecto espejo. “on” muestra la imagen reflejada como una selfie. “on-flipped” muestra la orientación real izquierda/derecha.
  • ¿Va lento o tiene retraso?
    Usa intervalos de clasificación entre 100–250 ms o cierra otras pestañas del navegador para reducir la carga de procesamiento.
  • ¿Advertencia de WebGL2?
    Prueba con Firefox o con un dispositivo más nuevo que sea compatible con aceleración gráfica WebGL2.
  • ¿Analizar el escenario en lugar de la cámara?
    seleccionar imagen de entrada [stage]: Usa esto para analizar la imagen del escenario de Scratch en lugar de una cámara en vivo. El escenario de Scratch puede incluir la imagen de la cámara, así como cualquier sprite y fondo que estén visibles en ese momento en el escenario.
    Nota: Procesar el escenario de Scratch puede ser más lento que usar la cámara directamente.

🎯 Consejos específicos para la detección de objetos #

  • ¿No se detectan objetos? Asegúrate de que la clasificación esté activa, mejora la iluminación, acerca el objeto y comprueba que el modelo seleccionado sea compatible con esa etiqueta de objeto.
  • ¿El objeto tiene un nombre incorrecto? Cada modelo de detección utiliza su propio vocabulario de objetos aprendido. Comprueba el bloque «lista de detecciones [actuales]» para ver la etiqueta exacta que devuelve.
  • ¿Demasiadas detecciones falsas? Aumenta gradualmente la confianza mínima, por ejemplo de 0,35 a 0,5.
  • ¿A menudo no se detecta un objeto real? Prueba con una mejor iluminación, un ángulo más claro, el modelo Equilibrado o un umbral de confianza ligeramente inferior.
  • ¿Necesitas un objeto que Rápido o Equilibrado no reconoce? Prueba el modelo Amplio, que utiliza un vocabulario de clases mucho mayor.
  • ¿Solo te interesan unos pocos objetos? Añade esas etiquetas exactas a mi lista de detección y, después, cambia «buscar [MODE]» a mi lista de detección.
  • ¿El modo «mi lista de detección» de repente no detecta nada? Comprueba que mi lista de detección no esté vacía y que sus nombres coincidan exactamente con las etiquetas del modelo.
  • ¿El elemento 2 o el elemento 3 devuelve un valor vacío? Ese número de elemento solo funciona cuando actualmente existen suficientes detecciones coincidentes.
  • ¿Las posiciones guardadas parecen antiguas? Las detecciones guardadas son intencionadamente una captura. Ejecuta de nuevo «guardar [OBJECT] de las detecciones [SOURCE], ordenar por [ORDER_TYPE]», normalmente usando actuales como fuente, para actualizarlas.
  • ¿El proyecto va lento? Utiliza el modelo Rápido, aumenta el intervalo de clasificación, cierra otras pestañas pesadas del navegador o reduce la frecuencia con la que tus scripts de Scratch leen los datos de detección.
  • ¿La cámara no está disponible? Cambia la entrada al escenario y prueba con un fondo, un sprite o una imagen importada.

🔒 Privacidad y seguridad #

  • Todo se ejecuta localmente en tu navegador.
  • Ninguna imagen o vídeo se sube a ningún servidor.
  • Los archivos del modelo se cargan directamente desde Pishi.ai cuando se inicia la extensión, por lo que no se utilizan servidores de modelos de terceros.
  • Siempre pide permiso a un profesor o padre antes de usar la cámara.
  • Puedes usar este bloque de forma segura en cualquier momento activar vídeo [apagado].

🧪 Información técnica #

  • Model Type: Pre-trained ONNX object detection models.
  • Framework: onnxruntime-web.
  • Browser Execution: Los navegadores de escritorio prefieren WebGPU cuando es compatible, con WebAssembly (WASM) como alternativa; Android utiliza WASM.
  • Model Options: Rápido (320×320, 365 clases), Equilibrado (640×640, 365 clases) y Amplio (640×640, 4.585 clases).
  • Starting Model: Rápido (320×320) en todos los dispositivos compatibles.
  • Default Minimum Confidence: 0.35.
  • Detección Se pueden informar varios objetos del mismo fotograma.
  • Confidence Reporter: Devuelve un valor de 0 a 1.
  • Coordenadas: Los centros de los cuadros de detección se adaptan a las coordenadas del escenario de Scratch; el ancho y la altura se expresan en unidades del escenario.
  • Sources: Los bloques reporteros pueden leer tanto las detecciones actuales en vivo como las detecciones de una captura guardada.
  • Filtering: El modo de detección puede conservar todas las detecciones o solo las etiquetas de la lista de detección personalizada del usuario.
  • Saved Detections: Una captura se puede filtrar y ordenar por confianza, posición horizontal, posición vertical o tamaño.
  • Hat Stability: Los cuadros visuales de detección están activados de forma predeterminada y pueden controlarse desde la extensión.
  • Detection Boxes: Visual detection boxes are enabled by default and can be controlled from the extension.
  • Entradas: Imagen de la cámara en vivo o del escenario de Scratch.
  • Processing: La detección se ejecuta localmente en el navegador después de cargar los archivos de modelo necesarios.

🔗 Extensiones relacionadas #

  • 🖐️ Pose de la mano – detecta puntos de referencia y gestos de la mano.
  • 🕺 Detección corporal – sigue la postura y el movimiento de todo el cuerpo.
  • 😎 Malla facial – detecta puntos de referencia y expresiones faciales.
  • 🖼️ Entrenador de Imágenes – entrena tu propio clasificador de imágenes personalizado directamente en Scratch.
  • 🏫 Máquina de enseñanza de Google – importa modelos personalizados de clasificación preentrenados.

🖼️ Detección de objetos frente a Entrenador de imágenes #

Característica Detección de objetos Entrenador de Imágenes
Training Utiliza modelos preentrenados: no requiere entrenamiento Students train their own labels with examples
Qué responde «¿Qué objetos hay aquí, cuántos son y dónde están?» “Which label best matches this whole image?”
Varios objetos a la vez Sí Not as separate located objects
Posición y tamaño Sí: X, Y, ancho y alto No object bounding-box position
Categorías de objetos personalizadas Limitado a las etiquetas disponibles en el modelo de detección preentrenado seleccionado Yes – students create their own labels
Mejor uso en el aula Visión artificial, seguimiento de objetos, conteo, coordenadas y proyectos basados en eventos Teaching machine learning, training data, examples, and custom visual commands

↔ Desliza hacia la izquierda o hacia la derecha para ver la tabla completa en dispositivos móviles.

 

💡 ¿Por qué elegir Detección de objetos? #

Elige Detección de objetos cuando tu proyecto necesite encontrar objetos reales y saber dónde están.
Es especialmente útil cuando los estudiantes quieren obtener resultados inmediatos sin entrenar primero un modelo.

  • Reconoce varios objetos en la misma escena.
  • Cuenta objetos y compara sus posiciones o tamaños.
  • Crea proyectos que reaccionen a cambios del mundo real.
  • Explora la confianza, el filtrado, la ordenación y la visión artificial de una forma adecuada para Scratch.

💡 ¿Cuándo deberías usar Entrenador de imágenes en su lugar? #

Utiliza Entrenador de Imágenes cuando necesites categorías específicas para tu propio proyecto, por ejemplo, tus propios gestos de mano, tarjetas del aula, comandos personalizados u objetos que un detector preentrenado no conoce.
Entrenador de Imágenes permite que los estudiantes creen sus propias etiquetas y aprendan directamente a partir de sus propios ejemplos.

En resumen:
Utiliza Detección de objetos para encontrar y localizar objetos que la IA ya conoce.
Utiliza Entrenador de Imágenes cuando quieras enseñar a la IA tus propias categorías visuales.


📚 Más información #


Scroll al inicio