PoseNet - Seguimiento de la postura corporal completa en Scratch

🏃‍♂️ PoseNet - Seguimiento de la postura corporal completa en Scratch #

La extensión PoseNet incorpora el seguimiento corporal completo con IA en tiempo real a Scratch.
Permite que tus proyectos reaccionen a los movimientos de tu cuerpo — caminar, saludar, bailar o saltar — todo en tiempo real, directamente en tu navegador y sin necesidad de configuración.
Lo suficientemente sencilla para estudiantes y lo bastante potente para aulas creativas. ✨

🌟 Descripción general #

• Detecta el cuerpo completo: Sigue las principales articulaciones del cuerpo: cabeza, hombros, codos, muñecas, caderas, rodillas y tobillos.
• 33 puntos clave: Utiliza el modelo BlazePose con 33 puntos clave (cabeza, brazos, torso y piernas).
• Leer coordenadas: Obtén la posición X/Y de cualquier articulación detectada directamente en el escenario de Scratch para mover sprites o activar acciones.
• Medir: Calcula ángulos y distancias entre dos articulaciones.
• Cambiar la vista previa de la cámara: Muestra, oculta o invierte la vista de la cámara según tus necesidades.
• Elegir la entrada: Analiza la imagen de la cámara en vivo o directamente desde el escenario de Scratch.

✨ Características principales #

• Seguimiento corporal completo de una sola persona mediante el modelo BlazePose.
• Menú desplegable con las articulaciones corporales más comunes.
• Intervalos de clasificación ajustables para un rendimiento más fluido.
• Controles para la vista previa de la cámara, transparencia y dispositivos.
• Funciona completamente en el navegador – seguro y privado.

🚀 Cómo usar #

1. Ve a: pishi.ai/play
2. Abre la sección Extensiones.
3. Selecciona la extensión PoseNet.
4. Permite el acceso a la cámara cuando el navegador lo solicite y verifica que aparezca la vista previa del video.
5. Si no se detecta ninguna cámara, la entrada cambiará automáticamente a la imagen del escenario.
6. Una vez cargada la extensión, la detección continua de la postura comenzará automáticamente (puedes cambiar el modo en cualquier momento).
7. Usa los bloques de posición y medición para hacer que los sprites reaccionen a los movimientos de tu cuerpo: camina, salta o saluda para controlar tu proyecto.

Consejos

• Colócate de forma que la parte superior de tu cuerpo sea completamente visible y con una iluminación uniforme.
• Usa el bloque número de personas para comprobar si actualmente se ha detectado una persona.
• En aulas o en dispositivos más lentos, utiliza intervalos de clasificación de 100–250 ms para obtener un rendimiento más fluido.

🧱 Bloques y funciones #

📍 Posición y conteo #

Informa la posición X o Y de una articulación corporal en el escenario.
KEYPOINT: elige una articulación del menú desplegable (hombro, codo, muñeca, etc.).
PERSON_NUMBER: selecciona qué persona rastrear (en BlazePose solo hay 1). "1" = primera persona detectada.

Devuelve vacío si no se detecta ninguna persona, o cuando la articulación seleccionada está fuera de la vista de la cámara, o su confianza de detección está por debajo del umbral mínimo.

Informa el número de personas detectadas actualmente (0 o 1). BlazePose rastrea a una sola persona a la vez para obtener la mejor precisión.

📏 Mediciones #

Ángulo (en grados) entre dos articulaciones de una persona — excelente para detectar levantamiento de brazos, inclinación o postura.

Distancia en píxeles del escenario entre dos articulaciones — perfecto para verificar la longitud de zancada o la envergadura de brazos.

Elige qué deben devolver los bloques de coordenadas cuando no se encuentra una persona o articulación.
RETURN_TYPE: Mantiene las últimas coordenadas encontradas o devuelve un valor vacío.

Notas:
Puntos predeterminados: 11 (hombro izquierdo) y 12 (hombro derecho).
Las coordenadas están centradas en el escenario (X ≈ −240…240, Y ≈ −180…180).
Cuando el video está reflejado, los valores de la coordenada X también se invierten para coincidir con lo que ves en pantalla.

🎯 Confianza #

Establece la puntuación mínima de detección (0–1) requerida para que una articulación se considere válida.
Si la confianza de una articulación está por debajo de este umbral, se ignora — lo que significa que los bloques de X/Y, ángulo o distancia devolverán vacío en lugar de valores inestables.

Informa el valor actual del umbral de confianza - útil para mostrarlo en pantalla o ajustarlo dinámicamente durante un proyecto.

Nota: Confidence filtering applies per joint, not per person.
con el umbral, cualquier bloque que use las coordenadas de esa articulación (como posición, ángulo o distancia) devolverá vacío.

⚙️ Controles de Clasificación #

• clasificar [INTERVAL] - Elige con qué frecuencia se ejecuta la detección:
  • cada vez que se ejecuta este bloque
  • continuo, sin retraso
  • continuo, cada 50–2500 ms
• activar clasificación [on_off] - Inicia o detiene la detección continua.
• classification interval - Devuelve el intervalo actual en milisegundos.
• clasificación continua - Indica si la detección continua está “on” u “off”.
• seleccionar imagen de entrada [camera/stage] - Elige cámara o escenario (stage).
• imagen de entrada - Devuelve la fuente de entrada activa.

🎥 Controles de Video #

• activar vídeo [off/on/on-flipped]
  • encendido: muestra la vista previa de la cámara en modo espejo (como una webcam típica).
  • encendido-invertido: muestra la vista previa sin espejo — las direcciones aparecen como en el mundo real.
  • apagado: apaga la vista previa de la cámara. En modo stage, la detección continúa funcionando.
• fijar transparencia de vídeo a [TRANSPARENCY|text] — Ajusta qué tan visible es la vista previa
  • 0: completamente visible
  • 100: completamente transparente (invisible pero activa)
  Usa un valor de 0–100 para ajustar la opacidad y ayudar a que los sprites se vean claramente sobre la cámara.
• seleccionar cámara [CAMERA] — permite elegir entre las cámaras disponibles en tu dispositivo. El menú desplegable muestra todas las cámaras detectadas y la extensión cambia automáticamente a la que selecciones.

🦵 Puntos clave comunes (números útiles) #

Usa estos números de acceso rápido para articulaciones corporales comunes, o elige del menú desplegable.

BlazePose (33 keypoints):

0: nariz
1 / 2 / 3: ojo izquierdo interno / centro / externo
4 / 5 / 6: ojo derecho interno / centro / externo
7 / 8: oreja izquierda / derecha 9 / 10: boca izquierda / derecha
11 / 12: hombro izquierdo / derecho 13 / 14: codo izquierdo / derecho
15 / 16: muñeca izquierda / derecha 17 / 18: dedo meñique izquierdo / derecho
19 / 20: dedo índice izquierdo / derecho 21 / 22: pulgar izquierdo / derecho
23 / 24: cadera izquierda / derecha 25 / 26: rodilla izquierda / derecha
27 / 28: tobillo izquierdo / derecho 29 / 30: talón izquierdo / derecho
31 / 32: índice del pie izquierdo / derecho

Los números coinciden con los índices de puntos de referencia utilizados por MediaPipe BlazePose.

🎓 Usos educativos #

• Explora la biomecánica con ángulos y distancias de articulaciones en vivo.
• Enseña sistemas de coordenadas vinculando el movimiento corporal con las posiciones de los objetos en el escenario.
• Aplica matemáticas y geometría para medir simetría, zancada o postura.
• Crea arte interactivo, danza o proyectos de fitness controlados por movimiento.

🎮 Proyectos de ejemplo #

• Contador de saltos: Detecta el movimiento vertical del tobillo para puntuar saltos.
• Controlador de brazo levantado: Levanta la mano para mover un objeto hacia arriba.
• Juego de equilibrio: Usa los ángulos de los hombros para mantener un objeto centrado.
• Espejo de baile: Mapea muñecas y tobillos a efectos coloridos.
• Entrenador de sentadillas: Cuenta sentadillas usando los ángulos de cadera-rodilla.

🧩Pruébalo tú mismo: pishi.ai/play

🔧 Consejos y solución de problemas #

• ¿No hay cámara?
  • Asegúrate de que tu cámara esté conectada y que el navegador tenga permiso para usarla.
  • Si la cámara está bloqueada, actívala en la configuración de permisos del sitio del navegador y vuelve a cargar la página.
  • Durante la carga de la extensión, si no se detectan cámaras, la entrada cambiará automáticamente a la imagen del escenario para que puedas seguir probando las funciones de Malla Facial.
• ¿No hay detección?
  • clasificación continua: Usa este bloque informador para comprobar si la clasificación está activa.
  • Si está activa, mejora la iluminación y mira directamente a la cámara.
  • activar clasificación [encendido]: Usa este bloque si la clasificación no está activa. Después vuelve a comprobar el estado de clasificación con el reportero anterior.
  • En el modo de entrada de cámara, cuando la cámara se apaga, la clasificación también se detiene. Debes volver a activar el vídeo o cambiar la entrada al escenario.
  • En el modo de entrada de escenario, el sistema clasifica todo lo que sea visible en el escenario: fondos, sprites o imágenes. Puedes apagar completamente el vídeo y aun así procesar imágenes del escenario.
  El modo escenario es más lento que la entrada por cámara, así que reduce tu intervalo de clasificación (por ejemplo, 100–250 ms) para obtener resultados más fluidos usando este bloque: clasificar [INTERVAL]
  • En el modo escenario, los puntos de referencia de “izquierda” y “derecha” están intercambiados porque la imagen del escenario no está reflejada. El sistema de coordenadas representa una vista real (sin espejo).
  • La clasificación también puede reiniciarse automáticamente cuando usas bloques como:
  activar vídeo [encendido] / clasificar [INTERVAL] / seleccionar cámara [CAMERA] / seleccionar imagen de entrada [camera/stage].
• ¿Vista invertida?
  activar vídeo [encendido-invertido]: Usa esto para mostrar la cámara sin efecto espejo. “on” muestra la imagen reflejada como una selfie. “on-flipped” muestra la orientación real izquierda/derecha.
• ¿Va lento o tiene retraso?
  Usa intervalos de clasificación entre 100–250 ms o cierra otras pestañas del navegador para reducir la carga de procesamiento.
• ¿Advertencia de WebGL2?
  Prueba con Firefox o con un dispositivo más nuevo que sea compatible con aceleración gráfica WebGL2.
• ¿Analizar el escenario en lugar de la cámara?
  seleccionar imagen de entrada [stage]: Usa esto para analizar la imagen del escenario de Scratch en lugar de una cámara en vivo.

🏃‍♂️ Consejos específicos de PoseNet #

• ¿No se detecta a la persona? Asegúrate de que la parte superior de tu cuerpo sea completamente visible - al menos tu cabeza, hombros y brazos deben estar en el encuadre para una detección consistente.
• ¿Faltan articulaciones? Algunas articulaciones como muñecas o tobillos pueden desaparecer si están cubiertas o fuera del encuadre. Verifica el conteo de personas para confirmar la detección.
• ¿Baja confianza en una articulación específica? Mejora la iluminación o baja ligeramente el valor de confianza mínima (por ejemplo, 0.1–0.2) para ayudar a capturar articulaciones difíciles como los tobillos.
• ¿El seguimiento es inestable? Colócate a unos 3–6 pies (1–2 metros) de la cámara para que todo tu cuerpo sea visible y esté uniformemente iluminado.
• ¿Detectar levantamiento de brazo? Compara la posición Y de los puntos clave 15 o 16 (muñecas) con los puntos clave 11 o 12 (hombros). Si la muñeca está más alta, el brazo está levantado.
• ¿Contar saltos? Rastrea la posición Y de los puntos clave 27 o 28 (tobillos). Un movimiento ascendente repentino indica un salto.
• ¿Detectar sentadilla? Mide el ángulo entre los puntos clave 23 (cadera), 25 (rodilla) y 27 (tobillo). Un ángulo más pequeño significa una sentadilla más profunda.
• ¿Verificar postura o equilibrio? Calcula el ángulo entre los puntos clave 11 y 12 (hombros). Una inclinación fuera de lo horizontal sugiere desequilibrio o inclinación.
• ¿Detectar caminata? Observa el movimiento alternante en las posiciones X de los puntos clave 27 y 28 (tobillos). El movimiento regular de lado a lado indica caminata.
• ¿Solo se detecta una persona con BlazePose? Eso es esperado — BlazePose se enfoca en el seguimiento de cuerpo completo de alta precisión de una sola persona.
• ¿Usando el modo escenario con fotos? En el modo escenario, los puntos de referencia no están reflejados — la izquierda y la derecha corresponden a las posiciones anatómicas reales.

🔒 Privacidad y seguridad #

• Todo se ejecuta localmente en tu navegador.
• Ninguna imagen o vídeo se sube a ningún servidor.
• Los archivos del modelo pueden descargarse una vez para uso sin conexión.
• Siempre pide permiso a un profesor o padre antes de usar la cámara.
• Puedes apagar el vídeo en cualquier momento activar vídeo [apagado].

🧪 Información técnica #

• Modelo: MediaPipe BlazePose
• Framework: TensorFlow.js (última versión) – funciona completamente en el navegador usando aceleración WebGL2.
• Personas: 1 (detección de una sola persona)
• Puntos de referencia: 33 keypoints (0–32)
• Coordenadas: píxeles centrados en el escenario (X derecha, Y arriba)
• Reflejo: “on” = vista reflejada “on-flipped” = vista real
• Entradas: cámara o lienzo del escenario
• Puntos predeterminados: 11 (left shoulder), 12 (right shoulder)
• Requiere: WebGL2 para mejor rendimiento.

🔗 Extensiones relacionadas #

• 😎 Malla facial - detecta puntos de referencia faciales
• 🖐️ Posición de Mano - detecta puntos de referencia de la mano.
• 🖼️ Entrenador de Imágenes – Crea modelos de IA personalizados.
• 🏫 Máquina de enseñanza de Google – importa tus propios modelos TM.

📚 Más información #

• Ayuda con las extensiones de IA en pishi.ai
• MediaPipe BlazePose Reference
• Ideas para rascar