Foxtech proporciona soluciones de drones industriales & Sistemas de carga útil de UAV.
Presentamos HeadGo Ego: una nueva solución de recopilación de datos montada en la cabeza para IA integrada y aprendizaje robótico.
Para crear sistemas de IA encarnada capaces se necesita algo más que grabar vídeos comunes. Los investigadores necesitan datos estructurados y sincronizados que ayuden a los robots a comprender lo que ve una persona, cómo mueven sus manos y cómo se desarrolla una operación a lo largo del tiempo.
Para hacer frente a este desafío, Foxtech presenta HeadGo Ego , un nuevo dispositivo montado en la cabeza para la recopilación de datos humanos, diseñado para la IA incorporada, el aprendizaje robótico, el aprendizaje por imitación y el entrenamiento en manipulación diestra.
Al combinar la captura visual en primera persona, el seguimiento de puntos clave de la mano, la detección de movimiento, la monitorización en tiempo real y un sistema DataCube integrado tipo mochila, HeadGo Ego ayuda a los equipos de investigación a recopilar datos sobre el funcionamiento humano en un flujo de trabajo móvil y práctico.
¿Qué problema resuelve HeadGo Ego?
Uno de los principales desafíos en el desarrollo de la IA encarnada es la recopilación de datos de demostración humanos suficientes y de alta calidad.
Una cámara convencional puede grabar lo que sucede durante una tarea, pero el vídeo por sí solo puede no proporcionar la información estructurada necesaria para el aprendizaje robótico. Los investigadores también pueden necesitar comprender la posición espacial de las manos, los puntos clave de cada mano, las trayectorias de movimiento, la información de profundidad y la sincronización exacta de cada acción.
La recopilación de estos flujos de datos con dispositivos separados puede generar dificultades adicionales. El equipo puede restringir el movimiento del operador, requerir configuraciones repetidas o dificultar la sincronización de las diferentes fuentes de datos.
HeadGo Ego está diseñado para simplificar este proceso al recopilar datos de operación en primera persona directamente desde la perspectiva del operador. Combina información visual con la postura de la mano, coordenadas espaciales, profundidad, marcas de tiempo y trayectorias de movimiento, lo que proporciona una base de datos más completa para el entrenamiento de IA encarnada.
¿Por qué son importantes los datos en primera persona para el aprendizaje de los robots?
Los robots deben aprender no solo cómo se ve una tarea terminada, sino también cómo la realiza una persona.
Durante actividades como recoger un objeto, organizar elementos, usar una herramienta o completar una tarea de manipulación de varios pasos, la perspectiva del operario contiene valiosa información contextual. Muestra qué objetos son visibles, cómo se acercan las manos a ellos y cómo cambia el entorno circundante a lo largo de la operación.
Dado que HeadGo Ego se lleva en la cabeza, las cámaras siguen la dirección de visión natural del usuario. Esto permite que el sistema registre la tarea desde una perspectiva estrechamente relacionada con la atención y las acciones del usuario.
Los datos en primera persona resultantes pueden servir de base para la investigación sobre:
- IA encarnada
- Aprendizaje robótico
- Aprendizaje por imitación
- Análisis de operaciones humanas en primera persona
- Manipulación diestra
- Desarrollo de conjuntos de datos de demostración humana
¿Qué datos puede recopilar el sistema?
HeadGo Ego va más allá del registro visual estándar al generar múltiples tipos de datos relacionados con el funcionamiento.
El sistema puede capturar 21 puntos clave de la mano , junto con la postura, las coordenadas espaciales, la profundidad, las marcas de tiempo y las trayectorias de movimiento. Estos datos ayudan a describir la ubicación de las manos del operador y cómo se mueven durante la tarea.
Para los equipos de investigación, esto permite estudiar una operación como una secuencia de movimientos estructurados, en lugar de solo como un videoclip. La información se puede utilizar para crear conjuntos de datos para el entrenamiento y la evaluación de modelos de aprendizaje robótico.
El sistema está equipado con tres cámaras:
- Dos cámaras binoculares
- Una cámara RGB
Esta configuración admite la adquisición de datos visuales RGB y relacionados con la profundidad. Una IMU de 9 ejes proporciona detección de movimiento adicional, lo que ayuda a capturar cómo se mueve el operador mientras realiza la tarea.
¿Cómo mejora la recopilación de datos el amplio campo de visión?
La manipulación humana no siempre se produce directamente en el centro de la imagen de la cámara. El operador puede alcanzar objetos a ambos lados, mirar hacia abajo a una superficie de trabajo o moverse entre diferentes partes del entorno.
HeadGo Ego proporciona un campo de visión de:
- diagonal de 150°
- 128° horizontal
- 80° vertical
Este amplio rango de visión ayuda a capturar una mayor parte del espacio de trabajo del operador y reduce la probabilidad de que movimientos importantes de las manos u objetos cercanos queden fuera del área grabada.
Para tareas que impliquen manipulación con ambas manos, grandes superficies de trabajo o cambios frecuentes en la dirección de la visión, una vista en primera persona más amplia puede proporcionar un contexto visual más completo para el procesamiento de datos y el entrenamiento del modelo posteriores.
¿Cómo apoya HeadGo Ego las manifestaciones humanas naturales?
Los datos de demostración humana son más útiles cuando el operador puede realizar las tareas de forma natural.
Dado que el dispositivo sensor principal se lleva en la cabeza y los componentes de procesamiento y alimentación están integrados en un sistema tipo mochila, el operador puede moverse por el entorno sin estar restringido a una estación de grabación fija.
Esta configuración móvil es idónea para recopilar datos en diferentes espacios de trabajo y entornos operativos cotidianos. Los investigadores pueden demostrar las tareas utilizando sus propias manos mientras el sistema registra el punto de vista del operador, los movimientos de sus manos y la información relacionada con el movimiento.
La mochila integra la unidad de procesamiento principal y la fuente de alimentación. Además, incorpora una estructura resistente a los golpes y un diseño de ventilación activa para facilitar la recopilación de datos móviles.
¿Cómo pueden los operadores supervisar el proceso de recolección?
Un problema común durante la recopilación de datos es descubrir demasiado tarde que una grabación estaba incompleta, que el almacenamiento era insuficiente o que parte del sistema no funcionaba correctamente.
HeadGo Ego soluciona este problema con una pantalla de control principal que proporciona monitorización del sistema en tiempo real. Los operadores pueden comprobar:
- Vídeo en directo
- Temperatura del dispositivo
- Uso de CPU y memoria
- Almacenamiento disponible
- Velocidad de fotogramas
- Estado del dispositivo
- progreso de la recopilación de datos
Esta visibilidad ayuda al operador a identificar posibles problemas mientras se graba la tarea. Reduce el riesgo de completar una demostración larga y luego descubrir que faltan datos importantes o que estos no son utilizables.
La monitorización en tiempo real resulta especialmente valiosa cuando los equipos de investigación necesitan recopilar numerosas demostraciones en múltiples operadores, tareas o entornos.
¿Cómo reduce el sistema el tiempo de configuración?
La configuración repetida de la red puede ralentizar la recopilación de datos, especialmente al cambiar de ubicación o de red.
HeadGo Ego admite la configuración Wi-Fi mediante código QR. El operador puede escanear un código QR con la cámara Ego para configurar la conexión de red, lo que reduce la necesidad de una configuración manual prolongada.
Esta función puede ser útil para equipos que recopilan datos en diferentes laboratorios, espacios de trabajo o entornos de campo. Una configuración de red más rápida permite a los investigadores dedicar más tiempo a grabar demostraciones y menos tiempo a preparar el equipo.
¿Se puede utilizar HeadGo Ego de forma independiente?
Sí. HeadGo Ego puede funcionar como un sistema independiente de recopilación de datos humanos en primera persona.
Cuando se utiliza de forma independiente, puede recopilar información visual, datos de la postura de la mano, 21 puntos clave de la mano, coordenadas espaciales, profundidad, marcas de tiempo y trayectorias de movimiento. Esto la hace idónea para proyectos centrados en la visión egocéntrica, el análisis de operaciones humanas, el aprendizaje por imitación y el desarrollo de conjuntos de datos de IA encarnada.
El sistema estándar incluye:
- Un dispositivo de recopilación de datos montado en la cabeza HeadGo Ego
- Un sistema de procesamiento de datos tipo mochila DataCube
¿Puede funcionar con otros dispositivos de recopilación de datos humanos?
HeadGo Ego también se puede utilizar junto con GripperGo Pro .
En un flujo de trabajo combinado, HeadGo Ego puede complementar el conjunto de datos con información visual en primera persona, la postura de las manos, datos de puntos clave e información operativa global. Esto permite a los equipos de investigación capturar demostraciones humanas desde múltiples perspectivas complementarias.
La elección entre usar HeadGo Ego de forma independiente o integrarlo con GripperGo Pro depende de los requisitos de datos del proyecto. Los equipos que necesitan principalmente recopilar datos móviles en primera persona pueden usar HeadGo Ego por sí solo, mientras que los proyectos que requieren un conjunto de datos más completo sobre la operación humana pueden considerar una configuración combinada.
¿Qué tipos de tareas se pueden registrar?
HeadGo Ego está diseñado para la captura de la operación humana en primera persona. Se puede utilizar para grabar demostraciones en las que el operador interactúa de forma natural con los objetos y el espacio de trabajo circundante.
Las posibles tareas de investigación incluyen:
- Recogida y colocación de objetos
- Clasificación y organización
- Manipulación a dos manos
- Demostraciones del uso de herramientas
- Registro de operaciones en varios pasos
- Análisis de la trayectoria de la mano humana
- Recopilación de conjuntos de datos de manipulación diestra
- Demostraciones de tareas cotidianas para el aprendizaje por imitación.
El diseño específico de la tarea y la estructura del conjunto de datos se pueden determinar en función de la plataforma robótica del equipo de investigación, el marco de aprendizaje y los objetivos de entrenamiento.
¿Para quién está diseñado HeadGo Ego?
HeadGo Ego está destinado principalmente a organizaciones que desarrollan sistemas de inteligencia incorporada y aprendizaje robótico, entre las que se incluyen:
- Universidades y laboratorios de robótica
- Equipos de investigación de IA encarnada
- Investigadores sobre aprendizaje robótico y aprendizaje por imitación
- Desarrolladores de manipulación diestra
- Empresas emergentes de IA y robótica
- Equipos de recopilación de conjuntos de datos
- Empresas que desarrollan sistemas robóticos de uso general.
Puede resultar especialmente útil para equipos que necesitan recopilar demostraciones humanas en primera persona en múltiples tareas o entornos sin tener que construir un sistema de captura fijo y complejo para cada proyecto.
¿Cómo puede HeadGo Ego mejorar el flujo de trabajo de recopilación de datos?
HeadGo Ego integra la detección, el procesamiento, la monitorización y el despliegue móvil en un sistema más unificado.
En lugar de ensamblar cámaras, dispositivos de seguimiento de manos, sensores de movimiento, hardware de procesamiento y fuentes de alimentación por separado para cada sesión de recopilación, los equipos pueden trabajar con una configuración unificada montada en la cabeza y basada en una mochila.
Un flujo de trabajo típico puede incluir:
- Preparación del sistema HeadGo Ego y DataCube.
- Conéctese a la red Wi-Fi necesaria mediante el escaneo del código QR.
- Comprobación del vídeo, el almacenamiento, la velocidad de fotogramas y el estado del dispositivo en la pantalla de monitorización.
- Comenzando la tarea de demostración humana.
- Recopilación de datos visuales en primera persona, puntos clave de la mano, profundidad, marca de tiempo y trayectoria.
- Seguimiento del progreso de la colecta en tiempo real.
- Organizar los datos recopilados para el posterior aprendizaje del robot y el desarrollo del modelo.
Este enfoque ayuda a que la recopilación de demostraciones humanas sea más repetible y manejable, especialmente cuando un proyecto requiere un gran número de muestras de tareas.
Una forma más práctica de crear conjuntos de datos de demostración humana
El lanzamiento de HeadGo Ego ofrece a los desarrolladores de IA encarnada una nueva opción para recopilar datos estructurados de operaciones humanas en primera persona.
Al combinar visión binocular y RGB, 21 puntos clave de la mano, información sobre la postura espacial, datos relacionados con la profundidad, una IMU de 9 ejes, monitorización en tiempo real y una mochila DataCube móvil, el sistema está diseñado para ayudar a los investigadores a capturar no solo lo que ve el operador, sino también cómo se realiza la operación.
Ya sea que se utilice de forma independiente o junto con GripperGo Pro, HeadGo Ego puede contribuir al desarrollo de conjuntos de datos más completos para el aprendizaje robótico, el aprendizaje por imitación y la investigación sobre manipulación diestra.
