Suite Agility A2 VR Teleoperation VLA: una plataforma multimodelo para la investigación de IA integrada y el aprendizaje robótico.

A medida que la IA integrada avanza desde la simulación hacia tareas robóticas reales, los investigadores y desarrolladores necesitan más que un brazo robótico. Necesitan una plataforma completa que pueda recopilar datos de alta calidad, admitir diferentes modelos VLA y ayudar a validar los flujos de trabajo de aprendizaje robótico en entornos reales.

La suite Agility A2 VR Teleoperation VLA está diseñada para este propósito. Combina manipulación robótica de doble brazo, teleoperación inmersiva en realidad virtual, visión 3D multicámara, adquisición de datos sincronizada y un flujo de trabajo de software compatible con VLA. Más importante aún, admite múltiples opciones de modelos VLA, incluyendo ACT, SmoLVLA, Pi0, Pi0.5 y XVLA, lo que brinda a investigadores y desarrolladores mayor flexibilidad para la experimentación con IA integrada.

¿Qué problema resuelve el paquete Agility A2 VLA?

Muchos equipos de robótica se enfrentan al mismo desafío: tienen modelos de IA, herramientas de simulación o ideas de investigación, pero carecen de una plataforma robótica práctica para la recopilación de datos del mundo real y la validación de modelos.

Un modelo VLA requiere información visual, datos del estado del robot, datos de acción y la ejecución de tareas reales. Si el hardware, las cámaras, el sistema de control y el software no están bien integrados, los investigadores podrían dedicar demasiado tiempo a construir la infraestructura en lugar de probar ideas.

La suite Agility A2 VR Teleoperation VLA ayuda a resolver este problema al proporcionar una plataforma integrada de doble brazo para teleoperación, recopilación de datos, aprendizaje por imitación, entrenamiento VLA e inferencia en tiempo real. Permite a los equipos avanzar más rápidamente desde la demostración humana al aprendizaje del robot y desde la prueba del modelo hasta la ejecución de tareas.

¿Qué modelos VLA admite?

Una de las principales ventajas de Agility A2 VLA Suite es su compatibilidad con VLA multimodelo. Según la estructura del modelo VLA compatible, el sistema puede funcionar con:

ACT — Indeterminado
SmoLVLA — Opcional
Pi0 — Opcional
Pi0.5 — Opcional
XVLA — Opcional

Esto significa que los usuarios pueden comenzar con ACT como modelo de inferencia predeterminado, a la vez que tienen la flexibilidad de explorar otros modelos VLA dependiendo de su línea de investigación, configuración informática y requisitos de la tarea.

Para laboratorios de investigación, universidades y empresas emergentes de robótica, este soporte multimodelos es fundamental. Diferentes modelos pueden tener un mejor rendimiento en distintas tareas, como agarrar, recoger, colocar, plegar, usar herramientas o manipular objetos a largo plazo. En lugar de limitarse a un único modelo, los usuarios pueden comparar, validar y desarrollar diferentes enfoques basados ​​en VLA en la misma plataforma robótica.

¿Cómo admite ACT la validación rápida del flujo de trabajo de VLA?

ACT se admite como modelo predeterminado, lo que lo hace adecuado para los usuarios que desean comenzar rápidamente con la inferencia VLA y la validación de tareas.

Para los equipos que se inician en la IA integrada o la robótica basada en VLA, una opción de modelo predeterminado resulta muy útil. Reduce la complejidad de la configuración inicial y proporciona un punto de partida práctico para recopilar demostraciones, entrenar políticas de comportamiento y probar las acciones del robot.

Con ACT, los usuarios pueden centrarse en tareas básicas de manipulación, como agarrar, transferir objetos, recoger y colocar, plegar o realizar procesos de ensamblaje sencillos. Esto lo hace idóneo para laboratorios de enseñanza, cursos de robótica con IA y la validación de prototipos en sus primeras etapas.

¿Cómo amplían las posibilidades de investigación los modelos VLA opcionales?

Si bien ACT ofrece un buen punto de partida, los usuarios avanzados pueden necesitar mayor flexibilidad en el modelo. Aquí es donde la compatibilidad opcional con SmoLVLA, Pi0, Pi0.5 y XVLA resulta valiosa.

SmoLVLA puede ser utilizado por equipos que exploran flujos de trabajo VLA ligeros o eficientes. Pi0 y Pi0.5 ofrecen opciones adicionales para experimentar con estructuras de modelos VLA más recientes y estrategias de ejecución de tareas. XVLA ofrece otra opción para los usuarios que desean probar diferentes capacidades de visión, lenguaje y acción en escenarios de manipulación robótica.

El valor de estos modelos opcionales no reside únicamente en la variedad de modelos. Permite a los usuarios comparar el rendimiento en diferentes tareas, conjuntos de datos y estrategias de control. Un laboratorio universitario puede utilizar la plataforma para comparar modelos. Una empresa emergente puede usarla para probar qué modelo es más adecuado para una aplicación comercial. Un equipo de I+D industrial puede utilizarla para validar si un modelo VLA puede gestionar tareas repetitivas específicas en un entorno controlado.

¿Por qué es importante la compatibilidad con múltiples modelos para la IA encarnada?

La IA integrada sigue desarrollándose rápidamente. Ningún modelo por sí solo puede resolver todas las tareas robóticas a la perfección. Un modelo que funciona bien en una tarea puede no ser la mejor opción para otra.

Por ejemplo, un modelo puede ser mejor para tareas de recogida y colocación a corto plazo, mientras que otro puede ser más adecuado para secuencias más complejas que impliquen comprensión visual, interacción con objetos y planificación continua de acciones.

Al ser compatible con ACT, SmoLVLA, Pi0, Pi0.5 y XVLA, la suite Agility A2 VLA ofrece a los investigadores más margen para experimentar. Los usuarios pueden recopilar datos una sola vez, probar diferentes flujos de trabajo de modelos y evaluar el rendimiento de cada modelo en condiciones robóticas reales.

Esto hace que la plataforma sea especialmente adecuada para la investigación en IA incorporada, el aprendizaje por imitación, el entrenamiento de VLA, los experimentos de aprendizaje robótico y la validación de la simulación a la realidad.

¿Cómo ayuda la teleoperación con realidad virtual a la recopilación de datos de VLA?

El aprendizaje robótico de alta calidad comienza con datos de demostración de alta calidad. El paquete Agility A2 VLA Suite utiliza la teleoperación en realidad virtual para permitir a los usuarios controlar el robot de doble brazo de una manera más natural e inmersiva.

Con un casco de realidad virtual, los operadores pueden guiar al robot en sus tareas mientras el sistema registra datos visuales sincronizados, datos del estado del robot y datos de acción. Este flujo de trabajo es especialmente útil para el aprendizaje por imitación, donde el robot aprende a partir de demostraciones humanas.

En comparación con los métodos de control tradicionales, la teleoperación en realidad virtual permite una recopilación de datos más intuitiva. El operador puede guiar ambos brazos, observar el entorno de la tarea y generar datos para su posterior entrenamiento y análisis.

Para la investigación de VLA, esto crea un puente práctico entre la operación humana y el aprendizaje robótico autónomo.

¿Cómo mejora la visión 3D multicámara el aprendizaje de los robots?

Los modelos VLA dependen en gran medida de la información visual. El sistema Agility A2 VLA Suite integra una configuración de visión 3D multicámara, que incluye una cámara en la cabeza y cámaras en las muñecas, para capturar el espacio de trabajo desde diferentes perspectivas.

La cámara de la cabeza ofrece una visión más amplia del entorno, mientras que las cámaras de las muñecas proporcionan información visual de cerca cerca de las pinzas. Esta combinación resulta útil para tareas de manipulación en las que es importante tanto la comprensión global de la escena como la interacción local con los objetos.

Por ejemplo, cuando el robot recoge un objeto, la cámara de la cabeza puede ayudar a comprender la escena general, mientras que la cámara de la muñeca puede capturar información visual detallada cerca del objeto objetivo. Este tipo de datos RGB-D sincronizados permite un entrenamiento más preciso del VLA y una inferencia en tiempo real más fiable.

¿Cómo pueden los investigadores utilizar la plataforma?

La suite Agility A2 VLA puede admitir un flujo de trabajo completo de IA integrada:

En primer lugar, el usuario controla el robot mediante teleoperación en realidad virtual y realiza tareas de manipulación reales. A continuación, el sistema captura datos sincronizados, incluyendo la entrada de la cámara, el movimiento del robot y la información de las acciones. Posteriormente, los datos recopilados se procesan mediante el sistema VLA para el aprendizaje por imitación, el entrenamiento del modelo y la comprobación de inferencias. Finalmente, el modelo entrenado se puede implementar de nuevo en el robot para la ejecución autónoma de tareas.

Este flujo de trabajo ayuda a los usuarios a comprobar si un modelo VLA puede pasar de los datos de demostración al comportamiento robótico real.

Las tareas de investigación típicas pueden incluir la manipulación de objetos, la clasificación de artículos, el plegado, el ensamblaje, la inserción, el transporte, la colocación en estantes y otros experimentos de manipulación con ambos brazos.

¿Qué hace que Agility A2 sea adecuado para la manipulación con ambos brazos?

Muchas tareas cotidianas requieren el uso de ambas manos. Doblar telas, trasladar objetos, estabilizar artículos, abrir paquetes, ordenar objetos o ensamblar piezas a menudo requieren un control bimanual coordinado.

La plataforma Agility A2 está diseñada con dos brazos robóticos de 7 grados de libertad, lo que permite una manipulación con ambos brazos similar a la humana. Esto la hace más adecuada para la investigación en IA integrada que los sistemas de un solo brazo, cuando la tarea requiere la cooperación entre ambos.

Para el entrenamiento de VLA, los datos de ambos brazos también son valiosos porque permiten que el modelo aprenda patrones de interacción más complejos. En lugar de aprender solo movimientos simples de alcance o agarre con un solo brazo, el sistema puede admitir flujos de trabajo de manipulación más avanzados que involucren ambos brazos.

¿Para quién está diseñada esta plataforma?

El sistema Agility A2 VR Teleoperation VLA Suite es adecuado para universidades, laboratorios de investigación en robótica con IA, laboratorios de enseñanza, equipos industriales de I+D y empresas emergentes de robótica avanzada.

Para las universidades, puede utilizarse en cursos de IA integrada, experimentos de aprendizaje robótico y proyectos de investigación estudiantil. Para los laboratorios de investigación, proporciona una plataforma práctica para la prueba de modelos VLA, el aprendizaje por imitación y estudios de manipulación en el mundo real. Para las empresas emergentes y los equipos de I+D, puede facilitar la validación rápida de prototipos antes de desarrollar un sistema robótico más especializado.

Dado que la plataforma es compatible con ROS2, NVIDIA Isaac, MoveIt, MuJoCo, Python, C++, URDF, VLA y el desarrollo relacionado con IK, también ofrece a los desarrolladores mayor flexibilidad para la integración y el desarrollo secundario.

¿Por qué elegir una plataforma robótica preparada para VLA en lugar de construirla desde cero?

Construir un sistema robótico VLA desde cero puede llevar mucho tiempo. Los equipos necesitan integrar brazos robóticos, cámaras, control de realidad virtual, adquisición de datos, comunicación, herramientas de simulación, planificación de movimiento y flujos de trabajo de modelos de IA.

La suite Agility A2 VLA reduce la carga de desarrollo al ofrecer una plataforma más completa para la recopilación de datos, la teleoperación, el entrenamiento y la inferencia. Los usuarios pueden dedicar menos tiempo a la integración básica de hardware y software y más tiempo al rendimiento del modelo, el diseño de tareas, la calidad del conjunto de datos y la validación de la aplicación.

Para los equipos que trabajan en IA integrada, esto puede mejorar significativamente la eficiencia del desarrollo.

Conclusión

La suite Agility A2 VR Teleoperation VLA es más que una plataforma robótica de doble brazo. Es un sistema completo listo para la investigación en IA integrada, entrenamiento VLA, aprendizaje por imitación y manipulación robótica en entornos reales.

Con ACT como modelo predeterminado y soporte opcional para SmoLVLA, Pi0, Pi0.5 y XVLA, la plataforma ofrece a los investigadores y desarrolladores la flexibilidad de explorar diferentes flujos de trabajo VLA en un sistema robótico integrado.

Al combinar la teleoperación en realidad virtual, la visión 3D multicámara, la adquisición de datos sincronizada, la manipulación con dos brazos y las herramientas de desarrollo compatibles con ROS2/NVIDIA Isaac, Agility A2 ayuda a acelerar el camino desde la demostración humana hasta el aprendizaje del robot y desde las pruebas de modelos de IA hasta la ejecución de tareas en el mundo real.

Para universidades, laboratorios de investigación y equipos de robótica que buscan una plataforma práctica de doble brazo compatible con VLA, la suite Agility A2 VR Teleoperation VLA proporciona una base sólida para la siguiente etapa de la investigación en IA incorporada.