Foxtech proporciona soluciones de drones industriales & Sistemas de carga útil de UAV.
Presentamos la suite VLA de teleoperación isomórfica Agility A2: un camino más rápido desde la demostración humana hasta el aprendizaje robótico.
Para construir sistemas de IA encarnada capaces se necesita más que un brazo robótico y un modelo de IA. Los investigadores y desarrolladores necesitan una forma fiable de demostrar tareas, capturar datos sincronizados del robot, entrenar políticas y validar si esas políticas pueden funcionar en el mundo real.
La nueva suite Agility A2 Isomorphic Teleoperation VLA está diseñada para que ese flujo de trabajo sea más directo.
Construido en torno a una arquitectura líder-seguidor de doble brazo, el sistema permite una teleoperación intuitiva maestro-esclavo mediante el mapeo articular uno a uno. Combina dos brazos robóticos de 7 grados de libertad, control de baja latencia, soporte para retroalimentación de fuerza, visión RGB-D multicámara, sincronización de datos de alta velocidad y una canalización integrada OpenarmX-LeRobotVLA para la investigación de IA incorporada, el aprendizaje por imitación, el desarrollo de VLA y la validación rápida de pruebas de concepto.
¿Qué es la teleoperación isomórfica?
La teleoperación robótica tradicional suele requerir cinemática inversa para traducir la entrada humana en movimiento de las articulaciones del robot. Si bien es eficaz, esto puede introducir complejidad, requisitos de calibración y posibles inconsistencias en el control.
El paquete de software Agility A2 Isomorphic Teleoperation VLA adopta un enfoque más directo.
El robot maestro Agility A2 replica sus movimientos en el robot esclavo Agility A2 mediante un mapeo articular uno a uno . En la práctica, el operador mueve el robot maestro y el robot esclavo reproduce el movimiento correspondiente en tiempo real.
Este método de control isomorfo líder-seguidor permite a los usuarios realizar manipulaciones con ambos brazos de una manera más intuitiva, sin depender de la cinemática inversa para cada comando de movimiento.
¿Por qué es importante el mapeo conjunto individualizado?
En la recopilación de datos de IA incorporada, la calidad de las demostraciones es tan importante como la cantidad.
Cuando el movimiento del robot es difícil de controlar, las demostraciones pueden volverse inconsistentes. Esto puede afectar la calidad del conjunto de datos y dificultar el entrenamiento posterior de las políticas. El mapeo articular uno a uno ayuda a reducir esa diferencia entre el movimiento previsto por el operador y el movimiento ejecutado por el robot.
Esto hace que el sistema sea especialmente útil para tareas que requieren un control bimanual coordinado, entre las que se incluyen:
- Agarre y colocación de objetos
- Ensamblaje e inserción
- Clasificación y transporte
- Interacción de herramientas
- Estudios de manipulación con ambos brazos
- Demostraciones de aprendizaje por imitación
- Experimentos de simulación a realidad
Al hacer que el funcionamiento con ambos brazos sea más natural, la plataforma ayuda a los investigadores a capturar demostraciones con robots reales más nítidas y repetibles.
¿Cómo mejora la teleoperación de baja latencia la recopilación de datos?
La utilidad de un sistema de teleoperación depende exclusivamente de su capacidad de respuesta.
El sistema Agility A2 Isomorphic Teleoperation VLA Suite ofrece una latencia aproximada de 0,5 a 1 ms para el control maestro-esclavo en tiempo real. Esta baja latencia permite al operador mantener una conexión más fluida con el robot esclavo durante las tareas de manipulación.
Para los equipos de investigación que recopilan datos de aprendizaje de robots, esto puede mejorar la coherencia temporal entre la operación humana, la información sobre el estado del robot, la entrada visual y las acciones registradas.
Ya se trate de recoger un objeto pequeño, insertar un componente, estabilizar un elemento con un brazo mientras se manipula con el otro, o realizar demostraciones repetidas, la teleoperación adaptativa ayuda a que el proceso sea más controlado y eficiente.
¿Qué papel desempeña la retroalimentación de fuerza en la manipulación robótica?
La visión por sí sola no puede revelar al operador toda la información sobre una interacción.
Cuando un robot toca, agarra, presiona o inserta un objeto, la información sobre la fuerza aplicada puede ser tan importante como la información de la cámara. El sistema Agility A2 Isomorphic Teleoperation VLA Suite admite el control de la fuerza aplicada, lo que ayuda a los usuarios a comprender mejor las condiciones de contacto durante la manipulación robótica.
Esto resulta valioso para tareas en las que un movimiento demasiado brusco podría dañar un objeto, mientras que un contacto insuficiente podría provocar un agarre fallido o una interacción inestable.
La función de retroalimentación háptica puede ayudar a mejorar el realismo de la teleoperación y proporcionar una base mejor para recopilar demostraciones que impliquen tareas con mucho contacto, manipulación de precisión, ensamblaje e inserción.
¿Cómo recopila el sistema los datos para el entrenamiento VLA?
El flujo de trabajo de un robot VLA depende de información sincronizada proveniente de múltiples fuentes. El robot necesita comprender lo que ve, cómo se mueven sus articulaciones y qué acciones se están realizando.
El sistema Agility A2 Isomorphic Teleoperation VLA Suite integra una configuración de visión RGB-D multicámara con:
- Una cámara frontal Intel D435
- Dos cámaras de muñeca Intel D405
- Conjuntos de pinzas de visión
- Hardware de expansión USB de alta velocidad
- Comunicación industrial CANFD
La cámara situada en la cabeza proporciona una visión más amplia del espacio de trabajo, mientras que las cámaras de las muñecas capturan información visual de corto alcance alrededor de las pinzas y los objetos objetivo.
Durante la teleoperación, el sistema puede registrar datos visuales RGB-D sincronizados y datos del estado del robot. Esto crea una base de datos práctica para el aprendizaje de acciones basado en visión, el aprendizaje por imitación, el aprendizaje por refuerzo, la inferencia de modelos y la ejecución autónoma de tareas.
¿Qué modelos VLA puede admitir la plataforma?
El paquete Agility A2 Isomorphic Teleoperation VLA Suite está diseñado para admitir un flujo de trabajo de desarrollo VLA flexible.
La inferencia ACT está disponible por defecto, lo que proporciona un punto de partida práctico para los equipos que desean comenzar a recopilar demostraciones y validar rápidamente las tareas de aprendizaje del robot.
Para los usuarios que trabajan con configuraciones de computación de alto rendimiento, la plataforma también puede admitir:
- SmoLVLA
- Pi0
- Pi0.5
- XVLA
Esta capacidad multimodelos ofrece a los investigadores mayor libertad para comparar enfoques, probar diferentes procesos de entrenamiento y seleccionar los modelos que mejor se adapten a los requisitos de su tarea.
En lugar de estar limitados a una única estructura de modelo, los equipos pueden usar una plataforma de hardware para explorar múltiples flujos de trabajo de VLA, desde experimentos iniciales de aprendizaje por imitación hasta investigaciones más avanzadas de IA encarnada.
¿Cómo soporta la plataforma un flujo de trabajo completo de IA integrada?
El sistema Agility A2 Isomorphic Teleoperation VLA Suite está diseñado para conectar las etapas clave del aprendizaje robótico en un solo sistema.
En primer lugar, un operador utiliza el robot de doble brazo principal para demostrar una tarea. El robot secundario sigue el movimiento programado en tiempo real. Durante este proceso, el sistema registra observaciones visuales, el estado de los robots y los datos de las acciones realizadas.
A continuación, los datos recopilados pueden procesarse mediante el sistema OpenarmX-LeRobotVLA para su entrenamiento y evaluación.
Finalmente, el modelo resultante puede ser probado mediante inferencias en el mundo real y ejecución autónoma de tareas.
Este flujo de trabajo ayuda a los equipos a avanzar a través de todo el ciclo de desarrollo:
Demostración humana → recopilación de datos sincronizada → entrenamiento VLA → validación de inferencia → ejecución autónoma
Para los equipos que desarrollan sistemas de IA integrados, esto puede reducir el tiempo dedicado a integrar componentes separados de teleoperación, detección, control y entrenamiento.
¿Por qué es importante un sistema de doble brazo para el aprendizaje robótico?
Muchas tareas prácticas no se pueden realizar con un solo brazo.
Abrir un recipiente, sujetar un objeto mientras se ajusta, doblar tela, transferir artículos, ensamblar componentes u organizar materiales a menudo requieren manipulación bimanual coordinada.
El sistema Agility A2 Isomorphic Teleoperation VLA Suite utiliza dos brazos robóticos de 7 grados de libertad para simular operaciones con dos brazos, similares a las humanas. La plataforma está diseñada para escenarios de interacción más complejos que las simples tareas de recogida y colocación con un solo brazo.
Con una carga útil nominal de 5 kg y una carga útil máxima de 12 kg, el sistema puede realizar diversas tareas de investigación y validación que implican manipulación de objetos, coordinación de dos brazos y manipulación de precisión.
¿Cómo facilita la estación de trabajo de control el desarrollo avanzado?
Una plataforma robótica capaz también necesita una infraestructura informática capaz.
El sistema incluye una estación de trabajo de control con un procesador AMD Ryzen 9 Pro, 16 GB de RAM y una unidad SSD de 1 TB. También hay disponibles configuraciones superiores para usuarios que requieran más recursos informáticos para modelos VLA avanzados y flujos de trabajo de desarrollo exigentes.
El ecosistema de software es compatible con ROS2, NVIDIA Isaac Sim, MuJoCo, Python, C++ y la planificación de movimiento basada en MoveIt. Combinada con el control ROS2 y la compensación de gravedad, la plataforma está diseñada para brindar un movimiento robótico estable y repetible, así como un desarrollo secundario flexible.
Para los investigadores y desarrolladores, esto significa que el sistema puede servir tanto como una plataforma experimental lista para usar como una base para una personalización más profunda.
¿Para quién está diseñado el paquete de teleoperación isomórfica VLA Agility A2?
Esta plataforma está diseñada para equipos que necesitan convertir conceptos de IA integrada en experimentos robóticos reales.
Es especialmente adecuado para:
Universidades y laboratorios de enseñanza
Utilice la plataforma para la enseñanza práctica de la robótica, estudios de manipulación con dos brazos, experimentos de teleoperación y exploración del flujo de trabajo de VLA.
Laboratorios de investigación en IA y robótica
Recopilar datos de demostración de robots reales, comparar modelos VLA, realizar investigaciones sobre aprendizaje por imitación y validar enfoques de simulación a la realidad.
Equipos de I+D industrial
Pruebe los flujos de trabajo de manipulación robótica antes de desarrollar un sistema de producción especializado. Evalúe tareas como la clasificación, el ensamblaje, la inserción, el transporte y la manipulación de materiales en entornos controlados.
Empresas emergentes de robótica
Construya y valide una prueba de concepto inicial más rápidamente comenzando con una plataforma integrada de teleoperación, detección y preparada para VLA, en lugar de desarrollar cada componente desde cero.
¿Qué incluye el sistema?
El paquete Agility A2 Isomorphic Teleoperation VLA incluye una configuración completa de hardware y control para operación líder-seguidor de doble brazo:
- 1 × Agility A2 Doble Brazo Maestro Lateral
- 1 × Agility A2 Brazo doble Lado esclavo
- 1 adaptador de corriente de 48 V / 20 A
- 1 × Caja de comunicación CANFD
- 1 × Cámara frontal Intel D435
- 2 cámaras de muñeca Intel D405 con conjuntos de pinzas de visión
- 1 × Concentrador de expansión USB de alta velocidad
- 1 × Estación de trabajo de control
Esta configuración integrada ayuda a los usuarios a iniciar la teleoperación, la recopilación de datos y la validación del flujo de trabajo de VLA con menos pasos de integración.
De la teleoperación a la manipulación autónoma
El sistema Agility A2 Isomorphic Teleoperation VLA Suite no es simplemente un sistema robótico de doble brazo. Es una plataforma completa para conectar la habilidad humana, los datos del robot y el aprendizaje de IA integrada.
Mediante una asignación conjunta intuitiva uno a uno, un control líder-seguidor de baja latencia, compatibilidad con retroalimentación de fuerza, percepción RGB-D multicámara e integración de software compatible con VLA, ayuda a investigadores y desarrolladores a construir un camino más eficiente desde la demostración hasta la implementación.
Para los equipos que exploran el aprendizaje robótico, el entrenamiento VLA, el aprendizaje por imitación y la manipulación autónoma en el mundo real, el conjunto de herramientas VLA de teleoperación isomórfica Agility A2 proporciona una base práctica para una experimentación más rápida y una validación de prueba de concepto más significativa.
