Agility A2 VR Teleoperation VLA Suite : une plateforme multi-modèles pour la recherche en IA incarnée et l’apprentissage robotique

À mesure que l'IA incarnée passe de la simulation aux tâches robotiques concrètes, les chercheurs et les développeurs ont besoin de bien plus qu'un simple bras robotisé. Ils ont besoin d'une plateforme complète capable de collecter des données de haute qualité, de prendre en charge différents modèles d'apprentissage virtuel et de contribuer à la validation des processus d'apprentissage robotique en environnement réel.

La suite Agility A2 VR Teleoperation VLA est conçue à cet effet. Elle combine la manipulation robotique à deux bras, la téléopération immersive en réalité virtuelle, la vision 3D multicaméra, l'acquisition de données synchronisée et un pipeline logiciel compatible VLA. Plus important encore, elle prend en charge plusieurs modèles VLA, notamment ACT, SmoLVLA, Pi0, Pi0.5 et XVLA, offrant ainsi aux chercheurs et aux développeurs une plus grande flexibilité pour l'expérimentation en intelligence artificielle incarnée.

Quel problème résout la suite Agility A2 VLA ?

De nombreuses équipes de robotique sont confrontées au même défi : elles disposent de modèles d'IA, d'outils de simulation ou d'idées de recherche, mais il leur manque une plateforme robotique pratique pour la collecte de données réelles et la validation des modèles.

Un modèle VLA nécessite des données d'entrée visuelle, d'état du robot, d'action et l'exécution réelle de la tâche. Si le matériel, les caméras, le système de contrôle et le logiciel ne sont pas bien intégrés, les chercheurs risquent de consacrer trop de temps à la construction de l'infrastructure au lieu de tester leurs idées.

La suite Agility A2 VR Teleoperation VLA contribue à résoudre ce problème en fournissant une plateforme intégrée à deux bras pour la téléopération, la collecte de données, l'apprentissage par imitation, l'entraînement VLA et l'inférence en temps réel. Elle permet aux équipes de passer plus rapidement de la démonstration humaine à l'apprentissage du robot et des tests de modèles à l'exécution des tâches.

Quels modèles VLA prend-il en charge ?

L'un des principaux atouts de la suite Agility A2 VLA réside dans sa compatibilité multi-modèles de VLA. Selon la structure des modèles de VLA pris en charge, le système peut fonctionner avec :

ACT — Par défaut
SmoLVLA — Optionnel
Pi0 — Optionnel
Pi0.5 — Optionnel
XVLA — Optionnel

Cela signifie que les utilisateurs peuvent commencer avec ACT comme modèle d'inférence par défaut, tout en ayant la possibilité d'explorer d'autres modèles VLA en fonction de leur orientation de recherche, de leur configuration informatique et des exigences de leur tâche.

Pour les laboratoires de recherche, les universités et les jeunes entreprises de robotique, cette compatibilité multi-modèles est essentielle. Différents modèles peuvent être plus performants pour différentes tâches, telles que la préhension, le prélèvement, le placement, le pliage, l'utilisation d'outils ou la manipulation à longue distance. Au lieu d'être limités à un seul pipeline de modèles, les utilisateurs peuvent comparer, valider et développer différentes approches basées sur l'analyse de la vitesse de déplacement (VLA) sur une même plateforme robotique.

Comment ACT prend-il en charge la validation rapide des flux de travail VLA ?

ACT est pris en charge comme modèle par défaut, ce qui le rend adapté aux utilisateurs qui souhaitent démarrer rapidement l'inférence VLA et la validation des tâches.

Pour les équipes qui découvrent l'IA incarnée ou la robotique basée sur l'analyse de la latence vidéo (VLA), une option de modèle par défaut est très utile. Elle réduit les difficultés de configuration initiale et offre un point de départ pratique pour la collecte de démonstrations, l'entraînement des politiques comportementales et le test des actions du robot.

Avec ACT, les utilisateurs peuvent se concentrer sur des tâches de manipulation de base telles que la préhension, le transfert d'objets, le prélèvement et le placement, le pliage ou les flux de travail d'assemblage simples. Cela le rend adapté aux laboratoires d'enseignement, aux cours de robotique IA et à la validation de concepts préliminaires.

Comment les modèles VLA optionnels élargissent-ils les possibilités de recherche ?

Bien qu'ACT constitue un excellent point de départ, les utilisateurs avancés peuvent avoir besoin d'une plus grande flexibilité en matière de modélisation. C'est là que la prise en charge optionnelle de SmoLVLA, Pi0, Pi0.5 et XVLA prend toute son importance.

SmoLVLA peut être utilisé par les équipes explorant des flux de travail VLA légers ou efficaces. Pi0 et Pi0.5 offrent des options supplémentaires pour expérimenter de nouvelles structures de modèles VLA et des stratégies d'exécution de tâches. XVLA propose une autre piste pour les utilisateurs souhaitant tester différentes capacités vision-langage-action dans des scénarios de manipulation robotique.

L'intérêt de ces modèles optionnels ne réside pas uniquement dans leur variété. Ils permettent aux utilisateurs de comparer les performances pour différentes tâches, jeux de données et stratégies de contrôle. Un laboratoire universitaire peut utiliser la plateforme pour comparer des modèles. Une start-up peut s'en servir pour déterminer quel modèle est le plus adapté à une application commerciale. Une équipe de R&D industrielle peut l'utiliser pour vérifier si un modèle VLA est capable de gérer des tâches répétitives spécifiques dans un environnement contrôlé.

Pourquoi la prise en charge de plusieurs modèles est-elle importante pour l'IA incarnée ?

L'intelligence artificielle incarnée est encore en plein développement. Aucun modèle ne peut résoudre parfaitement toutes les tâches robotiques. Un modèle performant pour une tâche donnée peut ne pas être optimal pour une autre.

Par exemple, un modèle peut être plus adapté aux tâches de prélèvement et de placement à court terme, tandis qu'un autre peut être plus approprié aux séquences plus complexes impliquant la compréhension visuelle, l'interaction avec les objets et la planification continue des actions.

En prenant en charge ACT, SmoLVLA, Pi0, Pi0.5 et XVLA, la suite Agility A2 VLA offre aux chercheurs une plus grande liberté d'expérimentation. Les utilisateurs peuvent collecter les données une seule fois, tester différents pipelines de modélisation et évaluer les performances de chaque modèle dans des conditions robotiques réelles.

Cela rend la plateforme particulièrement adaptée à la recherche en IA incarnée, à l'apprentissage par imitation, à la formation VLA, aux expériences d'apprentissage robotique et à la validation simulation-réel.

Comment la téléopération en réalité virtuelle aide-t-elle la collecte de données VLA ?

Un apprentissage robotique de haute qualité repose sur des données de démonstration de haute qualité. La suite Agility A2 VLA utilise la téléopération en réalité virtuelle pour permettre aux utilisateurs de contrôler le robot à deux bras de manière plus naturelle et immersive.

Grâce à un casque de réalité virtuelle, les opérateurs peuvent guider le robot dans l'exécution de tâches tandis que le système enregistre des données visuelles synchronisées, des données d'état du robot et des données d'action. Ce flux de travail est particulièrement utile pour l'apprentissage par imitation, où le robot apprend à partir de démonstrations humaines.

Comparée aux méthodes de contrôle traditionnelles, la téléopération en réalité virtuelle rend la collecte de données de démonstration plus intuitive. L'opérateur peut guider les deux bras, observer l'environnement de la tâche et générer des données pour l'entraînement et l'analyse ultérieurs.

Pour la recherche sur les VLA, cela crée un pont pratique entre l'opération humaine et l'apprentissage robotique autonome.

Comment la vision 3D multicaméra améliore-t-elle l'apprentissage des robots ?

Les modèles VLA s'appuient fortement sur les informations visuelles. La suite Agility A2 VLA intègre un système de vision 3D multicaméra, comprenant une caméra frontale et des caméras de poignet, afin de capturer l'espace de travail sous différents angles.

La caméra frontale offre une vue d'ensemble de l'environnement, tandis que les caméras au poignet fournissent des informations visuelles rapprochées à proximité des pinces. Cette combinaison est utile pour les tâches de manipulation où la compréhension globale de la scène et l'interaction locale avec les objets sont toutes deux importantes.

Par exemple, lorsqu'un robot saisit un objet, la caméra frontale permet d'appréhender la scène dans son ensemble, tandis que la caméra au poignet capture des informations visuelles détaillées à proximité de l'objet cible. Ces données RGB-D synchronisées contribuent à un entraînement plus précis du système d'apprentissage automatique et à une inférence en temps réel plus fiable.

Comment les chercheurs peuvent-ils utiliser la plateforme ?

La suite Agility A2 VLA peut prendre en charge un flux de travail d'IA incarnée complet :

Tout d'abord, l'utilisateur contrôle le robot à distance grâce à la réalité virtuelle et effectue des manipulations réelles. Ensuite, le système capture des données synchronisées, notamment les flux vidéo de la caméra, les mouvements du robot et les informations relatives à ses actions. Ces données sont ensuite traitées par le pipeline VLA pour l'apprentissage par imitation, l'entraînement du modèle et les tests d'inférence. Enfin, le modèle entraîné est redéployé sur le robot pour l'exécution autonome des tâches.

Ce flux de travail aide les utilisateurs à tester si un modèle VLA peut passer de données de démonstration à un comportement robotique réel.

Les tâches de recherche typiques peuvent inclure la préhension d'objets, le tri d'articles, le pliage, l'assemblage, l'insertion, le transport, le placement sur une étagère et d'autres expériences de manipulation à deux bras.

Qu'est-ce qui rend l'Agility A2 adaptée à la manipulation à deux bras ?

De nombreuses tâches du quotidien nécessitent l'utilisation des deux mains. Plier du tissu, déplacer des objets, stabiliser des articles, ouvrir des emballages, ranger des objets ou assembler des pièces requièrent souvent une commande bimanuelle coordonnée.

La plateforme Agility A2 est conçue avec deux bras robotiques à 7 degrés de liberté, permettant une manipulation à deux bras similaire à celle de l'humain. Elle est ainsi plus adaptée à la recherche en intelligence artificielle incarnée que les systèmes à un seul bras lorsque la tâche à accomplir requiert la coopération des deux bras.

Pour l'entraînement des systèmes VLA, les données à deux bras sont également précieuses car elles permettent au modèle d'apprendre des schémas d'interaction plus complexes. Au lieu de se limiter à l'apprentissage de simples mouvements de préhension ou d'atteinte d'un seul bras, le système peut prendre en charge des flux de travail de manipulation plus avancés impliquant les deux bras.

À qui s'adresse cette plateforme ?

La suite Agility A2 VR Teleoperation VLA est adaptée aux universités, aux laboratoires de recherche en robotique IA, aux laboratoires d'enseignement, aux équipes de R&D industrielles et aux jeunes entreprises de robotique avancée.

Pour les universités, cette solution peut être utilisée dans le cadre de cours d'IA incarnée, d'expériences d'apprentissage robotique et de projets de recherche étudiants. Pour les laboratoires de recherche, elle offre une plateforme pratique pour tester des modèles VLA, étudier l'apprentissage par imitation et mener des études de manipulation en situation réelle. Pour les startups et les équipes de R&D, elle permet une validation rapide du concept avant la conception d'un système robotique plus spécialisé.

Comme la plateforme prend en charge ROS2, NVIDIA Isaac, MoveIt, MuJoCo, Python, C++, URDF, VLA et le développement lié à l'IK, elle offre également aux développeurs une plus grande flexibilité pour l'intégration et le développement secondaire.

Pourquoi choisir une plateforme robotique compatible VLA plutôt que de tout construire de A à Z ?

Concevoir un système robotique VLA de A à Z peut s'avérer long et fastidieux. Les équipes doivent intégrer des bras robotisés, des caméras, le contrôle en réalité virtuelle, l'acquisition de données, la communication, des outils de simulation, la planification des mouvements et les pipelines de modèles d'IA.

La suite Agility A2 VLA allège la charge de développement en offrant une plateforme plus complète pour la collecte de données, la téléopération, l'entraînement et l'inférence. Les utilisateurs peuvent ainsi consacrer moins de temps à l'intégration matérielle et logicielle de base et davantage à l'amélioration des performances du modèle, à la conception des tâches, à la qualité des jeux de données et à la validation des applications.

Pour les équipes travaillant sur l'IA incarnée, cela peut améliorer considérablement l'efficacité du développement.

Conclusion

La suite Agility A2 VR Teleoperation VLA est bien plus qu'une simple plateforme robotique à deux bras. Il s'agit d'un système complet, prêt pour la recherche, dédié à l'IA incarnée, à la formation VLA, à l'apprentissage par imitation et à la manipulation de robots dans le monde réel.

Avec ACT comme modèle par défaut et la prise en charge optionnelle de SmoLVLA, Pi0, Pi0.5 et XVLA, la plateforme offre aux chercheurs et aux développeurs la flexibilité nécessaire pour explorer différents flux de travail VLA sur un système robotique intégré.

En combinant la téléopération VR, la vision 3D multicaméra, l'acquisition de données synchronisée, la manipulation à deux bras et les outils de développement compatibles ROS2/NVIDIA Isaac, Agility A2 contribue à accélérer le passage de la démonstration humaine à l'apprentissage robotique et du test de modèles d'IA à l'exécution de tâches dans le monde réel.

Pour les universités, les laboratoires de recherche et les équipes de robotique à la recherche d'une plateforme à deux bras compatible VLA pratique, la suite Agility A2 VR Teleoperation VLA offre une base solide pour la prochaine étape de la recherche en IA incarnée.