Foxtech fournit des solutions de drones industriels & Systèmes de charge utile UAV.
Présentation de la suite VLA de téléopération isomorphique Agility A2 : un passage plus rapide de la démonstration humaine à l’apprentissage robotique
La conception de systèmes d'IA embarqués performants exige bien plus qu'un bras robotisé et un modèle d'IA. Les chercheurs et les développeurs ont besoin d'une méthode fiable pour démontrer les tâches, capturer des données robotiques synchronisées, entraîner des politiques et vérifier leur efficacité en situation réelle.
La nouvelle suite logicielle Agility A2 Isomorphic Teleoperation VLA est conçue pour rendre ce flux de travail plus direct.
Conçu autour d'une architecture maître-esclave à deux bras, ce système permet une téléopération intuitive grâce à une correspondance articulaire un-à-un. Il combine deux bras robotiques à 7 degrés de liberté, un contrôle à faible latence, un retour de force, une vision RGB-D multicaméra, une synchronisation de données à haute vitesse et un pipeline intégré OpenarmX-LeRobotVLA pour la recherche en IA incarnée, l'apprentissage par imitation, le développement de VLA et la validation rapide de prototypes.
Qu'est-ce que la téléopération isomorphique ?
La téléopération robotique traditionnelle nécessite souvent une cinématique inverse pour traduire les commandes humaines en mouvements des articulations du robot. Bien qu'efficace, cette méthode peut engendrer de la complexité, des exigences d'étalonnage et des incohérences de contrôle potentielles.
La suite VLA de téléopération isomorphique Agility A2 adopte une approche plus directe.
Le robot maître Agility A2 reproduit ses mouvements sur le robot esclave Agility A2 grâce à une correspondance articulaire un-à-un . Concrètement, l'opérateur déplace le robot maître et le robot esclave suit le mouvement correspondant en temps réel.
Cette méthode de contrôle isomorphe leader-suiveur permet aux utilisateurs d'effectuer une manipulation à deux bras de manière plus intuitive, sans avoir recours à la cinématique inverse pour chaque commande de mouvement.
Pourquoi la cartographie articulaire un-à-un est-elle importante ?
Pour la collecte de données d'IA incarnée, la qualité des démonstrations compte autant que la quantité.
Lorsque les mouvements du robot sont difficiles à contrôler, les démonstrations peuvent devenir incohérentes. Cela peut affecter la qualité des données et compliquer l'apprentissage ultérieur des politiques. La correspondance un-à-un entre les articulations permet de réduire l'écart entre le mouvement voulu par l'opérateur et le mouvement exécuté par le robot.
Cela rend le système particulièrement utile pour les tâches nécessitant une commande bimanuelle coordonnée, notamment :
- Préhension et placement d'objets
- Assemblage et insertion
- Tri et transport
- Interaction avec l'outil
- Études de manipulation à deux bras
- démonstrations d'apprentissage par imitation
- Expériences de simulation à réalité
En rendant le fonctionnement à deux bras plus naturel, la plateforme aide les chercheurs à réaliser des démonstrations de robots réels plus nettes et plus reproductibles.
Comment la téléopération à faible latence améliore-t-elle la collecte de données ?
Un système de téléopération n'est utile que si sa réactivité l'est.
La suite logicielle Agility A2 Isomorphic Teleoperation VLA offre une latence d'environ 0,5 à 1 ms pour le contrôle maître-esclave en temps réel. Cette faible latence permet à l'opérateur de maintenir une connexion plus étroite avec le robot esclave lors des tâches de manipulation.
Pour les équipes de recherche collectant des données sur l'apprentissage des robots, cela peut améliorer la cohérence temporelle entre les opérations humaines, les informations sur l'état du robot, les entrées visuelles et les actions enregistrées.
Qu’il s’agisse de ramasser un petit objet, d’insérer un composant, de stabiliser un objet d’un bras tout en le manipulant de l’autre, ou d’effectuer des démonstrations répétées, la téléopération réactive contribue à rendre le processus plus contrôlé et plus efficace.
Quel rôle joue le retour de force dans la manipulation robotique ?
La vision seule ne peut pas tout révéler à un opérateur sur une interaction.
Lorsqu'un robot touche, saisit, appuie ou insère un objet, les informations relatives à la force exercée sont tout aussi importantes que les données de la caméra. La suite logicielle Agility A2 Isomorphic Teleoperation VLA prend en charge la détection des forces exercées, permettant ainsi aux utilisateurs de mieux appréhender les conditions de contact lors de la manipulation robotique.
Ceci est précieux pour les tâches où un mouvement trop brusque pourrait endommager un objet, tandis qu'un contact insuffisant pourrait entraîner une mauvaise prise en main ou une interaction instable.
L'assistance par retour de force peut contribuer à améliorer le réalisme de la téléopération et fournir une meilleure base pour la collecte de démonstrations impliquant des tâches nécessitant de nombreux contacts, une manipulation de précision, l'assemblage et l'insertion.
Comment le système capture-t-il les données pour la formation VLA ?
Un flux de travail VLA repose sur des informations synchronisées provenant de sources multiples. Le robot doit comprendre ce qu'il voit, comment ses articulations bougent et quelles actions sont effectuées.
La suite Agility A2 Isomorphic Teleoperation VLA intègre un système de vision RGB-D multicaméra avec :
- Une caméra frontale Intel D435
- Deux caméras de poignet Intel D405
- ensembles de pinces de vision
- Matériel d'extension USB haute vitesse
- Communication industrielle CANFD
La caméra frontale offre une vue plus large de l'espace de travail, tandis que les caméras de poignet capturent des informations visuelles rapprochées autour des pinces et des objets cibles.
Lors de la téléopération, le système peut enregistrer des données visuelles RGB-D synchronisées et des données d'état du robot. Ceci constitue une base de données pratique pour l'apprentissage par l'action basé sur la vision, l'apprentissage par imitation, l'apprentissage par renforcement, l'inférence de modèles et l'exécution autonome de tâches.
Quels modèles VLA la plateforme peut-elle prendre en charge ?
La suite VLA de téléopération isomorphique Agility A2 est conçue pour prendre en charge un flux de travail de développement VLA flexible.
L'inférence ACT est disponible par défaut, offrant un point de départ pratique aux équipes qui souhaitent commencer rapidement à collecter des démonstrations et à valider des tâches d'apprentissage robotique.
Pour les utilisateurs disposant de configurations de calcul hautes performances, la plateforme peut également prendre en charge :
- SmoLVLA
- Pi0
- Pi0.5
- XVLA
Cette capacité multi-modèles offre aux chercheurs une plus grande liberté pour comparer les approches, tester différents pipelines d'entraînement et sélectionner les modèles qui correspondent le mieux aux exigences de leur tâche.
Plutôt que d'être enfermées dans une structure de modèle unique, les équipes peuvent utiliser une seule plateforme matérielle pour explorer de multiples flux de travail VLA, depuis les premières expériences d'apprentissage par imitation jusqu'à la recherche plus avancée en IA incarnée.
Comment la plateforme prend-elle en charge un flux de travail d'IA incarnée complet ?
La suite logicielle Agility A2 Isomorphic Teleoperation VLA est conçue pour connecter les étapes clés de l'apprentissage robotique au sein d'un seul système.
Tout d'abord, un opérateur utilise le robot maître à deux bras pour réaliser une démonstration. Le robot esclave reproduit le mouvement programmé en temps réel. Durant ce processus, le système enregistre les observations visuelles, l'état des robots et les données d'action.
Ensuite, les données collectées peuvent être traitées via le pipeline OpenarmX-LeRobotVLA pour l'entraînement et l'évaluation.
Enfin, le modèle obtenu peut être testé par le biais d'inférences dans le monde réel et d'une exécution autonome des tâches.
Ce flux de travail aide les équipes à parcourir l'intégralité du cycle de développement :
Démonstration humaine → collecte de données synchronisée → entraînement du VLA → validation des inférences → exécution autonome
Pour les équipes développant des systèmes d'IA incarnée, cela peut réduire le temps passé à intégrer des composants distincts de téléopération, de détection, de contrôle et de formation.
Pourquoi un système à deux bras est-il important pour l'apprentissage des robots ?
De nombreuses tâches pratiques ne peuvent être accomplies avec un seul bras.
Ouvrir un récipient, tenir un objet tout en l'ajustant, plier du tissu, transférer des objets, assembler des composants ou organiser des matériaux nécessitent souvent une manipulation bimanuelle coordonnée.
La suite Agility A2 Isomorphic Teleoperation VLA utilise deux bras robotiques à 7 degrés de liberté pour reproduire les gestes d'un humain. Cette plateforme est conçue pour des scénarios d'interaction plus complexes que les simples tâches de prélèvement et de placement à un seul bras.
Avec une charge utile nominale de 5 kg et une charge utile maximale de 12 kg, le système peut prendre en charge une gamme de tâches de recherche et de validation impliquant la manipulation d'objets, la coordination à deux bras et la manipulation de précision.
Comment le poste de travail de contrôle prend-il en charge le développement avancé ?
Une plateforme robotique performante a également besoin d'une infrastructure informatique performante.
Le système comprend une station de travail de contrôle équipée d'un processeur AMD Ryzen 9 Pro, de 16 Go de RAM et d'un SSD de 1 To. Des configurations supérieures sont également disponibles pour les utilisateurs nécessitant davantage de ressources de calcul pour les modèles VLA avancés et les flux de développement exigeants.
L'écosystème logiciel prend en charge ROS2, NVIDIA Isaac Sim, MuJoCo, Python, C++ et la planification de mouvement basée sur MoveIt. Associée au contrôle ROS2 et à la compensation de gravité, la plateforme est conçue pour assurer des mouvements robotiques stables et répétables, ainsi qu'un développement secondaire flexible.
Pour les chercheurs et les développeurs, cela signifie que le système peut servir à la fois de plateforme expérimentale prête à l'emploi et de base à une personnalisation plus poussée.
À qui est destinée la suite VLA de téléopération isomorphique Agility A2 ?
Cette plateforme est conçue pour les équipes qui ont besoin de transformer des concepts d'IA incarnée en expériences robotiques réelles.
Il est particulièrement adapté pour :
Universités et laboratoires d'enseignement
Utilisez la plateforme pour une formation pratique en robotique, des études de manipulation à deux bras, des expériences de téléopération et l'exploration du flux de travail VLA.
Laboratoires de recherche en IA et robotique
Collecter des données de démonstration de robots réels, comparer les modèles VLA, mener des recherches sur l'apprentissage par imitation et valider les approches de simulation à réalité.
Équipes de R&D industrielles
Tester les flux de travail de manipulation robotisée avant de développer un système de production spécialisé. Évaluer les tâches telles que le tri, l'assemblage, l'insertion, le transport et la manutention des matériaux dans des environnements contrôlés.
Start-ups en robotique
Concevez et validez plus rapidement une preuve de concept préliminaire en commençant par une plateforme intégrée de téléopération, de détection et compatible VLA plutôt que de développer chaque composant à partir de zéro.
Qu'est-ce qui est inclus dans le système ?
La suite Agility A2 Isomorphic Teleoperation VLA comprend une configuration matérielle et de contrôle complète pour un fonctionnement à deux bras leader-suiveur :
- 1 × Agility A2 Dual-Arm Master Side
- 1 × Agility A2 Bras double côté esclave
- 1 adaptateur secteur 48 V / 20 A
- 1 × Boîtier de communication CANFD
- 1 × Caméra frontale Intel D435
- 2 caméras de poignet Intel D405 avec ensembles de préhension visuelle
- 1 × Hub d'extension USB haute vitesse
- 1 × Poste de travail de contrôle
Cette configuration intégrée permet aux utilisateurs de démarrer la téléopération, la collecte de données et la validation du flux de travail VLA avec moins d'étapes d'intégration.
De la téléopération à la manipulation autonome
La suite Agility A2 Isomorphic Teleoperation VLA n'est pas simplement un système robotique à deux bras. Il s'agit d'une plateforme complète permettant de connecter les compétences humaines, les données du robot et l'apprentissage de l'IA incarnée.
Grâce à une cartographie articulaire intuitive point à point, un contrôle leader-suiveur à faible latence, une prise en charge du retour de force, une perception RGB-D multicaméra et une intégration logicielle compatible VLA, il aide les chercheurs et les développeurs à construire un chemin plus efficace de la démonstration au déploiement.
Pour les équipes explorant l'apprentissage robotique, l'entraînement VLA, l'apprentissage par imitation et la manipulation autonome dans le monde réel, la suite Agility A2 Isomorphic Teleoperation VLA fournit une base pratique pour une expérimentation plus rapide et une validation de concept plus significative.
