Foxtech fornisce soluzioni di droni industriali & Sistemi di payload UAV.
È ora disponibile: Agility A2 + ExoArm-7 VLA Suite per la ricerca sull'intelligenza artificiale applicata all'ambiente corporeo.
La costruzione di robot efficienti inizia con dimostrazioni umane più accurate.
La nuova suite Agility A2 + ExoArm-7 VLA è una piattaforma indossabile per la teleoperazione bimanuale, progettata per aiutare ricercatori, sviluppatori e team di robotica a passare più rapidamente dalla dimostrazione umana all'apprendimento del robot e alla validazione di compiti nel mondo reale.
Combinando il robot a doppio braccio Agility A2 con il sistema di esoscheletro indossabile ExoArm-7, questa soluzione consente l'acquisizione di movimenti umani naturali, la raccolta sincronizzata di dati multimodali, l'addestramento del modello e l'inferenza robotica in tempo reale all'interno di un unico flusso di lavoro integrato.
Per la ricerca sull'IA incarnata, l'apprendimento per imitazione e lo sviluppo di Visione-Linguaggio-Azione, offre un percorso più diretto dal "mostrare" a un robot come eseguire un compito alla creazione di una politica autonoma in grado di realizzarlo.
Quale problema risolve la suite Agility A2 + ExoArm-7 VLA?
La raccolta di dati di alta qualità per l'apprendimento automatico dei robot è spesso lenta e difficile.
Le configurazioni tradizionali di teleoperazione possono richiedere controller separati, dispositivi di tracciamento esterni, telecamere sincronizzate manualmente e pipeline software personalizzate. Ciò aumenta i tempi di configurazione e rende più difficile acquisire dimostrazioni coerenti per l'addestramento dell'IA.
La suite Agility A2 + ExoArm-7 VLA riunisce questi elementi in un'unica piattaforma preconfigurata.
Gli operatori indossano l'esoscheletro ExoArm-7 e controllano il robot tramite movimenti naturali delle braccia. Il sistema acquisisce movimenti umani sincronizzati, informazioni sullo stato del robot, dati visivi RGB-D e nuvole di punti, creando un set di dati più ricco per l'apprendimento per imitazione e l'addestramento del robot basato su VLA.
Anziché creare da zero un flusso di lavoro per la raccolta dati, i team possono concentrarsi sull'attività stessa: presa, smistamento, inserimento, assemblaggio, trasporto e altri scenari di manipolazione reali.
In che modo la teleoperazione tramite dispositivi indossabili migliora la cattura delle dimostrazioni umane?
L'esoscheletro indossabile ExoArm-7 è progettato per un controllo bimanuale più naturale e intuitivo.
Grazie a 14 gradi di libertà e a una latenza di acquisizione del movimento inferiore a 20 ms , il sistema indossabile mappa i movimenti del braccio dell'operatore sul robot a doppio braccio Agility A2 in tempo reale. Questo rende la teleoperazione più simile alla dimostrazione diretta di un'attività piuttosto che al controllo di un robot tramite una tradizionale interfaccia remota.
Per i ricercatori, ciò significa che le dimostrazioni umane possono essere raccolte con maggiore continuità e precisione.
Nei flussi di lavoro di apprendimento robotico, ciò significa che il robot può acquisire non solo informazioni visive, ma anche gli schemi di movimento alla base di ogni azione: come ci si avvicina a un oggetto, come si coordinano le braccia, come viene regolata la presa e come viene completata un'attività.
Queste dimostrazioni ad alta fedeltà possono quindi supportare l'apprendimento per imitazione, l'addestramento delle politiche, gli esperimenti di apprendimento per rinforzo e la generazione di set di dati VLA.
Che cosa può fare il robot a doppio braccio?
Il fulcro della suite è il robot a doppio braccio Agility A2, dotato di due bracci robotici a 7 gradi di libertà per una manipolazione bimanuale simile a quella umana.
Ciascun braccio supporta un carico utile nominale di 5 kg e un carico utile di picco fino a 12 kg , consentendo alla piattaforma di gestire un'ampia gamma di attività di ricerca e validazione. Dalla presa e posizionamento all'assemblaggio, all'inserimento, alla movimentazione e alle operazioni coordinate con due bracci, il sistema è progettato per la ricerca pratica sulla manipolazione, piuttosto che per semplici dimostrazioni di singole attività.
Il design a doppio braccio è particolarmente utile per le attività che richiedono il coordinamento di entrambe le mani, come ad esempio stabilizzare un oggetto con un braccio mentre lo si aziona con l'altro.
Ciò rende la piattaforma particolarmente adatta a studiare come i robot possano apprendere complesse abilità di manipolazione attraverso dimostrazioni umane.
In che modo il sistema acquisisce dati visivi e spaziali?
L'apprendimento robotico richiede più dei soli dati di movimento.
La suite Agility A2 + ExoArm-7 VLA include una telecamera da testa Intel D435 e due telecamere da polso Intel D405 integrate con i sistemi di presa visiva. Insieme, queste telecamere forniscono dati RGB-D sincronizzati e informazioni sulla nuvola di punti sia da una prospettiva generale che da una prospettiva di manipolazione ravvicinata.
La telecamera posizionata sulla testa riprende l'area di lavoro più ampia, mentre le telecamere sui polsi osservano le interazioni critiche in prossimità delle pinze.
Questo approccio multicamera contribuisce a creare set di dati più ricchi per la percezione visiva, la comprensione degli oggetti, la pianificazione della presa e l'apprendimento delle azioni. Offre inoltre ai ricercatori maggiore flessibilità nello studio di come le politiche dei robot rispondono al cambiamento della posizione degli oggetti, alla configurazione dello spazio di lavoro e alle condizioni di manipolazione.
È in grado di supportare un flusso di lavoro VLA completo?
Sì. La piattaforma è progettata come un flusso di lavoro di intelligenza artificiale integrato end-to-end, piuttosto che come un semplice dispositivo di teleoperazione.
Basata sul framework open-source LeRobot , la suite supporta l'acquisizione di dimostrazioni umane, l'acquisizione sincronizzata dei dati, la generazione di set di dati, i flussi di lavoro di addestramento, l'inferenza dei modelli e l'esecuzione autonoma delle attività.
Il sistema viene fornito con un ambiente software preconfigurato OpenarmX-LeRobotVLA , che consente ai team di iniziare lo sviluppo con un lavoro di integrazione ridotto.
L'inferenza ACT è supportata di default. Con configurazioni del controller ad alte prestazioni, la piattaforma supporta anche modelli VLA avanzati, tra cui SmoLVLA, Pi0, Pi0.5 e XVLA .
Ciò offre ai ricercatori un ambiente pratico per testare diversi approcci di apprendimento, confrontare le politiche e verificare se un modello di intelligenza artificiale può essere trasferito dalle dimostrazioni raccolte all'esecuzione reale da parte di un robot.
Quali strumenti di sviluppo ed ecosistemi sono supportati?
La suite Agility A2 + ExoArm-7 VLA è pensata per i team che necessitano di flessibilità in ambito di ricerca, simulazione e implementazione.
Supporta un ampio ecosistema di sviluppo della robotica, che comprende:
- ROS2 e ROS2-control
- NVIDIA Isaac Sim
- MuJoCo
- Pianificazione del movimento MoveIt
- Modellazione robotica URDF
- Sviluppo in Python e C++
- Cinematica inversa e ottimizzazione della traiettoria
Grazie alla compensazione della gravità, alla comunicazione CANFD, all'espansione USB ad alta velocità e a una workstation di controllo dedicata, il sistema fornisce una base stabile per sensori sincronizzati, controllo in tempo reale ed esperimenti di movimento ripetibili.
La workstation standard è dotata di un processore AMD Ryzen 9 Pro, 16 GB di RAM e un'unità SSD da 1 TB, con configurazioni superiori disponibili per carichi di lavoro VLA più impegnativi.
Per chi è stata creata questa piattaforma?
Il sistema Agility A2 + ExoArm-7 VLA è ideale per:
- Università e programmi di formazione in robotica
- Laboratori di intelligenza artificiale incarnata e apprendimento robotico
- Ricercatori di IA che creano set di dati per l'apprendimento per imitazione o VLA
- I team di ricerca e sviluppo industriale convalidano i flussi di lavoro di manipolazione
- Le startup di robotica stanno sviluppando dimostrazioni rapide di fattibilità.
- Gruppi di ricerca stanno esplorando l'apprendimento robotico dalla simulazione alla realtà.
Che l'obiettivo sia raccogliere dati dimostrativi, insegnare la manipolazione con due braccia, valutare nuove politiche o convalidare rapidamente un concetto di apprendimento robotico, il sistema offre un percorso integrato dal movimento umano all'esecuzione autonoma.
Perché scegliere la suite Agility A2 + ExoArm-7 VLA?
Lo sviluppo dell'intelligenza artificiale incarnata richiede più di un braccio robotico efficiente. Richiede un metodo affidabile per raccogliere dimostrazioni significative, collegare la percezione visiva all'azione, addestrare modelli di apprendimento e testare i risultati nel mondo reale.
La suite Agility A2 + ExoArm-7 VLA riunisce queste fasi cruciali in un'unica piattaforma indossabile per la teleoperazione a doppio braccio.
Dalla cattura del movimento umano naturale alla visione RGB-D sincronizzata, dalla generazione di set di dati VLA all'inferenza dei robot autonomi, è progettato per aiutare i team di robotica a ridurre i tempi di integrazione e ad accelerare la sperimentazione.
Trasforma le dimostrazioni umane in capacità robotiche: con la suite Agility A2 + ExoArm-7 VLA.
