Suite Agility A2 VR Teleoperation VLA: una piattaforma multi-modello per la ricerca sull'intelligenza artificiale incarnata e l'apprendimento robotico.

Con il progressivo passaggio dell'intelligenza artificiale incarnata dalla simulazione alle applicazioni robotiche nel mondo reale, ricercatori e sviluppatori necessitano di qualcosa di più di un semplice braccio robotico. Hanno bisogno di una piattaforma completa in grado di raccogliere dati di alta qualità, supportare diversi modelli VLA (Virtual Level Automation) e contribuire alla validazione dei flussi di lavoro di apprendimento robotico in ambienti reali.

La suite Agility A2 VR Teleoperation VLA è progettata proprio per questo scopo. Combina la manipolazione robotica a doppio braccio, la teleoperazione immersiva in realtà virtuale, la visione 3D multicamera, l'acquisizione dati sincronizzata e una pipeline software predisposta per VLA. Ancora più importante, supporta diverse opzioni di modelli VLA, tra cui ACT, SmoLVLA, Pi0, Pi0.5 e XVLA, offrendo a ricercatori e sviluppatori maggiore flessibilità per la sperimentazione con l'intelligenza artificiale incarnata.

Quale problema risolve la suite Agility A2 VLA?

Molti team di robotica si trovano ad affrontare la stessa sfida: dispongono di modelli di intelligenza artificiale, strumenti di simulazione o idee di ricerca, ma mancano di una piattaforma robotica pratica per la raccolta di dati reali e la validazione dei modelli.

Un modello VLA necessita di input visivi, dati sullo stato del robot, dati sulle azioni e l'esecuzione di compiti reali. Se l'hardware, le telecamere, il sistema di controllo e la pipeline software non sono ben integrati, i ricercatori potrebbero dedicare troppo tempo alla costruzione dell'infrastruttura anziché alla sperimentazione delle idee.

La suite Agility A2 VR Teleoperation VLA contribuisce a risolvere questo problema fornendo una piattaforma integrata a doppio braccio per la teleoperazione, la raccolta dati, l'apprendimento per imitazione, l'addestramento VLA e l'inferenza in tempo reale. Consente ai team di passare più rapidamente dalla dimostrazione umana all'apprendimento del robot e dal test del modello all'esecuzione del compito.

Quali modelli VLA supporta?

Uno dei principali vantaggi della suite Agility A2 VLA è il supporto multi-modello per VLA. In base alla struttura del modello VLA supportato, il sistema può funzionare con:

ACT — Predefinito
SmoLVLA — Opzionale
Pi0 — Opzionale
Pi0.5 — Opzionale
XVLA — Opzionale

Ciò significa che gli utenti possono iniziare con ACT come modello di inferenza predefinito, pur avendo la flessibilità di esplorare altri modelli VLA a seconda della direzione della loro ricerca, della configurazione di calcolo e dei requisiti del compito.

Per laboratori di ricerca, università e startup nel settore della robotica, questo supporto multi-modello è fondamentale. Modelli diversi possono offrire prestazioni migliori in compiti differenti, come afferrare, prelevare, posizionare, piegare, utilizzare strumenti o manipolare oggetti a lungo raggio. Invece di essere limitati a un'unica pipeline di modelli, gli utenti possono confrontare, validare e sviluppare diversi approcci basati su VLA (Vertical Logic Analyzer) sulla stessa piattaforma robotica.

In che modo ACT supporta la convalida rapida del flusso di lavoro VLA?

ACT è supportato come modello predefinito, il che lo rende adatto agli utenti che desiderano avviare rapidamente l'inferenza VLA e la convalida delle attività.

Per i team che si avvicinano per la prima volta all'intelligenza artificiale incarnata o alla robotica basata su VLA, un'opzione con modello predefinito risulta molto utile. Riduce le difficoltà iniziali di configurazione e fornisce un punto di partenza pratico per raccogliere dimostrazioni, addestrare politiche di comportamento e testare le azioni del robot.

Con ACT, gli utenti possono concentrarsi su attività di manipolazione di base come afferrare, trasferire oggetti, prelevare e posizionare, piegare o semplici flussi di lavoro di assemblaggio. Questo lo rende adatto a laboratori didattici, corsi di robotica basata sull'intelligenza artificiale e alla validazione preliminare di prototipi.

In che modo i modelli VLA opzionali ampliano le possibilità di ricerca?

Sebbene ACT offra un ottimo punto di partenza, gli utenti più esperti potrebbero aver bisogno di maggiore flessibilità nella gestione dei modelli. È qui che il supporto opzionale per SmoLVLA, Pi0, Pi0.5 e XVLA si rivela prezioso.

SmoLVLA può essere utilizzato da team che esplorano flussi di lavoro VLA leggeri o efficienti. Pi0 e Pi0.5 offrono ulteriori opzioni per sperimentare nuove strutture di modelli VLA e strategie di esecuzione delle attività. XVLA offre un'ulteriore direzione opzionale per gli utenti che desiderano testare diverse capacità di visione-linguaggio-azione in scenari di manipolazione robotica.

Il valore di questi modelli opzionali non risiede solo nella varietà dei modelli stessi. Offrono agli utenti un modo per confrontare le prestazioni su diverse attività, set di dati e strategie di controllo. Un laboratorio universitario può utilizzare la piattaforma per confrontare i modelli. Una startup può usarla per testare quale modello sia più adatto a un'applicazione commerciale. Un team di ricerca e sviluppo industriale può usarla per verificare se un modello VLA è in grado di gestire specifiche attività ripetitive in un ambiente controllato.

Perché il supporto multi-modello è importante per l'intelligenza artificiale incarnata?

L'intelligenza artificiale incarnata è ancora in rapida evoluzione. Nessun singolo modello è in grado di risolvere perfettamente ogni compito robotico. Un modello che si comporta bene in un compito potrebbe non essere la scelta migliore per un altro.

Ad esempio, un modello potrebbe essere più adatto per compiti di prelievo e posizionamento a breve termine, mentre un altro potrebbe essere più indicato per sequenze più complesse che implicano comprensione visiva, interazione con gli oggetti e pianificazione continua delle azioni.

Grazie al supporto di ACT, SmoLVLA, Pi0, Pi0.5 e XVLA, la suite Agility A2 VLA offre ai ricercatori maggiore libertà di sperimentazione. Gli utenti possono raccogliere i dati una sola volta, testare diverse pipeline di modelli e valutare le prestazioni di ciascun modello in condizioni robotiche reali.

Ciò rende la piattaforma particolarmente adatta alla ricerca sull'intelligenza artificiale incarnata, all'apprendimento per imitazione, all'addestramento di VLA, agli esperimenti di apprendimento robotico e alla validazione dalla simulazione alla realtà.

In che modo la teleoperazione in realtà virtuale aiuta la raccolta dati di VLA?

L'apprendimento robotico di alta qualità inizia con dati dimostrativi di alta qualità. La suite Agility A2 VLA utilizza la teleoperazione in realtà virtuale per consentire agli utenti di controllare il robot a doppio braccio in modo più naturale e coinvolgente.

Grazie a un visore VR, gli operatori possono guidare il robot nello svolgimento dei compiti mentre il sistema registra dati visivi sincronizzati, dati sullo stato del robot e dati sulle azioni. Questo flusso di lavoro è particolarmente utile per l'apprendimento per imitazione, in cui il robot impara dalle dimostrazioni umane.

Rispetto ai metodi di controllo tradizionali, la teleoperazione in realtà virtuale può rendere la raccolta di dimostrazioni più intuitiva. L'operatore può guidare entrambe le braccia, osservare l'ambiente di lavoro e generare dati utili per l'addestramento e l'inferenza successivi.

Per la ricerca sul VLA, ciò crea un ponte concreto tra l'intervento umano e l'apprendimento robotico autonomo.

In che modo la visione 3D multicamera migliora l'apprendimento dei robot?

I modelli VLA si basano in larga misura sulle informazioni visive. La suite Agility A2 VLA integra un sistema di visione 3D multicamera, che include una telecamera sulla testa e telecamere da polso, per acquisire l'area di lavoro da diverse prospettive.

La telecamera posizionata sulla testa offre una visione più ampia dell'ambiente circostante, mentre le telecamere sui polsi forniscono informazioni visive ravvicinate in prossimità delle pinze. Questa combinazione è utile per le attività di manipolazione in cui sono importanti sia la comprensione globale della scena sia l'interazione locale con gli oggetti.

Ad esempio, quando il robot raccoglie un oggetto, la telecamera sulla testa può aiutare a comprendere la scena nel suo complesso, mentre la telecamera sul polso può acquisire un feedback visivo dettagliato in prossimità dell'oggetto bersaglio. Questo tipo di dati RGB-D sincronizzati può supportare un addestramento VLA più accurato e un'inferenza in tempo reale più affidabile.

Come possono i ricercatori utilizzare la piattaforma?

La suite Agility A2 VLA è in grado di supportare un flusso di lavoro completo di intelligenza artificiale incarnata:

Innanzitutto, l'utente controlla il robot tramite teleoperazione in realtà virtuale ed esegue attività di manipolazione reali. Successivamente, il sistema acquisisce dati sincronizzati, tra cui input dalla telecamera, movimento del robot e informazioni sulle azioni. Dopodiché, i dati raccolti possono essere elaborati tramite la pipeline VLA per l'apprendimento per imitazione, l'addestramento del modello e il test di inferenza. Infine, il modello addestrato può essere ridistribuito sul robot per l'esecuzione autonoma delle attività.

Questo flusso di lavoro aiuta gli utenti a verificare se un modello VLA è in grado di passare dai dati dimostrativi al comportamento robotico reale.

Le attività di ricerca tipiche possono includere afferrare oggetti, smistare articoli, piegare, assemblare, inserire, trasportare, posizionare su scaffali e altri esperimenti di manipolazione con due braccia.

Cosa rende Agility A2 adatto alla manipolazione con due braccia?

Molte attività quotidiane richiedono l'uso di entrambe le mani. Piegare la stoffa, spostare oggetti, stabilizzare oggetti, aprire pacchi, disporre oggetti o assemblare componenti spesso necessitano di un controllo bimanuale coordinato.

La piattaforma Agility A2 è progettata con due bracci robotici a 7 gradi di libertà, che consentono una manipolazione bibracciale simile a quella umana. Ciò la rende più adatta alla ricerca sull'intelligenza artificiale incarnata rispetto ai sistemi a braccio singolo, quando il compito da svolgere richiede la cooperazione di entrambi gli arti.

Per l'addestramento del VLA, i dati relativi a entrambe le braccia sono preziosi perché consentono al modello di apprendere schemi di interazione più complessi. Invece di apprendere solo semplici movimenti di raggiungimento o presa con un solo braccio, il sistema può supportare flussi di lavoro di manipolazione più avanzati che coinvolgono entrambe le braccia.

A chi è destinata questa piattaforma?

La suite Agility A2 VR Teleoperation VLA è adatta a università, laboratori di ricerca sulla robotica basata sull'intelligenza artificiale, laboratori didattici, team di ricerca e sviluppo industriali e startup nel settore della robotica avanzata.

Per le università, può essere utilizzato in corsi di intelligenza artificiale incarnata, esperimenti di apprendimento robotico e progetti di ricerca studenteschi. Per i laboratori di ricerca, fornisce una piattaforma pratica per testare modelli VLA, apprendimento per imitazione e studi di manipolazione nel mondo reale. Per le startup e i team di ricerca e sviluppo, può supportare una rapida validazione di prova di concetto prima di costruire un sistema robotico più specializzato.

Grazie al supporto di ROS2, NVIDIA Isaac, MoveIt, MuJoCo, Python, C++, URDF, VLA e allo sviluppo correlato all'IK, la piattaforma offre agli sviluppatori maggiore flessibilità per l'integrazione e lo sviluppo secondario.

Perché scegliere una piattaforma robotica predisposta per VLA invece di costruirne una da zero?

Costruire un sistema robotico VLA da zero può richiedere molto tempo. I team devono integrare bracci robotici, telecamere, controllo VR, acquisizione dati, comunicazione, strumenti di simulazione, pianificazione del movimento e pipeline di modelli di intelligenza artificiale.

La suite Agility A2 VLA riduce questo onere di sviluppo offrendo una piattaforma più completa per la raccolta dati, la teleoperazione, l'addestramento e l'inferenza. Gli utenti possono dedicare meno tempo all'integrazione hardware-software di base e più tempo alle prestazioni del modello, alla progettazione delle attività, alla qualità dei set di dati e alla convalida delle applicazioni.

Per i team che lavorano sull'intelligenza artificiale incarnata, questo può migliorare significativamente l'efficienza dello sviluppo.

Conclusione

La suite Agility A2 VR Teleoperation VLA è molto più di una semplice piattaforma robotica a doppio braccio. Si tratta di un sistema completo, pronto per la ricerca, dedicato all'intelligenza artificiale incarnata, all'addestramento VLA, all'apprendimento per imitazione e alla manipolazione di robot nel mondo reale.

Con ACT come modello predefinito e il supporto opzionale per SmoLVLA, Pi0, Pi0.5 e XVLA, la piattaforma offre a ricercatori e sviluppatori la flessibilità di esplorare diversi flussi di lavoro VLA su un unico sistema robotico integrato.

Grazie alla combinazione di teleoperazione in realtà virtuale, visione 3D multicamera, acquisizione dati sincronizzata, manipolazione a doppio braccio e strumenti di sviluppo compatibili con ROS2/NVIDIA Isaac, Agility A2 contribuisce ad accelerare il passaggio dalla dimostrazione umana all'apprendimento del robot e dal test dei modelli di intelligenza artificiale all'esecuzione di compiti nel mondo reale.

Per università, laboratori di ricerca e team di robotica alla ricerca di una piattaforma a doppio braccio pratica e predisposta per VLA, la suite Agility A2 VR Teleoperation VLA offre una solida base per la prossima fase della ricerca sull'intelligenza artificiale applicata al corpo umano.