Foxtech fornisce soluzioni di droni industriali & Sistemi di payload UAV.
Presentazione della suite Agility A2 Isomorphic Teleoperation VLA: un percorso più rapido dalla dimostrazione umana all'apprendimento robotico.
La creazione di sistemi di intelligenza artificiale incarnati e performanti richiede ben più di un braccio robotico e di un modello di IA. Ricercatori e sviluppatori necessitano di un metodo affidabile per dimostrare le funzionalità, acquisire dati sincronizzati dal robot, addestrare le politiche e verificare se queste siano in grado di funzionare nel mondo reale.
La nuova suite Agility A2 Isomorphic Teleoperation VLA è progettata per rendere questo flusso di lavoro più diretto.
Basato su un'architettura leader-follower a doppio braccio, il sistema consente una teleoperazione master-slave intuitiva tramite mappatura uno a uno delle articolazioni. Combina due bracci robotici a 7 gradi di libertà, controllo a bassa latenza, supporto per il feedback di forza, visione RGB-D multicamera, sincronizzazione dati ad alta velocità e una pipeline integrata OpenarmX-LeRobotVLA per la ricerca sull'intelligenza artificiale incarnata, l'apprendimento per imitazione, lo sviluppo di VLA e la rapida validazione di prototipi.
Che cos'è la teleoperazione isomorfa?
La teleoperazione robotica tradizionale spesso richiede la cinematica inversa per tradurre l'input umano nel movimento delle articolazioni del robot. Sebbene efficace, questo approccio può introdurre complessità, requisiti di calibrazione e potenziali incongruenze nel controllo.
La suite Agility A2 Isomorphic Teleoperation VLA adotta un approccio più diretto.
Il robot master Agility A2 replica il proprio movimento sul robot slave Agility A2 tramite una mappatura uno a uno delle articolazioni . In pratica, l'operatore muove il robot master e il robot slave ne segue il movimento corrispondente in tempo reale.
Questo metodo di controllo isomorfo leader-follower consente agli utenti di eseguire manipolazioni con entrambe le braccia in modo più intuitivo, senza dover ricorrere alla cinematica inversa per ogni comando di movimento.
Perché la mappatura articolare uno a uno è importante?
Per la raccolta di dati sull'IA incarnata, la qualità delle dimostrazioni è importante tanto quanto la quantità.
Quando il movimento del robot è difficile da controllare, le dimostrazioni possono risultare incoerenti. Ciò può influire sulla qualità del set di dati e rendere più complessa la successiva fase di addestramento delle policy. La mappatura uno a uno delle articolazioni contribuisce a ridurre il divario tra il movimento previsto dall'operatore e il movimento effettivamente eseguito dal robot.
Ciò rende il sistema particolarmente utile per attività che richiedono un controllo bimanuale coordinato, tra cui:
- Afferrare e posizionare oggetti
- Montaggio e inserimento
- Smistamento e trasporto
- Interazione del canale
- Studi di manipolazione a doppio braccio
- Dimostrazioni di apprendimento per imitazione
- Dalla simulazione agli esperimenti reali
Rendendo più naturale il funzionamento a doppio braccio, la piattaforma aiuta i ricercatori a realizzare dimostrazioni di robot reali più nitide e ripetibili.
In che modo la teleoperazione a bassa latenza migliora la raccolta dei dati?
Un sistema di teleoperazione è utile solo nella misura in cui è reattivo.
La suite Agility A2 Isomorphic Teleoperation VLA offre una latenza di circa 0,5-1 ms per il controllo master-slave in tempo reale. Questa bassa latenza consente all'operatore di mantenere una connessione più stretta con il robot slave durante le operazioni di manipolazione.
Per i team di ricerca che raccolgono dati sull'apprendimento dei robot, questo può migliorare la coerenza temporale tra l'operazione umana, le informazioni sullo stato del robot, l'input visivo e le azioni registrate.
Che si tratti di raccogliere un piccolo oggetto, inserire un componente, stabilizzare un oggetto con un braccio mentre lo si manipola con l'altro, o eseguire dimostrazioni ripetute, la teleoperazione reattiva contribuisce a rendere il processo più controllato ed efficiente.
Che ruolo svolge il feedback di forza nella manipolazione robotica?
La sola vista non può fornire a un operatore tutte le informazioni necessarie su un'interazione.
Quando un robot tocca, afferra, preme o inserisce un oggetto, le informazioni sulla forza possono essere altrettanto importanti quanto l'input della telecamera. La suite Agility A2 Isomorphic Teleoperation VLA supporta il funzionamento basato sulla forza, aiutando gli utenti a comprendere meglio le condizioni di contatto durante la manipolazione robotica.
Questo è utile per compiti in cui un movimento eccessivamente forte potrebbe danneggiare un oggetto, mentre un contatto insufficiente potrebbe causare una presa inefficace o un'interazione instabile.
Il supporto del feedback di forza può contribuire a migliorare il realismo della teleoperazione e fornire una base migliore per la raccolta di dimostrazioni che coinvolgono attività ad alto contatto, manipolazione di precisione, assemblaggio e inserimento.
Come avviene l'acquisizione dei dati da parte del sistema per la formazione VLA?
Un flusso di lavoro VLA dipende da informazioni sincronizzate provenienti da più fonti. Il robot deve capire cosa vede, come si muovono le sue articolazioni e quali azioni vengono eseguite.
La suite Agility A2 Isomorphic Teleoperation VLA integra un sistema di visione RGB-D multicamera con:
- Una telecamera frontale Intel D435
- Due fotocamere da polso Intel D405
- Gruppi di presa Vision
- Hardware di espansione USB ad alta velocità
- Comunicazione industriale CANFD
La telecamera posizionata sulla testa offre una visione più ampia dell'area di lavoro, mentre le telecamere da polso catturano informazioni visive ravvicinate intorno alle pinze e agli oggetti bersaglio.
Durante il teleintervento, il sistema può registrare dati visivi RGB-D sincronizzati e dati sullo stato del robot. Ciò crea una solida base di dati per l'apprendimento di azioni basato sulla visione, l'apprendimento per imitazione, l'apprendimento per rinforzo, l'inferenza di modelli e l'esecuzione autonoma di compiti.
Quali modelli VLA sono supportati dalla piattaforma?
La suite Agility A2 Isomorphic Teleoperation VLA è progettata per supportare un flusso di lavoro flessibile per lo sviluppo di VLA.
L'inferenza ACT è disponibile di default e offre un punto di partenza pratico per i team che desiderano iniziare a raccogliere dimostrazioni e convalidare rapidamente le attività di apprendimento dei robot.
Per gli utenti che lavorano con configurazioni di calcolo ad alte prestazioni, la piattaforma può supportare anche:
- SmoLVLA
- Pio
- Pi0.5
- XVLA
Questa capacità multi-modello offre ai ricercatori maggiore libertà di confrontare approcci, testare diverse pipeline di addestramento e selezionare i modelli che meglio si adattano ai requisiti del loro compito.
Anziché essere vincolati a un'unica struttura di modello, i team possono utilizzare una piattaforma hardware per esplorare molteplici flussi di lavoro VLA, dai primi esperimenti di apprendimento per imitazione alla ricerca più avanzata sull'intelligenza artificiale incarnata.
In che modo la piattaforma supporta un flusso di lavoro completo basato sull'intelligenza artificiale incarnata?
La suite Agility A2 Isomorphic Teleoperation VLA è progettata per collegare le fasi chiave dell'apprendimento robotico in un unico sistema.
Innanzitutto, un operatore utilizza il robot a doppio braccio lato master per dimostrare un'attività. Il robot lato slave segue il movimento mappato in tempo reale. Durante questo processo, il sistema registra le osservazioni visive, lo stato del robot e i dati relativi alle azioni.
Successivamente, i dati raccolti possono essere elaborati tramite la pipeline OpenarmX-LeRobotVLA per l'addestramento e la valutazione.
Infine, il modello risultante può essere testato attraverso l'inferenza nel mondo reale e l'esecuzione autonoma di compiti.
Questo flusso di lavoro aiuta i team a completare l'intero ciclo di sviluppo:
Dimostrazione umana → raccolta dati sincronizzata → addestramento VLA → convalida dell'inferenza → esecuzione autonoma
Per i team che sviluppano sistemi di intelligenza artificiale incarnata, questo può ridurre il tempo impiegato per integrare componenti separati di teleoperazione, rilevamento, controllo e addestramento.
Perché un sistema a doppio braccio è importante per l'apprendimento robotico?
Molte attività pratiche non possono essere completate con un solo braccio.
Aprire un contenitore, tenere fermo un oggetto mentre lo si regola, piegare un tessuto, trasferire oggetti, assemblare componenti o organizzare materiali spesso richiedono una manipolazione bimanuale coordinata.
La suite Agility A2 Isomorphic Teleoperation VLA utilizza due bracci robotici a 7 gradi di libertà per supportare operazioni a due braccia simili a quelle umane. La piattaforma è progettata per scenari di interazione più complessi rispetto alle semplici attività di prelievo e posizionamento con un solo braccio.
Con una capacità di carico nominale di 5 kg e una capacità di carico massima di 12 kg, il sistema è in grado di supportare una vasta gamma di attività di ricerca e validazione che includono la movimentazione di oggetti, il coordinamento di due bracci robotici e la manipolazione di precisione.
In che modo la postazione di controllo supporta lo sviluppo avanzato?
Una piattaforma robotica efficiente necessita anche di una solida base informatica.
Il sistema comprende una workstation di controllo con processore AMD Ryzen 9 Pro, 16 GB di RAM e un'unità SSD da 1 TB. Sono disponibili anche configurazioni superiori per gli utenti che necessitano di maggiori risorse di calcolo per modelli VLA avanzati e flussi di lavoro di sviluppo complessi.
L'ecosistema software supporta ROS2, NVIDIA Isaac Sim, MuJoCo, Python, C++ e la pianificazione del movimento basata su MoveIt. In combinazione con il controllo ROS2 e la compensazione della gravità, la piattaforma è progettata per supportare un movimento robotico stabile e ripetibile e uno sviluppo secondario flessibile.
Per ricercatori e sviluppatori, ciò significa che il sistema può fungere sia da piattaforma sperimentale pronta all'uso, sia da base per una personalizzazione più approfondita.
A chi è destinata la suite Agility A2 Isomorphic Teleoperation VLA?
Questa piattaforma è pensata per i team che hanno bisogno di trasformare concetti di intelligenza artificiale incarnata in veri e propri esperimenti robotici.
È particolarmente indicato per:
Università e laboratori didattici
Utilizzate la piattaforma per attività pratiche di robotica, studi sulla manipolazione a doppio braccio, esperimenti di teleoperazione ed esplorazione del flusso di lavoro VLA.
Laboratori di ricerca sull'intelligenza artificiale e la robotica
Raccogli dati dimostrativi da robot reali, confronta i modelli VLA, conduci ricerche sull'apprendimento per imitazione e convalida gli approcci di transizione dalla simulazione alla realtà.
Team di ricerca e sviluppo industriale
Prima di sviluppare un sistema di produzione specializzato, testate i flussi di lavoro di manipolazione robotica. Valutate attività quali smistamento, assemblaggio, inserimento, trasporto e movimentazione dei materiali in ambienti controllati.
Startup di robotica
Realizzate e validate più rapidamente una prima prova di concetto partendo da una piattaforma integrata per teleoperazione, rilevamento e VLA, anziché sviluppare ogni componente da zero.
Cosa è incluso nel sistema?
La suite Agility A2 Isomorphic Teleoperation VLA include una configurazione hardware e di controllo completa per il funzionamento leader-follower a doppio braccio:
- 1 × Agility A2 Dual-Arm Master Side
- 1 × Lato schiavo a doppio braccio Agility A2
- 1 × Adattatore di alimentazione 48 V / 20 A
- 1 × Scatola di comunicazione CANFD
- 1 × Telecamera frontale Intel D435
- 2 telecamere da polso Intel D405 con pinze di fissaggio Vision
- 1 × Hub di espansione USB ad alta velocità
- 1 × Postazione di controllo
Questa configurazione integrata consente agli utenti di avviare la teleoperazione, la raccolta dati e la convalida del flusso di lavoro VLA con un numero ridotto di passaggi di integrazione.
Dalla teleoperazione alla manipolazione autonoma
Il sistema Agility A2 Isomorphic Teleoperation VLA Suite non è semplicemente un sistema robotico a doppio braccio. Si tratta di una piattaforma completa per connettere le abilità umane, i dati del robot e l'apprendimento dell'intelligenza artificiale incarnata.
Grazie alla mappatura intuitiva delle articolazioni uno a uno, al controllo leader-follower a bassa latenza, al supporto del feedback di forza, alla percezione RGB-D multicamera e all'integrazione software predisposta per VLA, aiuta ricercatori e sviluppatori a costruire un percorso più efficiente dalla dimostrazione all'implementazione.
Per i team che si occupano di apprendimento robotico, addestramento VLA, apprendimento per imitazione e manipolazione autonoma nel mondo reale, la suite Agility A2 Isomorphic Teleoperation VLA offre una base pratica per una sperimentazione più rapida e una validazione più efficace dei prototipi.
