Foxtech fornisce soluzioni di droni industriali & Sistemi di payload UAV.
Vi presentiamo GripperGo Pro: un sistema di raccolta dati umani ad alta precisione per l'intelligenza artificiale incarnata e l'apprendimento robotico.
I dati di alta qualità relativi alle dimostrazioni umane stanno diventando un fondamento essenziale per la ricerca sull'intelligenza artificiale incarnata, l'apprendimento per imitazione e la manipolazione robotica. Tuttavia, registrare una persona che esegue un compito è solo l'inizio. I team di ricerca necessitano anche di informazioni accuratamente allineate sul movimento della mano, lo stato della pinza, il contesto visivo, la profondità, il movimento e le traiettorie spaziali.
Quando questi flussi di dati vengono acquisiti da dispositivi separati, le differenze di temporizzazione, di sistemi di coordinate e di qualità dei dati possono rendere il set di dati risultante di difficile utilizzo. I problemi potrebbero manifestarsi solo dopo il completamento della raccolta, portando a dimostrazioni ripetute e a ulteriori lavori di post-elaborazione.
Per affrontare queste sfide, Foxtech presenta GripperGo Pro , un sistema professionale di raccolta dati umani progettato per l'acquisizione di operazioni di precisione basate su pinze. Combinando il posizionamento della stazione base Vive, la sincronizzazione multimodale a livello di millisecondi, dispositivi di raccolta bimanuali e l'elaborazione edge-side DataCube, il sistema aiuta i team di ricerca a creare set di dati più strutturati e coerenti per l'apprendimento robotico.
Quale problema risolve GripperGo Pro?
I robot devono imparare più del semplice risultato finale di un'operazione. Hanno bisogno di dati che descrivano come è stato svolto il compito.
Per un'attività di presa o manipolazione, i ricercatori potrebbero aver bisogno di catturare:
- Ciò che ha visto l'operatore
- Come entrambe le mani si sono mosse nello spazio
- Quando le pinze si aprivano o si chiudevano
- Come erano orientati i dispositivi
- Quanto velocemente si è verificato ciascun movimento
- Come le pinze si sono avvicinate e hanno manipolato l'oggetto
- Se il contatto o la pressione sono cambiati durante la presa
Un normale sistema video non è in grado di fornire tutte queste informazioni. La creazione di un sistema di acquisizione personalizzato con più telecamere, sensori di movimento, dispositivi di tracciamento e computer di elaborazione può inoltre comportare difficoltà di sincronizzazione e calibrazione.
GripperGo Pro integra queste funzioni in un flusso di lavoro di raccolta dati. Registra il funzionamento della pinza insieme a dati visivi, relativi alla profondità, al movimento, alla traiettoria e alla manipolazione, aiutando i team a convertire le dimostrazioni umane in set di dati strutturati adatti ai successivi flussi di lavoro di apprendimento robotico.
Perché il posizionamento spaziale ad alta precisione è importante?
Piccole differenze nella posizione della mano possono influenzare significativamente un'attività di manipolazione.
Quando una persona afferra un piccolo oggetto, inserisce un componente, utilizza uno strumento o coordina entrambe le mani, la traiettoria spaziale di ogni movimento diventa parte dei dati di addestramento. Se il sistema di tracciamento introduce una deriva eccessiva o incoerenze, la dimostrazione registrata potrebbe non rappresentare accuratamente l'operazione originale.
GripperGo Pro utilizza un sistema di posizionamento della stazione base Vive per fornire una precisione di posizionamento spaziale di 1 mm all'interno di un ambiente di raccolta dati standardizzato.
Questo metodo di posizionamento è particolarmente utile per attività che richiedono:
- dimostrazioni umane ripetibili
- Traiettorie bimanuali accurate
- Coordinate spaziali coerenti
- Analisi dettagliata della presa e della manipolazione
- Raccolta dati standardizzata tra più operatori
- Confronto tra sequenze di compiti ripetuti
Anziché concentrarsi sulla portabilità illimitata e senza necessità di stazioni base, GripperGo Pro è progettato per la raccolta di campioni ad alta precisione in ambienti controllati come laboratori, centri di ricerca universitari, sale di raccolta standardizzate e spazi per la formazione industriale.
In che modo la sincronizzazione a 1 ms migliora la qualità del set di dati?
Un set di dati per l'apprendimento robotico può includere immagini, informazioni relative alla profondità, misurazioni IMU, distanza di apertura della pinza e traiettorie spaziali. Anche quando ogni sensore funziona correttamente, i dati possono diventare difficili da utilizzare se i flussi non sono sincronizzati con precisione.
Ad esempio, un'immagine potrebbe mostrare la pinza che tocca un oggetto, mentre i dati corrispondenti sulla traiettoria o sulla distanza di apertura rappresentano un momento leggermente precedente. Quando queste differenze temporali si accumulano in un set di dati, possono ridurre la coerenza dei campioni di addestramento.
GripperGo Pro supporta la sincronizzazione hardware multimodale a 1 ms , contribuendo ad allineare i dati visivi, di movimento e di manipolazione lungo una timeline condivisa.
Questa sincronizzazione consente ai ricercatori di studiare ogni azione come un evento coordinato. La posizione della pinza, il suo stato di apertura, il suo orientamento e le relative informazioni visive possono essere abbinati con maggiore precisione, fornendo una base migliore per l'apprendimento per imitazione e l'addestramento alla manipolazione robotica.
Quali dati può raccogliere GripperGo Pro?
GripperGo Pro è progettato per acquisire diverse tipologie di dati relativi alle operazioni umane durante le attività di presa e manipolazione.
Il sistema può raccogliere:
- Dati video
- Informazioni relative alla profondità
- Traiettorie di movimento tridimensionali
- Distanza di apertura della pinza
- Angoli di assetto dell'IMU
- accelerazione IMU
- velocità angolare dell'IMU
- Dati opzionali relativi alla percezione tattile e alla distribuzione della pressione.
I dispositivi di raccolta dati integrano la visione binoculare e l'acquisizione visiva grandangolare per registrare l'ambiente di lavoro e la relazione tra le pinze e gli oggetti circostanti.
A L'IMU a 200 Hz registra informazioni sul movimento ad alta frequenza, mentre i 128 GB di memoria interna consentono la registrazione locale dei dati durante le sessioni di raccolta.
Combinando questi tipi di dati, GripperGo Pro offre molto più di una semplice registrazione visiva. Descrive come si sviluppa l'operazione nel tempo e come le pinze si muovono e interagiscono con gli oggetti durante l'intero processo.
In che modo le pinze supportano le dimostrazioni umane naturali?
Il sistema utilizza una coppia di pinze di raccolta azionate dall'uomo, che consentono all'operatore di dimostrare direttamente le operazioni di manipolazione.
Ogni pinza offre un'apertura da 0 a 100 mm e una forza di presa fino a 20 N , supportando le dimostrazioni di presa, manipolazione, smistamento e posizionamento di oggetti comuni.
L'utilizzo di due pinze consente inoltre di raccogliere dati sulle operazioni bimanuali. Questo è importante perché molte attività reali non possono essere svolte efficacemente con una sola mano. Una mano può stabilizzare un oggetto mentre l'altra lo regola, oppure entrambe le mani possono dover coordinarsi durante operazioni di sollevamento, assemblaggio, imballaggio e utilizzo di utensili.
Le possibili dimostrazioni includono:
- Selezionare e posizionare oggetti
- Ordinamento degli articoli per tipo o posizione
- Apertura dei contenitori
- Strumenti di manipolazione
- Trasferire oggetti da una mano all'altra
- Stabilizzare e manipolare un oggetto simultaneamente
- Completamento di compiti bimanuali in più fasi
- Dimostrazione delle procedure di assemblaggio di base
L'obiettivo non è quello di forzare il movimento umano ad adattarsi perfettamente alla struttura di un braccio robotico. Piuttosto, il sistema registra le azioni dell'operatore come dati strutturati che potranno essere successivamente utilizzati per la ricerca sull'apprendimento robotico e per lo sviluppo di dataset.
Che ruolo svolge DataCube nel flusso di lavoro?
La raccolta dei dati è utile solo quando gli operatori possono confermare che le informazioni registrate sono complete e utilizzabili.
GripperGo Pro include la piattaforma di elaborazione edge DataCube , che supporta l'acquisizione, la sincronizzazione, la riproduzione, l'ispezione e la preelaborazione dei dati. Offre ai ricercatori un modo più integrato per gestire il processo di raccolta senza dover dipendere esclusivamente da successive ispezioni offline.
Durante o dopo una sessione di raccolta dati, i team possono rivedere i dati registrati ed esaminare se i flussi di dati dei sensori richiesti sono stati acquisiti correttamente. Ciò consente di identificare tempestivamente campioni incompleti, anomali o problematici.
Il controllo qualità sul bordo è particolarmente prezioso per i progetti che prevedono numerose dimostrazioni ripetute. Individuare un problema immediatamente può consentire all'operatore di ripetere solo l'operazione interessata. Scoprire lo stesso problema dopo un'intera campagna di raccolta potrebbe invece richiedere una rilavorazione considerevolmente maggiore.
In che modo l'ispezione del bordo riduce la necessità di ripetere la raccolta dei campioni?
La raccolta di dati tramite esseri umani può richiedere centinaia o migliaia di dimostrazioni. Anche un basso tasso di fallimento può generare una quantità significativa di dati inutilizzabili.
I potenziali problemi possono includere:
- Sequenze di attività incomplete
- Dati di tracciamento anomali
- Informazioni del sensore mancanti
- Scarsa copertura visiva
- Funzionamento errato della pinza
- Dati multimodali non allineati
- Registrazioni interrotte
GripperGo Pro aiuta gli operatori a ispezionare e contrassegnare i dati problematici direttamente sul campo. Ciò consente ai team di raccolta dati di eseguire un controllo di qualità iniziale prima di trasferire il dataset in una pipeline di addestramento o elaborazione più ampia.
Il sistema non elimina la necessità di convalida, annotazione o preelaborazione specifica del modello dei set di dati. Tuttavia, un'ispezione preliminare può aiutare i team a ridurre la necessità di raccogliere informazioni inutilmente e a organizzare i dati in modo più efficiente.
Perché la funzionalità di rilevamento tattile opzionale è preziosa?
La posizione e la visuale possono mostrare dove si trova una pinza, ma non descrivono completamente come essa entra in contatto con un oggetto.
Per le ricerche che riguardano la stabilità della presa, oggetti fragili, materiali deformabili o manipolazioni che richiedono un contatto frequente, la distribuzione della pressione può fornire importanti informazioni aggiuntive. Può aiutare i ricercatori a capire quando inizia il contatto, come cambia la presa e come la forza si distribuisce sulla superficie di presa.
GripperGo Pro può essere equipaggiato con un array opzionale di sensori tattili a 21 punti per acquisire informazioni sul contatto e sulla distribuzione della pressione durante la presa.
Il sensore tattile non è incluso come funzionalità integrata standard. I team possono selezionarlo quando i loro progetti richiedono informazioni di contatto più dettagliate, mentre i progetti incentrati principalmente su visione, traiettorie, movimento e stato del dispositivo di presa possono utilizzare la configurazione standard.
In che modo GripperGo Pro collega la raccolta dati all'apprendimento automatico dei robot?
Un set di dati deve infine passare dal sistema di raccolta a un ambiente di apprendimento automatico.
GripperGo Pro attualmente supporta l'esportazione dei dati nel formato LeRobot , aiutando i team a organizzare le dimostrazioni acquisite per i flussi di lavoro di apprendimento robotico successivi. Ciò può ridurre lo sforzo necessario per convertire i risultati grezzi della raccolta in una struttura standardizzata prima dell'ulteriore elaborazione.
I dati esportati potrebbero comunque necessitare di essere filtrati, annotati, normalizzati o adattati in base al modello e alla piattaforma robotica del team di ricerca. Ciononostante, l'esportazione strutturata fornisce una connessione più chiara tra l'acquisizione delle dimostrazioni umane e il successivo sviluppo del modello.
Un flusso di lavoro tipico può includere:
- Installazione delle stazioni base Vive nell'area di raccolta.
- Preparazione dei due dispositivi di raccolta GripperGo Pro.
- Connessione e verifica della piattaforma DataCube.
- Calibrazione dell'ambiente di raccolta.
- Definizione del compito richiesto e della procedura dimostrativa.
- Registrazione di dati visivi, spaziali, di movimento e di funzionamento della pinza.
- Revisione e segnalazione dei campioni problematici tramite ispezione dei bordi.
- Pre-elaborazione e organizzazione dei dati raccolti.
- Esportazione del dataset nel formato LeRobot.
- Adattamento dei dati per la pipeline di apprendimento robotico selezionata.
Questo flusso di lavoro integrato aiuta i team di ricerca a passare dalle dimostrazioni individuali effettuate da esseri umani alla produzione di set di dati ripetibili.
Per quali applicazioni è adatto GripperGo Pro?
GripperGo Pro è progettato per l'acquisizione di movimenti umani ad alta precisione in ambienti standardizzati.
Le possibili applicazioni includono:
Raccolta dati di intelligenza artificiale incorporata
Il sistema è in grado di registrare le interazioni umane con oggetti e spazi di lavoro, fornendo dimostrazioni multimodali per la ricerca sull'intelligenza incarnata.
Apprendimento per imitazione
I ricercatori possono raccogliere esempi che mostrano come una persona porta a termine un compito e utilizzare i dati strutturati per favorire l'apprendimento tramite la dimostrazione.
Addestramento alla manipolazione robotica
Le traiettorie delle pinze, la distanza di apertura, le informazioni sul movimento, il contesto visivo e i dati tattili opzionali possono supportare la ricerca sulla gestione e manipolazione degli oggetti.
Ricerca sulla coordinazione bimanuale
I dispositivi di raccolta dati accoppiati consentono ai ricercatori di studiare e registrare attività che richiedono l'uso coordinato di entrambe le mani.
Compiti che richiedono destrezza e un contatto fisico intenso
Se dotato dell'array di sensori tattili opzionale, il sistema può fornire ulteriori informazioni su contatto e pressione per una ricerca più dettagliata sulla presa.
Sviluppo di set di dati standardizzati
Università, laboratori e team di raccolta dati possono utilizzare il sistema per registrare dimostrazioni ripetute in condizioni spaziali e procedurali controllate.
Dimostrazione di un'attività industriale
Il sistema è in grado di supportare la registrazione di procedure strutturate di manipolazione, smistamento, utilizzo di strumenti e assemblaggio di base per la ricerca sull'apprendimento dei robot industriali.
Per chi è stato progettato GripperGo Pro?
GripperGo Pro è pensato per le organizzazioni che necessitano di dati di dimostrazione umana accurati e ripetibili, tra cui:
- Team di ricerca sull'IA incarnata
- Laboratori di robotica
- Università e istituti di formazione professionale
- Ricercatori sull'apprendimento per imitazione
- Sviluppatori di manipolazione robotica
- Gruppi di ricerca sulla manipolazione destreggiata
- Startup di intelligenza artificiale e robotica
- Team di raccolta e annotazione dei set di dati
- Aziende che sviluppano robot per uso generale
- Strutture di ricerca e formazione industriale
È particolarmente adatto ai team che dispongono già di uno spazio di raccolta dati definito e necessitano di dati coerenti tra attività ripetute, operatori diversi o sessioni sperimentali.
Quando i clienti dovrebbero scegliere GripperGo Pro?
GripperGo Pro è la scelta ideale quando precisione spaziale, sincronizzazione, ripetibilità e gestione dei dati in locale sono le priorità principali.
I team dovrebbero prendere in considerazione il sistema Pro quando hanno bisogno di:
- Posizionamento spaziale a livello di 1 mm
- cattura dell'operazione umana bimanuale
- Sincronizzazione hardware multimodale a 1 ms
- Un ambiente di raccolta standardizzato e fisso
- Riproduzione dei dati lato server e controllo qualità
- Supporto integrato per la preelaborazione
- Esportazione dati in formato LeRobot
- Dati opzionali relativi alla percezione tattile e alla distribuzione della pressione.
Per i progetti che richiedono principalmente la raccolta di campioni in mobilità presso abitazioni, fabbriche, supermercati, aree esterne o altri ambienti aperti e non strutturati, una soluzione senza stazione base potrebbe essere più appropriata. GripperGo Pro è specificamente ottimizzato per ambienti controllati in cui la precisione e la ripetibilità della raccolta sono più importanti della libertà di movimento.
Cosa è incluso nel sistema?
La confezione standard di GripperGo Pro include:
- Due dispositivi di raccolta dati GripperGo Pro
- Una piattaforma di elaborazione edge DataCube
- Un sistema di stazioni base Vive
La configurazione a due dispositivi supporta di serie la raccolta dati bimanuale. L'array di sensori tattili a 21 punti, opzionale, può essere selezionato separatamente quando sono necessarie informazioni sul contatto e sulla distribuzione della pressione.
Creazione di set di dati più coerenti per le dimostrazioni umane
Il lancio di GripperGo Pro offre ai team che si occupano di intelligenza artificiale incarnata e robotica un modo più integrato per acquisire dati di manipolazione umana ad alta precisione.
Grazie alla combinazione del posizionamento Vive con precisione di 1 mm, della sincronizzazione multimodale a 1 ms, dell'acquisizione dati tramite pinza bimanuale, della visione binoculare e grandangolare, di un'IMU a 200 Hz, dell'elaborazione edge-side DataCube e dell'esportazione in formato LeRobot, il sistema collega l'acquisizione di dimostrazioni umane con i flussi di lavoro di apprendimento robotico successivi.
Il suo valore principale non risiede nella raccolta di un maggior numero di flussi di dati individualmente, bensì nel contribuire a mantenere tali flussi spazialmente accurati, temporalmente allineati, ispezionabili e più facili da organizzare.
Per i team di ricerca che sviluppano politiche di manipolazione, modelli di apprendimento per imitazione, robot bimanuali o set di dati di intelligenza artificiale incarnata, GripperGo Pro offre una piattaforma pratica per trasformare le operazioni umane in dati di addestramento strutturati e ripetibili.
