Foxtech fornisce soluzioni di droni industriali & Sistemi di payload UAV.
Vi presentiamo HeadGo Ego: una nuova soluzione di raccolta dati indossabile per l'intelligenza artificiale incarnata e l'apprendimento robotico.
Per realizzare sistemi di intelligenza artificiale incarnata efficienti è necessario ben più che registrare video ordinari. I ricercatori hanno bisogno di dati strutturati e sincronizzati che aiutino i robot a comprendere ciò che una persona vede, come si muovono le sue mani e come si sviluppa un'operazione nel tempo.
Per affrontare questa sfida, Foxtech presenta HeadGo Ego , un nuovo dispositivo indossabile per la raccolta di dati umani, progettato per l'intelligenza artificiale incarnata, l'apprendimento robotico, l'apprendimento per imitazione e l'addestramento alla manipolazione destreggiata.
Combinando l'acquisizione visiva in prima persona, il tracciamento dei punti chiave della mano, il rilevamento del movimento, il monitoraggio in tempo reale e un sistema DataCube integrato a forma di zaino, HeadGo Ego aiuta i team di ricerca a raccogliere dati sulle operazioni umane in un flusso di lavoro mobile e pratico.
Quale problema risolve HeadGo Ego?
Una delle principali sfide nello sviluppo dell'intelligenza artificiale incarnata è la raccolta di una quantità sufficiente di dati dimostrativi umani di alta qualità.
Una telecamera convenzionale può registrare ciò che accade durante un'attività, ma il solo video potrebbe non fornire le informazioni strutturate necessarie per l'apprendimento robotico. I ricercatori potrebbero anche aver bisogno di comprendere la posizione spaziale delle mani, i punti chiave di ciascuna mano, le traiettorie di movimento, le informazioni sulla profondità e la tempistica esatta di ogni azione.
La raccolta di questi flussi di dati con dispositivi separati può creare ulteriori difficoltà. L'apparecchiatura potrebbe limitare i movimenti dell'operatore, richiedere configurazioni ripetute o rendere difficile mantenere allineate le diverse fonti di dati.
HeadGo Ego è progettato per semplificare questo processo raccogliendo dati operativi in prima persona direttamente dalla prospettiva dell'operatore. Combina informazioni visive con la posizione della mano, le coordinate spaziali, la profondità, i timestamp e le traiettorie di movimento, fornendo una base di dati più ricca per l'addestramento dell'IA incarnata.
Perché i dati in prima persona sono importanti per l'apprendimento dei robot?
I robot devono imparare non solo che aspetto ha un compito completato, ma anche come una persona lo esegue.
Durante attività come raccogliere un oggetto, organizzare degli elementi, utilizzare un utensile o completare un'operazione di manipolazione in più fasi, il punto di vista dell'operatore contiene preziose informazioni contestuali. Mostra quali oggetti sono visibili, come le mani si avvicinano ad essi e come cambia l'ambiente circostante durante l'operazione.
Poiché HeadGo Ego si indossa sulla testa, le telecamere seguono la direzione naturale dello sguardo dell'operatore. Ciò consente al sistema di registrare l'attività da una prospettiva strettamente connessa all'attenzione e alle azioni dell'operatore.
I dati in prima persona che ne derivano possono supportare la ricerca su:
- Intelligenza artificiale incarnata
- Apprendimento robotico
- Apprendimento per imitazione
- Analisi delle operazioni umane in prima persona
- Manipolazione abile
- Sviluppo di un set di dati per dimostrazioni umane
Quali dati può raccogliere il sistema?
HeadGo Ego va oltre la semplice registrazione visiva, producendo molteplici forme di dati relativi all'operazione.
Il sistema è in grado di acquisire 21 punti chiave della mano , insieme alla posizione della mano, alle coordinate spaziali, alla profondità, ai timestamp e alle traiettorie di movimento. Questi dati aiutano a descrivere la posizione delle mani dell'operatore e il loro movimento durante l'esecuzione di un'attività.
Per i team di ricerca, questo permette di studiare un'operazione come una sequenza di movimenti strutturati, anziché semplicemente come un video. Le informazioni possono essere utilizzate per creare set di dati per l'addestramento e la valutazione di modelli di apprendimento robotico.
Il sistema è dotato di tre telecamere:
- Due telecamere binoculari
- Una telecamera RGB
Questa configurazione supporta l'acquisizione di dati visivi RGB e relativi alla profondità. Un'unità di misura inerziale (IMU) a 9 assi fornisce ulteriori sensori di movimento, contribuendo a catturare i movimenti dell'operatore durante l'esecuzione del compito.
In che modo l'ampio campo visivo migliora la raccolta dei dati?
La manipolazione umana non avviene sempre esattamente al centro dell'immagine della telecamera. L'operatore può allungarsi verso oggetti su entrambi i lati, guardare verso il basso una superficie di lavoro o spostarsi tra diverse parti dell'ambiente.
HeadGo Ego offre un campo visivo di:
- diagonale a 150°
- 128° orizzontale
- 80° verticale
Questo ampio campo visivo aiuta a inquadrare una porzione maggiore dello spazio di lavoro dell'operatore e riduce la probabilità che movimenti importanti della mano o oggetti vicini finiscano al di fuori dell'area registrata.
Per attività che richiedono l'uso di entrambe le mani, ampie superfici di lavoro o frequenti cambi di direzione visiva, una visuale più ampia in prima persona può fornire un contesto visivo più completo per la successiva elaborazione dei dati e l'addestramento del modello.
In che modo HeadGo Ego supporta le dimostrazioni umane naturali?
I dati derivanti da dimostrazioni umane sono più utili quando l'operatore è in grado di eseguire i compiti in modo naturale.
Poiché il dispositivo di rilevamento principale viene indossato sulla testa e i componenti di elaborazione e alimentazione sono integrati in un sistema a zaino, l'operatore può muoversi nell'ambiente senza essere vincolato a una postazione di registrazione fissa.
Questa configurazione mobile è adatta alla raccolta di dati in diversi ambienti di lavoro e contesti operativi quotidiani. I ricercatori possono dimostrare le attività utilizzando le proprie mani, mentre il sistema registra il punto di vista dell'operatore, i movimenti delle mani e le informazioni relative al movimento.
Lo zaino integra l'unità di elaborazione principale e l'alimentatore. Incorpora inoltre una struttura resistente agli urti e un sistema di ventilazione attiva per favorire la raccolta dati in mobilità.
Come possono gli operatori monitorare il processo di raccolta?
Un problema comune durante la raccolta dei dati è scoprire troppo tardi che una registrazione era incompleta, che lo spazio di archiviazione era insufficiente o che una parte del sistema non funzionava correttamente.
HeadGo Ego risolve questo problema con una schermata di controllo principale che fornisce il monitoraggio del sistema in tempo reale. Gli operatori possono verificare:
- Video in diretta
- Temperatura del dispositivo
- Utilizzo di CPU e memoria
- Spazio di archiviazione disponibile
- Frequenza dei fotogrammi
- stato di salute del dispositivo
- Avanzamento della raccolta dati
Questa visibilità aiuta l'operatore a identificare potenziali problemi durante la registrazione dell'attività. Può ridurre il rischio di completare una lunga dimostrazione per poi scoprire che mancano dati importanti o che questi sono inutilizzabili.
Il monitoraggio in tempo reale è particolarmente utile quando i team di ricerca devono raccogliere numerose dimostrazioni su più operatori, attività o ambienti.
In che modo il sistema riduce i tempi di configurazione?
La configurazione ripetuta della rete può rallentare la raccolta dei dati, soprattutto quando ci si sposta tra diverse postazioni o si cambia rete.
HeadGo Ego supporta la configurazione Wi-Fi tramite codice QR. L'operatore può scansionare un codice QR utilizzando la fotocamera di Ego per configurare la connessione di rete, riducendo la necessità di lunghe procedure di configurazione manuale.
Questa funzionalità può essere utile per i team che raccolgono dati in diversi laboratori, spazi di lavoro o ambienti sul campo. Una configurazione di rete più rapida consente ai ricercatori di dedicare più tempo alla registrazione delle dimostrazioni e meno tempo alla preparazione delle apparecchiature.
HeadGo Ego può essere utilizzato in modo indipendente?
Sì. HeadGo Ego può funzionare come un sistema indipendente di raccolta dati in prima persona.
Se utilizzato in modo indipendente, può raccogliere informazioni visive, dati sulla posizione della mano, 21 punti chiave della mano, coordinate spaziali, profondità, timestamp e traiettorie di movimento. Ciò lo rende adatto a progetti incentrati sulla visione egocentrica, l'analisi delle operazioni umane, l'apprendimento per imitazione e lo sviluppo di dataset per l'intelligenza artificiale incarnata.
Il sistema standard comprende:
- Un dispositivo di raccolta dati da indossare sulla testa HeadGo Ego.
- Sistema di elaborazione dati a zaino One DataCube
Può funzionare con altri dispositivi di raccolta dati umani?
HeadGo Ego può essere utilizzato anche insieme a GripperGo Pro .
In un flusso di lavoro combinato, HeadGo Ego può integrare il set di dati con informazioni visive in prima persona, posizione della mano, dati sui punti chiave e informazioni operative globali. Ciò consente ai team di ricerca di acquisire dimostrazioni umane da molteplici prospettive complementari.
La scelta tra utilizzare HeadGo Ego in modo indipendente o integrarlo con GripperGo Pro dipende dai requisiti di dati del progetto. I team che necessitano principalmente di raccogliere dati in prima persona tramite dispositivi mobili possono utilizzare HeadGo Ego da solo, mentre i progetti che richiedono un set di dati più completo sulle operazioni umane possono valutare una configurazione combinata.
Che tipo di attività possono essere registrate?
HeadGo Ego è progettato per la ripresa in prima persona delle operazioni umane. Può essere utilizzato per registrare dimostrazioni in cui l'operatore interagisce in modo naturale con gli oggetti e l'ambiente di lavoro circostante.
I potenziali compiti di ricerca includono:
- Selezione e posizionamento degli oggetti
- Smistamento e organizzazione
- Manipolazione a due mani
- Dimostrazioni sull'utilizzo degli strumenti
- Registrazione di operazioni a più fasi
- Analisi della traiettoria della mano umana
- Raccolta di dati sulla manipolazione destreggiata
- Dimostrazioni di attività quotidiane per l'apprendimento per imitazione
La progettazione specifica del compito e la struttura del set di dati possono essere determinate in base alla piattaforma robotica del team di ricerca, al framework di apprendimento e agli obiettivi di addestramento.
Per chi è stato progettato HeadGo Ego?
HeadGo Ego è destinato principalmente alle organizzazioni che sviluppano sistemi di intelligenza incarnata e di apprendimento robotico, tra cui:
- Università e laboratori di robotica
- Team di ricerca sull'IA incarnata
- Ricercatori nel campo dell'apprendimento robotico e dell'apprendimento per imitazione.
- Sviluppatori di manipolazione abile
- Startup di intelligenza artificiale e robotica
- team di raccolta dati
- Aziende che sviluppano sistemi robotici per uso generale
Può essere particolarmente utile per i team che hanno bisogno di raccogliere testimonianze dirette di persone che svolgono diverse attività o operano in ambienti diversi, senza dover costruire un complesso sistema di acquisizione fisso per ogni progetto.
In che modo HeadGo Ego può migliorare il flusso di lavoro di raccolta dati?
HeadGo Ego riunisce in un sistema più integrato le funzioni di rilevamento, elaborazione, monitoraggio e implementazione mobile.
Anziché assemblare telecamere, dispositivi di tracciamento delle mani, sensori di movimento, hardware di elaborazione e alimentatori separati per ogni sessione di raccolta dati, i team possono lavorare con una configurazione unificata che include un dispositivo indossabile sulla testa e uno sullo zaino.
Un flusso di lavoro tipico può includere:
- Preparazione del sistema HeadGo Ego e DataCube.
- Connessione alla rete Wi-Fi richiesta tramite scansione del codice QR.
- Controllo dello stato di video, archiviazione, frame rate e dispositivo nella schermata di monitoraggio.
- Avvio della dimostrazione con un essere umano.
- Raccolta di dati visivi in prima persona, punti chiave della mano, profondità, timestamp e traiettoria.
- Monitoraggio in tempo reale dell'andamento della raccolta.
- Organizzazione dei dati acquisiti per il successivo apprendimento del robot e lo sviluppo del modello.
Questo approccio contribuisce a rendere la raccolta di dimostrazioni umane più ripetibile e gestibile, soprattutto quando un progetto richiede un gran numero di esempi di attività.
Un metodo più pratico per creare set di dati dimostrativi umani
Il lancio di HeadGo Ego offre agli sviluppatori di intelligenza artificiale incarnata una nuova opzione per la raccolta di dati strutturati in prima persona sulle operazioni umane.
Grazie alla combinazione di visione binoculare e RGB, 21 punti chiave della mano, informazioni sulla postura spaziale, dati relativi alla profondità, un'IMU a 9 assi, monitoraggio in tempo reale e uno zaino mobile DataCube, il sistema è progettato per aiutare i ricercatori a catturare non solo ciò che l'operatore vede, ma anche come viene eseguita l'operazione.
Sia che venga utilizzato in modo indipendente o in combinazione con GripperGo Pro, HeadGo Ego può supportare lo sviluppo di set di dati più ricchi per la ricerca sull'apprendimento robotico, l'apprendimento per imitazione e la manipolazione precisa.
