Foxtech fournit des solutions de drones industriels & Systèmes de charge utile UAV.
Présentation de HeadGo Ego : une nouvelle solution de collecte de données embarquée pour l’IA incarnée et l’apprentissage robotique
La création de systèmes d'IA incarnée performants exige bien plus que l'enregistrement de simples vidéos. Les chercheurs ont besoin de données structurées et synchronisées permettant aux robots de comprendre ce qu'une personne voit, comment ses mains bougent et comment une opération se déroule au fil du temps.
Pour relever ce défi, Foxtech lance HeadGo Ego , un nouveau dispositif de collecte de données humaines monté sur la tête, conçu pour l'IA incarnée, l'apprentissage robotique, l'apprentissage par imitation et la formation à la manipulation habile.
Combinant la capture visuelle à la première personne, le suivi des points clés de la main, la détection de mouvement, la surveillance en temps réel et un système DataCube intégré de type sac à dos, HeadGo Ego aide les équipes de recherche à collecter des données sur les opérations humaines dans un flux de travail mobile et pratique.
Quel problème HeadGo Ego résout-il ?
L'un des principaux défis du développement de l'IA incarnée est la collecte de données de démonstration humaines suffisantes et de haute qualité.
Une caméra classique peut enregistrer le déroulement d'une tâche, mais la vidéo seule ne fournit pas toujours les informations structurées nécessaires à l'apprentissage robotique. Les chercheurs doivent également connaître la position spatiale des mains, les points clés de chaque main, les trajectoires des mouvements, les informations de profondeur et le timing précis de chaque action.
La collecte de ces flux de données à l'aide d'appareils distincts peut engendrer des difficultés supplémentaires. L'équipement peut restreindre les mouvements de l'opérateur, nécessiter des configurations répétées ou compliquer la synchronisation des différentes sources de données.
HeadGo Ego est conçu pour simplifier ce processus en collectant des données d'utilisation à la première personne directement du point de vue de l'opérateur. Il combine les informations visuelles avec la position des mains, les coordonnées spatiales, la profondeur, les horodatages et les trajectoires de mouvement, fournissant ainsi une base de données plus riche pour l'entraînement de l'IA incarnée.
Pourquoi les données subjectives sont-elles importantes pour l'apprentissage des robots ?
Les robots doivent apprendre non seulement à quoi ressemble une tâche accomplie, mais aussi comment une personne la réalise.
Lors d'activités telles que ramasser un objet, ranger des articles, utiliser un outil ou réaliser une tâche de manipulation en plusieurs étapes, le point de vue de l'opérateur fournit de précieuses informations contextuelles. Il indique quels objets sont visibles, comment les mains s'en approchent et comment l'environnement évolue au cours de l'opération.
Le système HeadGo Ego étant porté sur la tête, ses caméras suivent le regard naturel de l'opérateur. Cela permet d'enregistrer la tâche depuis une perspective étroitement liée à l'attention et aux actions de l'opérateur.
Les données subjectives ainsi recueillies peuvent étayer des recherches sur :
- IA incarnée
- Apprentissage robotique
- apprentissage par imitation
- Analyse des opérations humaines à la première personne
- Manipulation habile
- Développement d'un ensemble de données de démonstration humaine
Quelles données le système peut-il collecter ?
HeadGo Ego va au-delà de l'enregistrement visuel standard en produisant de multiples formes de données liées au fonctionnement.
Le système peut enregistrer 21 points clés de la main , ainsi que sa position, ses coordonnées spatiales, sa profondeur, l'horodatage et sa trajectoire. Ces données permettent de décrire la position des mains de l'opérateur et leurs mouvements tout au long de la tâche.
Pour les équipes de recherche, cela permet d'étudier une opération comme une séquence de mouvements structurés plutôt que comme un simple extrait vidéo. Ces informations peuvent servir à constituer des ensembles de données pour l'entraînement et l'évaluation de modèles d'apprentissage robotique.
Le système est équipé de trois caméras :
- Deux caméras binoculaires
- Une caméra RGB
Cette configuration prend en charge l'acquisition de données visuelles RGB et de profondeur. Une centrale inertielle à 9 axes assure une détection de mouvement supplémentaire, permettant de suivre les déplacements de l'opérateur lors de l'exécution de la tâche.
Comment le large champ de vision améliore-t-il la collecte de données ?
La manipulation humaine ne se fait pas toujours directement au centre de l'image de la caméra. L'opérateur peut tendre le bras vers des objets situés de part et d'autre, regarder une surface de travail ou se déplacer entre différentes parties de l'environnement.
HeadGo Ego offre un champ de vision de :
- diagonale de 150°
- 128° horizontal
- 80° vertical
Ce large champ de vision permet de capturer une plus grande partie de l'espace de travail de l'opérateur et réduit la probabilité que des mouvements importants de la main ou des objets à proximité se trouvent en dehors de la zone enregistrée.
Pour les tâches impliquant une manipulation à deux mains, de grandes surfaces de travail ou des changements fréquents de direction de vision, une vue subjective plus large peut fournir un contexte visuel plus complet pour le traitement ultérieur des données et l'entraînement du modèle.
Comment HeadGo Ego soutient-il les démonstrations humaines naturelles ?
Les données de démonstration humaine sont plus utiles lorsque l'opérateur peut effectuer les tâches naturellement.
Comme le dispositif de détection principal est porté sur la tête et que les composants de traitement et d'alimentation sont intégrés dans un système de type sac à dos, l'opérateur peut se déplacer dans l'environnement sans être limité à un poste d'enregistrement fixe.
Cette configuration mobile est adaptée à la collecte de données dans différents espaces de travail et environnements opérationnels quotidiens. Les chercheurs peuvent réaliser des tâches manuellement tandis que le système enregistre le point de vue de l'opérateur, ses mouvements de main et les informations relatives à ses déplacements.
Le sac à dos intègre l'unité de traitement principale et l'alimentation électrique. Il est également doté d'une structure résistante aux chocs et d'un système de ventilation actif pour faciliter la collecte de données mobiles.
Comment les opérateurs peuvent-ils surveiller le processus de collecte ?
Un problème courant lors de la collecte de données est de découvrir trop tard qu'un enregistrement était incomplet, que le stockage était insuffisant ou qu'une partie du système ne fonctionnait pas correctement.
HeadGo Ego résout ce problème grâce à un écran de contrôle principal qui assure la surveillance du système en temps réel. Les opérateurs peuvent ainsi vérifier :
- Vidéo en direct
- Température de l'appareil
- Utilisation du processeur et de la mémoire
- Espace de stockage disponible
- Fréquence d'images
- Santé de l'appareil
- État d'avancement de la collecte de données
Cette visibilité permet à l'opérateur d'identifier les problèmes potentiels pendant l'enregistrement de la tâche. Elle réduit ainsi le risque de réaliser une longue démonstration pour finalement constater que des données importantes sont manquantes ou inutilisables.
La surveillance en temps réel est particulièrement précieuse lorsque les équipes de recherche doivent recueillir de nombreuses démonstrations auprès de plusieurs opérateurs, pour différentes tâches ou dans différents environnements.
Comment le système réduit-il le temps d'installation ?
La configuration répétée du réseau peut ralentir la collecte de données, notamment lors de déplacements entre différents lieux ou de changements de réseau.
HeadGo Ego prend en charge la configuration Wi-Fi par code QR. L'opérateur peut scanner un code QR avec la caméra Ego pour configurer la connexion réseau, ce qui réduit considérablement le besoin d'une configuration manuelle fastidieuse.
Cette fonctionnalité peut s'avérer utile pour les équipes qui collectent des données dans différents laboratoires, espaces de travail ou environnements de terrain. Une configuration réseau plus rapide permet aux chercheurs de consacrer plus de temps à l'enregistrement des démonstrations et moins de temps à la préparation du matériel.
HeadGo Ego peut-il être utilisé indépendamment ?
Oui. HeadGo Ego peut fonctionner comme un système indépendant de collecte de données humaines à la première personne.
Utilisée seule, elle peut collecter des informations visuelles, des données sur la posture de la main, 21 points clés de la main, les coordonnées spatiales, la profondeur, les horodatages et les trajectoires de mouvement. Elle convient ainsi aux projets axés sur la vision égocentrique, l'analyse des opérations humaines, l'apprentissage par imitation et le développement de jeux de données pour l'IA incarnée.
Le système standard comprend :
- Dispositif de collecte de données monté sur la tête One HeadGo Ego
- Système de traitement de données DataCube One Backpack
Peut-il fonctionner avec d'autres dispositifs de collecte de données humaines ?
HeadGo Ego peut également être utilisé avec GripperGo Pro .
Dans un flux de travail combiné, HeadGo Ego peut enrichir l'ensemble de données avec des informations visuelles subjectives, la position des mains, les données des points clés et des informations globales sur le fonctionnement. Cela permet aux équipes de recherche de capturer des démonstrations humaines sous de multiples angles complémentaires.
Le choix entre utiliser HeadGo Ego indépendamment ou l'intégrer à GripperGo Pro dépend des besoins en données du projet. Les équipes qui ont principalement besoin de collecter des données mobiles en vue subjective peuvent utiliser HeadGo Ego seul, tandis que les projets nécessitant un ensemble de données plus complet sur les opérations humaines peuvent envisager une configuration combinée.
Quels types de tâches peuvent être enregistrés ?
HeadGo Ego est conçu pour la capture d'opérations humaines en vue subjective. Il permet d'enregistrer des démonstrations où l'opérateur interagit naturellement avec les objets et son environnement de travail.
Les tâches de recherche potentielles comprennent :
- Sélection et placement d'objets
- Tri et organisation
- Manipulation à deux mains
- Démonstrations d'utilisation des outils
- Enregistrement d'opérations en plusieurs étapes
- Analyse de la trajectoire de la main humaine
- Collecte de données sur la manipulation habile
- Démonstrations de tâches quotidiennes pour l'apprentissage par imitation
La conception spécifique de la tâche et la structure de l'ensemble de données peuvent être déterminées en fonction de la plateforme robotique, du cadre d'apprentissage et des objectifs de formation de l'équipe de recherche.
À qui s'adresse HeadGo Ego ?
HeadGo Ego est principalement destiné aux organisations développant des systèmes d'intelligence incarnée et d'apprentissage robotique, notamment :
- Universités et laboratoires de robotique
- Équipes de recherche en IA incarnée
- chercheurs en apprentissage robotique et en apprentissage par imitation
- Développeurs de manipulation habiles
- startups spécialisées en IA et robotique
- équipes de collecte de données
- Entreprises développant des systèmes robotiques à usage général
Cela peut s'avérer particulièrement utile pour les équipes qui ont besoin de recueillir des démonstrations humaines directes pour plusieurs tâches ou environnements, sans avoir à construire un système de capture fixe et complexe pour chaque projet.
Comment HeadGo Ego peut-il améliorer le flux de travail de collecte de données ?
HeadGo Ego intègre la détection, le traitement, la surveillance et le déploiement mobile dans un système plus intégré.
Au lieu d'assembler séparément des caméras, des dispositifs de suivi des mains, des capteurs de mouvement, du matériel de traitement et des alimentations électriques pour chaque session de collecte, les équipes peuvent travailler avec une configuration unifiée montée sur la tête et dans un sac à dos.
Un flux de travail typique peut inclure :
- Préparation du système HeadGo Ego et DataCube.
- Connexion au réseau Wi-Fi requis par le biais du scan du code QR.
- Vérification de la vidéo, du stockage, de la fréquence d'images et de l'état du périphérique sur l'écran de surveillance.
- Début de la tâche de démonstration humaine.
- Collecte de données visuelles subjectives, de points clés de la main, de profondeur, d'horodatage et de trajectoire.
- Suivi en temps réel de l'avancement de la collecte.
- Organisation des données capturées en vue de l'apprentissage robotique ultérieur et du développement de modèles.
Cette approche permet de rendre la collecte de démonstrations humaines plus reproductible et plus facile à gérer, notamment lorsqu'un projet nécessite un grand nombre d'exemples de tâches.
Une méthode plus pratique pour constituer des ensembles de données de démonstration humaine
Le lancement de HeadGo Ego offre aux développeurs d'IA incarnée une nouvelle option pour la collecte de données structurées d'opérations humaines à la première personne.
En combinant la vision binoculaire et RGB, 21 points clés de la main, des informations sur la pose spatiale, des données liées à la profondeur, une centrale inertielle à 9 axes, une surveillance en temps réel et un sac à dos DataCube mobile, le système est conçu pour aider les chercheurs à capturer non seulement ce que voit l'opérateur, mais aussi comment l'opération est effectuée.
Utilisé indépendamment ou en complément de GripperGo Pro, HeadGo Ego peut contribuer au développement d'ensembles de données plus riches pour l'apprentissage robotique, l'apprentissage par imitation et la recherche sur la manipulation fine.
