Foxtech fournit des solutions de drones industriels & Systèmes de charge utile UAV.
Présentation de GripperGo Pro : un système de collecte de données humaines de haute précision pour l’IA incarnée et l’apprentissage robotique
Les données de démonstration humaine de haute qualité constituent un fondement essentiel pour l'IA incarnée, l'apprentissage par imitation et la recherche en manipulation robotique. Cependant, l'enregistrement d'une personne réalisant une tâche n'est qu'un point de départ. Les équipes de recherche ont également besoin d'informations précises et alignées sur les mouvements de la main, l'état de la pince, le contexte visuel, la profondeur, le mouvement et les trajectoires spatiales.
Lorsque ces flux de données sont capturés par des appareils distincts, les différences de synchronisation, de systèmes de coordonnées et de qualité des données peuvent rendre l'ensemble de données résultant difficile à exploiter. Les problèmes peuvent n'apparaître qu'une fois la collecte terminée, ce qui entraîne des démonstrations répétées et un travail de post-traitement supplémentaire.
Pour relever ces défis, Foxtech lance GripperGo Pro , un système professionnel de collecte de données humaines conçu pour la capture de mouvements de haute précision à l'aide de pinces. Combinant le positionnement par station de base Vive, la synchronisation multimodale à la milliseconde près, les dispositifs de collecte bimanuels et le traitement embarqué DataCube, ce système aide les équipes de recherche à constituer des ensembles de données plus structurés et cohérents pour l'apprentissage robotique.
Quel problème GripperGo Pro résout-il ?
Les robots doivent apprendre bien plus que le résultat final d'une opération. Ils ont besoin de données décrivant comment la tâche a été effectuée.
Pour une tâche de préhension ou de manipulation, les chercheurs peuvent avoir besoin de capturer :
- Ce que l'opérateur a vu
- Comment les deux mains se sont déplacées dans l'espace
- Lorsque les pinces s'ouvraient ou se fermaient
- Comment les appareils étaient orientés
- La rapidité avec laquelle chaque mouvement s'est produit
- Comment les pinces se sont approchées et ont manipulé l'objet
- Que le contact ou la pression ait changé pendant la préhension
La vidéo classique ne peut pas fournir toutes ces informations. La mise en place d'un système de collecte personnalisé à partir de plusieurs caméras, de détecteurs de mouvement, de dispositifs de suivi et d'ordinateurs de traitement peut également engendrer des difficultés de synchronisation et d'étalonnage.
GripperGo Pro intègre ces fonctions dans un flux de travail de collecte de données. Il enregistre le fonctionnement de la pince ainsi que les données visuelles, de profondeur, de mouvement, de trajectoire et de manipulation, aidant ainsi les équipes à convertir les démonstrations humaines en ensembles de données structurés, adaptés aux flux de travail d'apprentissage robotique ultérieurs.
Pourquoi le positionnement spatial de haute précision est-il important ?
De petites différences dans la position des mains peuvent avoir une incidence significative sur une tâche de manipulation.
Lorsqu'une personne saisit un petit objet, insère un composant, utilise un outil ou coordonne ses deux mains, la trajectoire spatiale de chaque mouvement est intégrée aux données d'entraînement. Si le système de suivi introduit une dérive ou une incohérence excessive, la démonstration enregistrée risque de ne pas refléter fidèlement l'opération originale.
GripperGo Pro utilise un système de positionnement de station de base Vive pour fournir une précision de positionnement spatial de 1 mm dans un environnement de collecte standardisé.
Cette méthode de positionnement est particulièrement utile pour les tâches qui nécessitent :
- Démonstrations humaines reproductibles
- Trajectoires bimanuelle précises
- Coordonnées spatiales cohérentes
- Analyse détaillée de la préhension et de la manipulation
- Collecte de données standardisée auprès de plusieurs opérateurs
- Comparaison entre des séquences de tâches répétées
Plutôt que de se concentrer sur une portabilité sans restriction et sans station de base, GripperGo Pro est conçu pour une collecte de haute précision dans des environnements contrôlés tels que les laboratoires, les installations de recherche universitaires, les salles de collecte standardisées et les espaces de formation industrielle.
Comment une synchronisation de 1 ms améliore-t-elle la qualité des ensembles de données ?
Un ensemble de données pour l'apprentissage robotique peut inclure des images, des informations de profondeur, des mesures d'unité de mesure inertielle (IMU), la distance d'ouverture de la pince et des trajectoires spatiales. Même lorsque chaque capteur fonctionne correctement, les données peuvent devenir difficiles à exploiter si les flux ne sont pas parfaitement synchronisés.
Par exemple, une image peut montrer la pince touchant un objet, tandis que les données de trajectoire ou de distance d'ouverture correspondantes représentent un instant légèrement antérieur. Lorsque ces différences temporelles s'accumulent dans un ensemble de données, elles peuvent réduire la cohérence des échantillons d'entraînement.
GripperGo Pro prend en charge la synchronisation matérielle multimodale de 1 ms , permettant d'aligner les données visuelles, de mouvement et de manipulation sur une chronologie partagée.
Cette synchronisation permet aux chercheurs d'étudier chaque action comme un événement coordonné. La position de la pince, son état d'ouverture, son orientation et les informations visuelles correspondantes peuvent être reproduites avec une plus grande précision, offrant ainsi une base plus solide pour l'apprentissage par imitation et la formation à la manipulation robotique.
Quelles données GripperGo Pro peut-il collecter ?
GripperGo Pro est conçu pour capturer de multiples types de données relatives aux opérations humaines lors de tâches de préhension et de manipulation.
Le système peut collecter :
- Données vidéo
- Informations relatives à la profondeur
- Trajectoires de mouvement tridimensionnelles
- distance d'ouverture de la pince
- angles d'attitude de l'IMU
- Accélération IMU
- vitesse angulaire de l'IMU
- Données tactiles et de répartition de la pression optionnelles
Les dispositifs de collecte intègrent la vision binoculaire et la capture visuelle grand angle pour enregistrer l'environnement de la tâche et la relation entre les pinces et les objets environnants.
A L'IMU 200 Hz enregistre les informations de mouvement à haute fréquence, tandis que les 128 Go de stockage embarqué prennent en charge l'enregistrement local des données pendant les sessions de collecte.
En combinant ces types de données, GripperGo Pro offre bien plus qu'un simple enregistrement visuel. Il décrit le déroulement de l'opération au fil du temps et la manière dont les pinces se déplacent et interagissent avec les objets tout au long de la tâche.
Comment les pinces permettent-elles de réaliser des démonstrations humaines naturelles ?
Le système utilise une paire de pinces de prélèvement actionnées par un opérateur, permettant à ce dernier de démontrer directement les tâches de manipulation.
Chaque pince offre une plage d'ouverture de 0 à 100 mm et une force de préhension allant jusqu'à 20 N , permettant des démonstrations courantes de préhension, de manipulation, de tri et de placement d'objets.
L'utilisation de deux pinces permet également de recueillir des données sur les opérations bimanuelle. Ceci est important car de nombreuses tâches réelles ne peuvent être réalisées efficacement d'une seule main. Une main peut stabiliser un objet pendant que l'autre l'ajuste, ou les deux mains peuvent devoir se coordonner lors du levage, de l'assemblage, de l'emballage et de l'utilisation d'outils.
Les démonstrations potentielles comprennent :
- Saisie et placement d'objets
- Trier les éléments par type ou par position
- Ouverture des conteneurs
- Outils de manutention
- Transférer des objets d'une main à l'autre
- Stabiliser et manipuler un objet simultanément
- Réaliser des tâches bimanuelles en plusieurs étapes
- Démonstration des procédures d'assemblage de base
L'objectif n'est pas de contraindre les mouvements humains à reproduire exactement la structure d'un bras robotisé. Le système enregistre plutôt les actions de l'opérateur sous forme de données structurées qui pourront ensuite servir à la recherche en apprentissage robotique et au développement de jeux de données.
Quel est le rôle de DataCube dans le flux de travail ?
La collecte de données n'est utile que si les opérateurs peuvent confirmer que les informations enregistrées sont complètes et utilisables.
GripperGo Pro intègre la plateforme de traitement embarquée DataCube , qui prend en charge l'acquisition, la synchronisation, la lecture, l'inspection et le prétraitement des données. Elle offre aux chercheurs une méthode plus intégrée pour gérer le processus de collecte sans dépendre entièrement d'une inspection hors ligne ultérieure.
Pendant ou après une session de prélèvement, les équipes peuvent analyser les données enregistrées et vérifier si les flux de données des capteurs requis ont été correctement capturés. Cela permet d'identifier plus tôt dans le processus les échantillons incomplets, anormaux ou problématiques.
Le contrôle qualité en bordure de chaîne est particulièrement précieux pour les projets impliquant de nombreuses démonstrations répétées. La détection immédiate d'un problème permet à l'opérateur de ne répéter que la tâche concernée. Découvrir le même problème après une campagne de collecte complète pourrait nécessiter un travail de reprise beaucoup plus important.
Comment l'inspection en bordure de rue permet-elle de réduire les prélèvements répétés ?
La collecte de données humaines peut nécessiter des centaines, voire des milliers de démonstrations. Même un faible taux d'échec peut générer une quantité importante de données inutilisables.
Les problèmes potentiels peuvent inclure :
- Séquences de tâches incomplètes
- Données de suivi anormales
- Informations de capteur manquantes
- mauvaise couverture visuelle
- Fonctionnement incorrect de la pince
- Données multimodales mal alignées
- Enregistrements interrompus
GripperGo Pro aide les opérateurs à inspecter et à marquer les données problématiques directement sur le terrain. Cela permet aux équipes de collecte d'effectuer un contrôle qualité initial avant de transférer l'ensemble de données vers un pipeline d'entraînement ou de traitement plus vaste.
Ce système ne dispense pas de la validation, de l'annotation ou du prétraitement des données spécifiques au modèle. Toutefois, une inspection plus précoce peut aider les équipes à réduire les erreurs de saisie inutiles et à organiser leurs données plus efficacement.
Pourquoi la détection tactile optionnelle est-elle précieuse ?
La position et la vision peuvent indiquer où se trouve une pince, mais elles ne décrivent pas entièrement comment elle entre en contact avec un objet.
Pour les recherches portant sur la stabilité de la préhension, les objets fragiles, les matériaux déformables ou la manipulation impliquant de nombreux contacts, la distribution de la pression peut fournir des informations complémentaires importantes. Elle peut aider les chercheurs à comprendre le moment où le contact s'amorce, l'évolution de la préhension et la répartition de la force sur la surface de préhension.
GripperGo Pro peut être équipé en option d'un réseau de capteurs tactiles à 21 points pour capturer les informations de contact et de répartition de la pression lors de la préhension.
Le dispositif tactile n'est pas inclus de série. Les équipes peuvent le sélectionner lorsque leurs projets nécessitent des informations de contact plus détaillées, tandis que les projets axés principalement sur la vision, les trajectoires, le mouvement et l'état de la pince peuvent utiliser la configuration standard.
Comment GripperGo Pro relie-t-il la collecte de données à l'apprentissage robotique ?
Un ensemble de données doit finalement passer du système de collecte à un environnement d'apprentissage robotisé.
GripperGo Pro prend actuellement en charge l'exportation de données au format LeRobot , ce qui permet aux équipes d'organiser les démonstrations enregistrées pour les flux de travail d'apprentissage robotique ultérieurs. Cela réduit l'effort nécessaire pour convertir les résultats bruts de collecte en une structure standardisée avant tout traitement ultérieur.
Les données exportées peuvent encore nécessiter un filtrage, une annotation, une normalisation ou une adaptation en fonction du modèle et de la plateforme robotique de l'équipe de recherche. Néanmoins, l'exportation structurée établit un lien plus clair entre la capture des démonstrations humaines et le développement ultérieur du modèle.
Un flux de travail typique peut inclure :
- Installation des stations de base Vive dans la zone de collecte.
- Préparation des deux appareils de collecte GripperGo Pro.
- Connexion et vérification de la plateforme DataCube.
- Calibrage de l'environnement de collecte.
- Définition de la tâche requise et de la procédure de démonstration.
- Enregistrement des données visuelles, spatiales, de mouvement et de fonctionnement de la pince.
- Examiner et marquer les échantillons problématiques par inspection des bords.
- Prétraitement et organisation des données collectées.
- Exportation du jeu de données au format LeRobot.
- Adaptation des données au pipeline d'apprentissage robotique sélectionné.
Ce flux de travail intégré aide les équipes de recherche à passer de démonstrations humaines individuelles à la production d'ensembles de données reproductibles.
À quelles applications GripperGo Pro convient-il ?
GripperGo Pro est conçu pour la capture de haute précision des opérations humaines dans des environnements standardisés.
Les applications potentielles comprennent :
Collecte de données d'IA incarnée
Le système peut enregistrer les interactions humaines avec les objets et les espaces de travail, fournissant des démonstrations multimodales pour la recherche sur l'intelligence incarnée.
Apprentissage par imitation
Les chercheurs peuvent recueillir des exemples montrant comment une personne accomplit une tâche et utiliser ces données structurées pour faciliter l'apprentissage par démonstration.
Formation à la manipulation robotique
Les trajectoires des pinces, la distance d'ouverture, les informations de mouvement, le contexte visuel et les données tactiles optionnelles peuvent étayer la recherche sur la manipulation d'objets.
Recherche sur la coordination bimanuelle
Les dispositifs de collecte appariés permettent aux chercheurs d'étudier et d'enregistrer des tâches nécessitant l'utilisation coordonnée des deux mains.
Tâches nécessitant de la dextérité et beaucoup de contact
Équipé du réseau de capteurs tactiles optionnel, le système peut fournir des informations supplémentaires sur le contact et la pression pour des recherches plus détaillées sur la préhension.
Développement de jeux de données standardisés
Les universités, les laboratoires et les équipes de collecte de données peuvent utiliser ce système pour enregistrer des démonstrations répétées dans des conditions spatiales et procédurales contrôlées.
Démonstration de tâches industrielles
Le système peut prendre en charge l'enregistrement des procédures structurées de manutention, de tri, d'utilisation d'outils et d'assemblage de base pour la recherche sur l'apprentissage des robots industriels.
À qui est destiné GripperGo Pro ?
GripperGo Pro est destiné aux organisations qui ont besoin de données de démonstration humaine précises et reproductibles, notamment :
- Équipes de recherche en IA incarnée
- Laboratoires de robotique
- Universités et établissements de formation professionnelle
- Les chercheurs en apprentissage par imitation
- Développeurs de manipulation robotique
- Équipes de recherche sur la manipulation habile
- startups spécialisées en IA et robotique
- Équipes de collecte et d'annotation des ensembles de données
- Entreprises développant des robots à usage général
- installations de recherche et de formation industrielles
Il est particulièrement adapté aux équipes qui disposent déjà d'un espace de collecte défini et qui ont besoin de données cohérentes pour des tâches, des opérateurs ou des sessions expérimentales répétés.
Quand les clients devraient-ils choisir GripperGo Pro ?
GripperGo Pro est le choix idéal lorsque la précision spatiale, la synchronisation, la répétabilité et la gestion des données en bordure sont les principales priorités.
Les équipes devraient envisager le système Pro lorsqu'elles en ont besoin :
- positionnement spatial au millimètre près
- Capture d'opérations humaines bimanuelle
- Synchronisation matérielle multimodale de 1 ms
- Un environnement de collecte standardisé et fixe
- Lecture des données en bordure et contrôle de la qualité
- Assistance intégrée au prétraitement
- Exportation de données au format LeRobot
- Données tactiles et de répartition de la pression optionnelles
Pour les projets nécessitant principalement une collecte mobile dans les habitations, les usines, les supermarchés, les espaces extérieurs ou autres environnements ouverts et non structurés, une solution sans station de base peut s'avérer plus appropriée. GripperGo Pro est spécifiquement optimisé pour les environnements contrôlés où la précision et la répétabilité de la collecte priment sur la mobilité totale.
Qu'est-ce qui est inclus avec le système ?
Le pack standard GripperGo Pro comprend :
- Deux appareils de collecte de données GripperGo Pro
- Une plateforme de traitement en périphérie DataCube
- Un système de station de base Vive
La configuration à deux appareils prend en charge en standard la collecte de données bimanuelle. Le capteur tactile optionnel à 21 points peut être sélectionné séparément lorsque des informations sur le contact et la répartition de la pression sont nécessaires.
Création d'ensembles de données de démonstration humaine plus cohérents
Le lancement de GripperGo Pro offre aux équipes d'IA incarnée et de robotique une méthode plus intégrée pour capturer des données de manipulation humaine de haute précision.
En combinant un positionnement Vive au niveau de 1 mm, une synchronisation multimodale de 1 ms, une collecte basée sur une pince bimanuelle, une vision binoculaire et grand angle, une centrale inertielle de 200 Hz, un traitement côté périphérique DataCube et une exportation au format LeRobot, le système relie la capture de démonstrations humaines aux flux de travail d'apprentissage robotique en aval.
Sa principale valeur ne réside pas dans la collecte individuelle d'un plus grand nombre de flux de données, mais dans le fait d'aider ces flux à rester spatialement précis, temporellement alignés, inspectables et plus faciles à organiser.
Pour les équipes de recherche développant des politiques de manipulation, des modèles d'apprentissage par imitation, des robots bimanuels ou des ensembles de données d'IA incarnée, GripperGo Pro offre une plateforme pratique pour transformer les opérations humaines en données d'entraînement structurées et reproductibles.
