Foxtech bietet Industrie -Drohnenlösungen an & UAV -Nutzlastsysteme.
Wir stellen GripperGo Pro vor: Ein hochpräzises System zur Erfassung menschlicher Daten für verkörperte KI und Roboterlernen
Hochwertige Daten menschlicher Demonstrationen werden zu einer unverzichtbaren Grundlage für die Forschung in den Bereichen verkörperte KI, Imitationslernen und Robotermanipulation. Die Aufzeichnung einer Person bei der Ausführung einer Aufgabe ist jedoch nur der Anfang. Forschungsteams benötigen außerdem präzise Informationen über Handbewegungen, Greiferstatus, visuellen Kontext, Tiefe, Bewegung und räumliche Trajektorien.
Werden diese Datenströme von verschiedenen Geräten erfasst, können Unterschiede in Timing, Koordinatensystemen und Datenqualität die Verwendung des resultierenden Datensatzes erschweren. Probleme werden unter Umständen erst nach Abschluss der Datenerfassung sichtbar, was wiederholte Demonstrationen und zusätzliche Nachbearbeitungsarbeiten zur Folge hat.
Um diese Herausforderungen zu bewältigen, stellt Foxtech GripperGo Pro vor, ein professionelles System zur Erfassung menschlicher Daten, das für die hochpräzise Erfassung von Greiferbewegungen entwickelt wurde. Durch die Kombination von Vive-Basisstationspositionierung, multimodaler Synchronisation im Millisekundenbereich, bimanuellen Erfassungsgeräten und DataCube-Edge-Side-Verarbeitung unterstützt das System Forschungsteams beim Aufbau strukturierterer und konsistenterer Datensätze für das Roboterlernen.
Welches Problem löst GripperGo Pro?
Roboter müssen mehr lernen als nur das Endergebnis einer Operation. Sie benötigen Daten, die beschreiben, wie die Aufgabe ausgeführt wurde.
Bei Greif- oder Manipulationsaufgaben müssen Forscher möglicherweise Folgendes erfassen:
- Was der Bediener sah
- Wie sich beide Hände durch den Raum bewegten
- Wenn sich die Greifer öffneten oder schlossen
- Wie die Geräte ausgerichtet waren
- Wie schnell jede Bewegung erfolgte
- Wie die Greifer sich dem Objekt näherten und es handhabten
- Ob sich der Kontakt oder der Druck während des Greifens verändert hat
Herkömmliche Videoaufnahmen können nicht all diese Informationen liefern. Der Aufbau eines individuellen Erfassungssystems aus mehreren Kameras, Bewegungssensoren, Ortungsgeräten und Verarbeitungsrechnern kann zudem Synchronisations- und Kalibrierungsschwierigkeiten mit sich bringen.
GripperGo Pro integriert diese Funktionen in einen umfassenden Datenerfassungs-Workflow. Es zeichnet die Greiferoperationen zusammen mit visuellen, tiefenbezogenen, Bewegungs-, Trajektorien- und Manipulationsdaten auf und unterstützt Teams so bei der Umwandlung menschlicher Demonstrationen in strukturierte Datensätze, die für nachfolgende Roboterlernprozesse geeignet sind.
Warum ist hochpräzise räumliche Positionierung wichtig?
Geringfügige Unterschiede in der Handposition können eine Manipulationsaufgabe erheblich beeinflussen.
Wenn eine Person einen kleinen Gegenstand aufhebt, ein Bauteil einsetzt, ein Werkzeug benutzt oder beide Hände koordiniert, wird die räumliche Bahn jeder Bewegung Teil der Trainingsdaten. Falls das Trackingsystem zu starke Abweichungen oder Inkonsistenzen aufweist, spiegelt die aufgezeichnete Demonstration möglicherweise nicht die ursprüngliche Handlung genau wider.
GripperGo Pro nutzt ein Vive-Basisstations-Positionierungssystem, um eine räumliche Positionierungsgenauigkeit im Millimeterbereich innerhalb einer standardisierten Erfassungsumgebung zu erreichen.
Diese Positionierungsmethode ist besonders nützlich für Aufgaben, die Folgendes erfordern:
- Wiederholbare Demonstrationen am Menschen
- Präzise bimanuelle Trajektorien
- Konsistente räumliche Koordinaten
- Detaillierte Analyse von Greif- und Manipulationsvorgängen
- Standardisierte Datenerfassung über mehrere Bediener hinweg
- Vergleich zwischen wiederholten Aufgabensequenzen
GripperGo Pro konzentriert sich nicht auf uneingeschränkte, basisstationsunabhängige Mobilität, sondern ist für hochpräzise Probenentnahme in kontrollierten Umgebungen wie Laboren, universitären Forschungseinrichtungen, standardisierten Probenentnahmeräumen und industriellen Schulungsräumen konzipiert.
Wie verbessert eine 1-ms-Synchronisierung die Datenqualität?
Ein Datensatz für das Roboterlernen kann Bilder, Tiefeninformationen, IMU-Messungen, Greiferöffnungsweite und räumliche Trajektorien umfassen. Selbst wenn jeder Sensor korrekt funktioniert, können die Daten schwer nutzbar werden, wenn die Datenströme nicht präzise synchronisiert sind.
Ein Bild kann beispielsweise zeigen, wie der Greifer ein Objekt berührt, während die zugehörigen Trajektorien- oder Öffnungsdistanzdaten einen etwas früheren Zeitpunkt darstellen. Wenn sich diese zeitlichen Unterschiede in einem Datensatz häufen, können sie die Konsistenz der Trainingsdaten beeinträchtigen.
GripperGo Pro unterstützt multimodale Hardware-Synchronisierung mit 1 ms und hilft so, visuelle, Bewegungs- und Manipulationsdaten auf einer gemeinsamen Zeitachse auszurichten.
Diese Synchronisierung ermöglicht es Forschern, jede Aktion als koordiniertes Ereignis zu untersuchen. Die Position des Greifers, sein Öffnungszustand, seine Ausrichtung und die entsprechenden visuellen Informationen können präziser abgeglichen werden, wodurch eine bessere Grundlage für das Imitationslernen und das Training der Robotermanipulation geschaffen wird.
Welche Daten kann GripperGo Pro erfassen?
GripperGo Pro wurde entwickelt, um verschiedene Arten von menschlichen Arbeitsdaten während Greif- und Manipulationsaufgaben zu erfassen.
Das System kann Folgendes erfassen:
- Videodaten
- Tiefenbezogene Informationen
- Dreidimensionale Bewegungstrajektorien
- Greiferöffnungsabstand
- IMU-Lagewinkel
- IMU-Beschleunigung
- IMU-Winkelgeschwindigkeit
- Optionale taktile und Druckverteilungsdaten
Die Erfassungsgeräte nutzen binokulares Sehen und Weitwinkel-Bildgebung, um die Arbeitsumgebung und die Beziehung zwischen den Greifern und den umgebenden Objekten aufzuzeichnen.
A Die 200-Hz-IMU zeichnet hochfrequente Bewegungsinformationen auf, während der 128 GB große interne Speicher die lokale Datenaufzeichnung während der Erfassungssitzungen unterstützt.
Durch die Kombination dieser Datentypen liefert GripperGo Pro mehr als nur eine visuelle Aufzeichnung. Es beschreibt, wie sich der Vorgang im Laufe der Zeit entwickelt und wie sich die Greifer während der Aufgabe bewegen und mit den Objekten interagieren.
Wie unterstützen die Greifer natürliche menschliche Demonstrationen?
Das System verwendet zwei vom Menschen bediente Sammelgreifer, die es dem Bediener ermöglichen, Manipulationsaufgaben direkt vorzuführen.
Jeder Greifer bietet einen Öffnungsbereich von 0–100 mm und eine Greifkraft von bis zu 20 N und unterstützt damit gängige Demonstrationen zum Greifen, Handhaben, Sortieren und Platzieren von Objekten.
Durch den Einsatz zweier Greifer lassen sich auch Daten zur beidhändigen Bedienung erfassen. Dies ist wichtig, da viele Aufgaben im Alltag nicht effektiv mit nur einer Hand erledigt werden können. Eine Hand stabilisiert beispielsweise ein Objekt, während die andere es justiert, oder beide Hände müssen beim Heben, Montieren, Verpacken und bei der Werkzeugnutzung koordiniert zusammenarbeiten.
Mögliche Demonstrationen umfassen:
- Objekte auswählen und platzieren
- Elemente nach Typ oder Position sortieren
- Öffnen von Behältern
- Handhabungswerkzeuge
- Gegenstände zwischen den Händen übertragen
- Ein Objekt gleichzeitig stabilisieren und manipulieren
- Ausführung mehrstufiger, beidhändiger Aufgaben
- Demonstration grundlegender Montageverfahren
Ziel ist es nicht, menschliche Bewegungen exakt in die Struktur eines Roboterarms zu übertragen. Stattdessen erfasst das System die Aktionen des Bedieners als strukturierte Daten, die später die Forschung im Bereich des maschinellen Lernens und die Entwicklung von Datensätzen unterstützen können.
Welche Rolle spielt DataCube im Workflow?
Die Datenerfassung ist nur dann sinnvoll, wenn die Bediener bestätigen können, dass die aufgezeichneten Informationen vollständig und verwendbar sind.
GripperGo Pro beinhaltet die Edge-Side-Verarbeitungsplattform DataCube , die Datenerfassung, -synchronisation, -wiedergabe, -prüfung und -vorverarbeitung unterstützt. Sie bietet Forschern eine integriertere Möglichkeit, den Erfassungsprozess zu verwalten, ohne vollständig auf eine spätere Offline-Prüfung angewiesen zu sein.
Während oder nach einer Datenerfassung können die Teams die aufgezeichneten Daten überprüfen und feststellen, ob die erforderlichen Sensordaten korrekt erfasst wurden. Dies hilft, unvollständige, fehlerhafte oder problematische Proben frühzeitig im Arbeitsablauf zu identifizieren.
Die Qualitätskontrolle direkt am Rand ist besonders wertvoll bei Projekten mit vielen wiederholten Vorführungen. Wird ein Problem sofort erkannt, kann der Bediener nur den betroffenen Arbeitsschritt wiederholen. Wird dasselbe Problem erst nach einer gesamten Sammelkampagne entdeckt, kann dies deutlich mehr Nacharbeit erfordern.
Wie reduziert die Inspektion an der Kante die wiederholte Abholung?
Die Erhebung von Humandaten kann Hunderte oder Tausende von Demonstrationen erfordern. Selbst eine geringe Fehlerrate kann eine erhebliche Menge unbrauchbarer Daten erzeugen.
Mögliche Probleme können sein:
- Unvollständige Aufgabenfolgen
- Anomale Tracking-Daten
- Fehlende Sensorinformationen
- Mangelhafte visuelle Abdeckung
- Falsche Greiferfunktion
- Fehlausgerichtete multimodale Daten
- Unterbrochene Aufnahmen
GripperGo Pro unterstützt Anwender bei der Überprüfung und Kennzeichnung problematischer Daten direkt am Endgerät. Dadurch können die Datenerfassungsteams eine erste Qualitätsprüfung durchführen, bevor der Datensatz in eine größere Trainings- oder Verarbeitungspipeline überführt wird.
Das System macht die Validierung, Annotation oder modellspezifische Vorverarbeitung von Datensätzen nicht überflüssig. Eine frühzeitige Prüfung kann Teams jedoch helfen, unnötigen Erinnerungsaufwand zu reduzieren und ihre Daten effizienter zu organisieren.
Warum ist optionale taktile Sensorik wertvoll?
Position und Sicht können zwar zeigen, wo sich ein Greifer befindet, beschreiben aber nicht vollständig, wie er ein Objekt berührt.
Für Forschungsarbeiten zur Greifstabilität, zu zerbrechlichen Objekten, verformbaren Materialien oder kontaktintensiver Manipulation kann die Druckverteilung wichtige Zusatzinformationen liefern. Sie kann Forschern helfen zu verstehen, wann der Kontakt beginnt, wie sich der Griff verändert und wie die Kraft über die Greiffläche verteilt wird.
GripperGo Pro kann optional mit einem 21-Punkt-Tastsensorarray ausgestattet werden, um Kontakt- und Druckverteilungsinformationen während des Greifens zu erfassen.
Das taktile Array ist nicht standardmäßig integriert. Teams können es auswählen, wenn ihre Projekte detailliertere Kontaktinformationen erfordern, während Projekte, die sich primär auf Bildverarbeitung, Bewegungsabläufe, Bewegung und Greiferstatus konzentrieren, die Standardkonfiguration verwenden können.
Wie verbindet GripperGo Pro die Datenerfassung mit dem Roboterlernen?
Ein Datensatz muss schließlich vom Erfassungssystem in eine Roboterlernumgebung überführt werden.
GripperGo Pro unterstützt aktuell den Datenexport im LeRobot-Format und hilft Teams so, die erfassten Demonstrationen für nachgelagerte Roboterlernprozesse zu organisieren. Dadurch kann der Aufwand für die Konvertierung der Rohdaten in eine standardisierte Struktur vor der Weiterverarbeitung reduziert werden.
Die exportierten Daten müssen gegebenenfalls noch gefiltert, annotiert, normalisiert oder an das Modell und die Roboterplattform des Forschungsteams angepasst werden. Dennoch ermöglicht der strukturierte Export eine klarere Verbindung zwischen der Erfassung menschlicher Demonstrationen und der anschließenden Modellentwicklung.
Ein typischer Arbeitsablauf kann Folgendes umfassen:
- Aufstellen der Vive-Basisstationen im Sammelbereich.
- Vorbereitung der beiden GripperGo Pro-Auffanggeräte.
- Verbindung und Überprüfung der DataCube-Plattform herstellen.
- Kalibrierung der Erfassungsumgebung.
- Definition der erforderlichen Aufgabe und des Demonstrationsverfahrens.
- Aufzeichnung von visuellen, räumlichen, Bewegungs- und Greiferbedienungsdaten.
- Überprüfung und Kennzeichnung problematischer Proben durch Kanteninspektion.
- Vorverarbeitung und Organisation der gesammelten Daten.
- Exportieren des Datensatzes im LeRobot-Format.
- Anpassung der Daten an die ausgewählte Roboterlernpipeline.
Dieser integrierte Arbeitsablauf hilft Forschungsteams dabei, von individuellen Demonstrationen an Menschen zur Erstellung wiederholbarer Datensätze überzugehen.
Für welche Anwendungen eignet sich GripperGo Pro?
GripperGo Pro wurde für die hochpräzise Erfassung menschlicher Handlungen in standardisierten Umgebungen entwickelt.
Mögliche Anwendungsgebiete sind:
Datenerfassung für verkörperte KI
Das System kann die Interaktion von Menschen mit Objekten und Arbeitsbereichen aufzeichnen und so multimodale Demonstrationen für die Forschung zur verkörperten Intelligenz ermöglichen.
Imitationslernen
Forscher können Beispiele sammeln, die zeigen, wie eine Person eine Aufgabe erledigt, und die strukturierten Daten nutzen, um das Lernen durch Demonstration zu unterstützen.
Robotermanipulationstraining
Greiferbahnen, Öffnungsdistanz, Bewegungsinformationen, visueller Kontext und optionale taktile Daten können die Forschung im Bereich der Objekthandhabung und -manipulation unterstützen.
Forschung zur bimanualen Koordination
Die paarweise angeordneten Datenerfassungsgeräte ermöglichen es Forschern, Aufgaben zu untersuchen und aufzuzeichnen, die den koordinierten Einsatz beider Hände erfordern.
Geschicklichkeitsintensive und kontaktreiche Aufgaben
Ausgestattet mit dem optionalen taktilen Sensorarray kann das System zusätzliche Kontakt- und Druckinformationen für detailliertere Greifforschung liefern.
Entwicklung standardisierter Datensätze
Universitäten, Labore und Datenerfassungsteams können das System nutzen, um wiederholte Demonstrationen unter kontrollierten räumlichen und verfahrenstechnischen Bedingungen aufzuzeichnen.
Demonstration industrieller Aufgaben
Das System kann die Aufzeichnung von strukturierten Handhabungs-, Sortier-, Werkzeuggebrauchs- und grundlegenden Montageverfahren für die Forschung im Bereich des industriellen Roboterlernens unterstützen.
Für wen ist GripperGo Pro konzipiert?
GripperGo Pro ist für Organisationen gedacht, die genaue und reproduzierbare Daten zu menschlichen Demonstrationen benötigen, darunter:
- Forschungsteams für verkörperte KI
- Robotiklabore
- Universitäten und Berufsbildungseinrichtungen
- Forscher zum Imitationslernen
- Entwickler von Robotermanipulationssystemen
- Forschungsteams für geschickte Manipulation
- KI- und Robotik-Startups
- Teams für die Sammlung und Annotation von Datensätzen
- Unternehmen, die Allzweckroboter entwickeln
- Industrielle Forschungs- und Ausbildungseinrichtungen
Es eignet sich besonders für Teams, die bereits über einen definierten Datenerfassungsbereich verfügen und konsistente Daten über wiederholte Aufgaben, Bediener oder experimentelle Sitzungen hinweg benötigen.
Wann sollten Kunden GripperGo Pro wählen?
GripperGo Pro ist die richtige Wahl, wenn räumliche Genauigkeit, Synchronisation, Wiederholbarkeit und Datenmanagement am Rand die Hauptprioritäten darstellen.
Teams sollten das Pro-System in Betracht ziehen, wenn sie Folgendes benötigen:
- räumliche Positionierung auf 1 mm-Niveau
- Erfassung von zweihändigen menschlichen Operationen
- 1 ms multimodale Hardware-Synchronisierung
- Eine standardisierte, feste Sammelumgebung
- Datenwiedergabe und Qualitätsprüfung am Netzwerkrand
- Integrierte Vorverarbeitungsunterstützung
- Datenexport im LeRobot-Format
- Optionale taktile und Druckverteilungsdaten
Für Projekte, die vorwiegend eine mobile Sammlung in Privathaushalten, Fabriken, Supermärkten, Außenbereichen oder anderen offenen und unstrukturierten Umgebungen erfordern, ist eine Lösung ohne Basisstation möglicherweise besser geeignet. GripperGo Pro ist speziell für kontrollierte Umgebungen optimiert, in denen hochpräzise und wiederholbare Sammlung wichtiger ist als uneingeschränkte Mobilität.
Was ist im System enthalten?
Das Standardpaket GripperGo Pro umfasst:
- Zwei GripperGo Pro Datenerfassungsgeräte
- One DataCube Edge-Side-Verarbeitungsplattform
- One Vive Basisstationssystem
Die Konfiguration mit zwei Geräten unterstützt standardmäßig die beidhändige Datenerfassung. Das optionale 21-Punkt-Tastsensorarray kann separat ausgewählt werden, wenn Informationen zu Kontakt und Druckverteilung benötigt werden.
Erstellung konsistenterer Datensätze für menschliche Demonstrationen
Mit der Einführung von GripperGo Pro erhalten Teams aus den Bereichen verkörperte KI und Robotik eine integriertere Möglichkeit, hochpräzise Daten zur menschlichen Manipulation zu erfassen.
Durch die Kombination von Vive-Positionierung auf 1 mm-Ebene, multimodaler Synchronisierung mit 1 ms, bimanueller, greiferbasierter Datenerfassung, binokularer und Weitwinkel-Sicht, einer 200-Hz-IMU, DataCube-Edge-Side-Verarbeitung und LeRobot-Format-Export verbindet das System die Erfassung von Demonstrationen durch Menschen mit nachgelagerten Roboterlern-Workflows.
Sein Hauptnutzen liegt nicht in der individuellen Erfassung weiterer Datenströme, sondern darin, dass diese Datenströme räumlich präzise, zeitlich ausgerichtet, überprüfbar und leichter zu organisieren bleiben.
Für Forschungsteams, die Manipulationsstrategien, Imitationslernmodelle, zweihändige Roboter oder verkörperte KI-Datensätze entwickeln, bietet GripperGo Pro eine praktische Plattform, um menschliche Operationen in strukturierte und wiederholbare Trainingsdaten umzuwandeln.
