Foxtech bietet Industrie -Drohnenlösungen an & UAV -Nutzlastsysteme.
Wir stellen HeadGo Ego vor: Eine neue, am Kopf befestigte Datenerfassungslösung für verkörperte KI und Roboterlernen
Die Entwicklung leistungsfähiger, verkörperter KI-Systeme erfordert mehr als die Aufzeichnung gewöhnlicher Videos. Forscher benötigen strukturierte, synchronisierte Daten, die Robotern helfen zu verstehen, was eine Person sieht, wie sich ihre Hände bewegen und wie sich eine Operation im Laufe der Zeit entwickelt.
Um dieser Herausforderung zu begegnen, stellt Foxtech HeadGo Ego vor, ein neues, am Kopf befestigtes Gerät zur Erfassung menschlicher Daten, das für verkörperte KI, Roboterlernen, Imitationslernen und das Training feinmotorischer Manipulation entwickelt wurde.
Durch die Kombination von visueller Erfassung aus der Ich-Perspektive, Hand-Keypoint-Tracking, Bewegungserkennung, Echtzeitüberwachung und einem integrierten DataCube-System im Rucksackformat unterstützt HeadGo Ego Forschungsteams bei der Erfassung von Daten zur menschlichen Funktionsweise in einem mobilen und praktischen Arbeitsablauf.
Welches Problem löst HeadGo Ego?
Eine der größten Herausforderungen bei der Entwicklung verkörperter KI ist die Sammlung ausreichender, qualitativ hochwertiger menschlicher Demonstrationsdaten.
Eine herkömmliche Kamera kann zwar aufzeichnen, was während einer Aufgabe geschieht, doch Videoaufnahmen allein liefern möglicherweise nicht die strukturierten Informationen, die für das Lernen von Robotern erforderlich sind. Forscher müssen unter Umständen auch die räumliche Position der Hände, einzelne Handmerkmale, Bewegungsbahnen, Tiefeninformationen und den genauen Zeitpunkt jeder Aktion verstehen.
Die Erfassung dieser Datenströme mit separaten Geräten kann zusätzliche Schwierigkeiten mit sich bringen. Die Geräte können die Bewegungsfreiheit des Bedieners einschränken, wiederholte Konfigurationen erfordern oder die Synchronisierung verschiedener Datenquellen erschweren.
HeadGo Ego wurde entwickelt, um diesen Prozess zu vereinfachen, indem es Bedienungsdaten direkt aus der Perspektive des Bedieners erfasst. Es kombiniert visuelle Informationen mit Handhaltung, räumlichen Koordinaten, Tiefe, Zeitstempeln und Bewegungstrajektorien und bietet so eine umfassendere Datengrundlage für das Training verkörperter KI.
Warum sind Daten aus der Ich-Perspektive wichtig für das Roboterlernen?
Roboter müssen nicht nur lernen, wie eine abgeschlossene Aufgabe aussieht, sondern auch, wie ein Mensch sie ausführt.
Bei Tätigkeiten wie dem Aufheben eines Gegenstands, dem Sortieren von Gegenständen, dem Bedienen eines Werkzeugs oder dem Ausführen einer mehrstufigen Manipulationsaufgabe liefert die Perspektive des Bedieners wertvolle Kontextinformationen. Sie zeigt, welche Objekte sichtbar sind, wie die Hände sich ihnen nähern und wie sich die Umgebung während der gesamten Tätigkeit verändert.
Da HeadGo Ego am Kopf getragen wird, folgen die Kameras der natürlichen Blickrichtung des Bedieners. Dadurch kann das System die Aufgabe aus einer Perspektive aufzeichnen, die eng mit der Aufmerksamkeit und den Handlungen des Bedieners verknüpft ist.
Die so gewonnenen Daten aus erster Hand können die Forschung in folgenden Bereichen unterstützen:
- Verkörperte KI
- Roboterlernen
- Imitationslernen
- Analyse menschlicher Operationen aus der Ich-Perspektive
- Geschickte Manipulation
- Entwicklung eines Datensatzes für menschliche Demonstrationen
Welche Daten kann das System erfassen?
HeadGo Ego geht über die herkömmliche visuelle Aufzeichnung hinaus, indem es vielfältige Formen von betriebsbezogenen Daten erzeugt.
Das System erfasst 21 Handmerkmale sowie Handhaltung, räumliche Koordinaten, Tiefe, Zeitstempel und Bewegungsbahnen. Diese Daten helfen zu beschreiben, wo sich die Hände des Bedieners befinden und wie sie sich während einer Aufgabe bewegen.
Für Forschungsteams ermöglicht dies die Untersuchung eines Vorgangs als Abfolge strukturierter Bewegungen anstatt nur als Videoclip. Die Informationen können genutzt werden, um Datensätze für das Training und die Evaluierung von Roboterlernmodellen zu erstellen.
Das System ist mit drei Kameras ausgestattet:
- Zwei Fernglaskameras
- Eine RGB-Kamera
Diese Konfiguration unterstützt die Erfassung von RGB- und tiefenbezogenen visuellen Daten. Ein 9-Achsen-IMU liefert zusätzliche bewegungsbezogene Daten und hilft so, die Bewegungen des Bedieners während der Aufgabenerfüllung zu erfassen.
Wie verbessert das weite Sichtfeld die Datenerfassung?
Menschliche Manipulationen finden nicht immer direkt im Zentrum des Kamerabildes statt. Der Bediener kann nach Objekten an den Seiten greifen, auf eine Arbeitsfläche hinunterblicken oder sich zwischen verschiedenen Bereichen der Umgebung bewegen.
HeadGo Ego bietet ein Sichtfeld von:
- 150°-Diagonale
- 128° horizontal
- 80° vertikal
Dieser große Sichtbereich trägt dazu bei, einen größeren Teil des Arbeitsbereichs des Bedieners zu erfassen und verringert die Wahrscheinlichkeit, dass wichtige Handbewegungen oder nahegelegene Objekte außerhalb des Aufzeichnungsbereichs liegen.
Bei Aufgaben, die die Bedienung mit beiden Händen, große Arbeitsflächen oder häufige Änderungen der Blickrichtung erfordern, kann eine breitere Ego-Perspektive einen umfassenderen visuellen Kontext für die nachfolgende Datenverarbeitung und das Modelltraining bieten.
Wie unterstützt HeadGo Ego natürliche menschliche Verhaltensweisen?
Daten zur menschlichen Demonstration sind am nützlichsten, wenn der Bediener die Aufgaben auf natürliche Weise ausführen kann.
Da das Hauptsensorgerät am Kopf getragen wird und die Verarbeitungs- und Stromversorgungskomponenten in ein rucksackartiges System integriert sind, kann sich der Bediener frei in der Umgebung bewegen, ohne an einen festen Aufnahmeplatz gebunden zu sein.
Diese mobile Konfiguration eignet sich zur Datenerfassung in verschiedenen Arbeitsbereichen und alltäglichen Arbeitsumgebungen. Forscher können Aufgaben mit ihren eigenen Händen demonstrieren, während das System den Blickwinkel des Bedieners, die Handbewegungen und bewegungsbezogene Informationen aufzeichnet.
Der Rucksack integriert die Hauptverarbeitungseinheit und das Netzteil. Er verfügt außerdem über eine stoßfeste Konstruktion und ein aktives Belüftungssystem zur Unterstützung der mobilen Datenerfassung.
Wie können die Betreiber den Sammelprozess überwachen?
Ein häufiges Problem bei der Datenerfassung ist die Feststellung, dass eine Aufzeichnung unvollständig war, der Speicherplatz nicht ausreichte oder ein Teil des Systems nicht ordnungsgemäß funktionierte.
HeadGo Ego löst dieses Problem mit einem Hauptkontrollbildschirm, der eine Systemüberwachung in Echtzeit ermöglicht. Bediener können Folgendes überprüfen:
- Live-Video
- Gerätetemperatur
- CPU- und Speicherauslastung
- Verfügbarer Speicherplatz
- Bildrate
- Gerätezustand
- Fortschritt der Datenerfassung
Diese Transparenz hilft dem Bediener, potenzielle Probleme während der Aufzeichnung des Vorgangs zu erkennen. Dadurch kann das Risiko verringert werden, eine lange Demonstration abzuschließen, nur um dann festzustellen, dass wichtige Daten fehlen oder unbrauchbar sind.
Echtzeitüberwachung ist besonders wertvoll, wenn Forschungsteams zahlreiche Demonstrationen über verschiedene Bediener, Aufgaben oder Umgebungen hinweg sammeln müssen.
Wie verkürzt das System die Einrichtungszeit?
Wiederholte Netzwerkkonfigurationen können die Datenerfassung verlangsamen, insbesondere beim Wechsel zwischen Standorten oder Netzwerken.
HeadGo Ego unterstützt die WLAN-Konfiguration per QR-Code. Der Bediener kann mit der Ego-Kamera einen QR-Code scannen, um die Netzwerkverbindung herzustellen, wodurch der Bedarf an aufwendiger manueller Einrichtung entfällt.
Diese Funktion ist besonders nützlich für Teams, die Daten in verschiedenen Laboren, Arbeitsbereichen oder im Außendienst erfassen. Durch die schnellere Netzwerkkonfiguration können Forschende mehr Zeit mit der Aufzeichnung von Demonstrationen verbringen und müssen weniger Zeit mit der Vorbereitung der Geräte aufwenden.
Kann HeadGo Ego eigenständig verwendet werden?
Ja. HeadGo Ego kann als unabhängiges System zur Erfassung menschlicher Daten aus der Ich-Perspektive fungieren.
Bei eigenständiger Verwendung kann es visuelle Informationen, Handhaltungsdaten, 21 Handmerkmale, räumliche Koordinaten, Tiefeninformationen, Zeitstempel und Bewegungstrajektorien erfassen. Dadurch eignet es sich für Projekte mit Schwerpunkt auf egozentrischer Wahrnehmung, Analyse menschlicher Handlungen, Imitationslernen und der Entwicklung von Datensätzen für verkörperte KI.
Das Standardsystem umfasst:
- One HeadGo Ego, ein am Kopf befestigtes Datenerfassungsgerät
- One DataCube Rucksack-Datenverarbeitungssystem
Ist es auch mit anderen Geräten zur Erfassung menschlicher Daten kompatibel?
HeadGo Ego kann auch zusammen mit GripperGo Pro verwendet werden.
In einem kombinierten Workflow kann HeadGo Ego den Datensatz um visuelle Informationen aus der Ich-Perspektive, Handhaltung, Keypoint-Daten und globale Bewegungsinformationen ergänzen. Dies ermöglicht es Forschungsteams, menschliche Demonstrationen aus mehreren sich ergänzenden Perspektiven zu erfassen.
Die Entscheidung zwischen der eigenständigen Nutzung von HeadGo Ego oder der Integration mit GripperGo Pro hängt von den Datenanforderungen des Projekts ab. Teams, die primär mobile Ego-Perspektiven-Daten erfassen müssen, können HeadGo Ego allein verwenden, während Projekte, die einen umfassenderen Datensatz zu menschlichen Eingriffen benötigen, eine kombinierte Lösung in Betracht ziehen sollten.
Welche Arten von Aufgaben können aufgezeichnet werden?
HeadGo Ego ist für die Erfassung von Bedienvorgängen aus der Ich-Perspektive konzipiert. Es kann verwendet werden, um Demonstrationen aufzuzeichnen, in denen der Bediener auf natürliche Weise mit Objekten und der umgebenden Arbeitsumgebung interagiert.
Mögliche Forschungsaufgaben umfassen:
- Objektauswahl und -platzierung
- Sortierung und Organisation
- Zweihändige Manipulation
- Demonstrationen zur Werkzeugnutzung
- Aufzeichnung mehrstufiger Arbeitsgänge
- Analyse der menschlichen Handbahn
- Sammlung von Datensätzen zur geschickten Manipulation
- Demonstrationen alltäglicher Aufgaben zum Nachahmungslernen
Die konkrete Aufgabenstellung und die Struktur des Datensatzes können je nach Roboterplattform, Lernrahmen und Trainingszielen des Forschungsteams festgelegt werden.
Für wen ist HeadGo Ego konzipiert?
HeadGo Ego richtet sich in erster Linie an Organisationen, die verkörperte Intelligenz und Roboterlernsysteme entwickeln, darunter:
- Universitäten und Robotiklabore
- Forschungsteams für verkörperte KI
- Forscher im Bereich des Roboterlernens und des Imitationslernens
- Entwickler von geschickten Manipulationstechniken
- KI- und Robotik-Startups
- Teams zur Datenerfassung
- Unternehmen, die universelle Robotersysteme entwickeln
Es kann besonders nützlich sein für Teams, die Demonstrationen von Menschen aus der Ich-Perspektive über mehrere Aufgaben oder Umgebungen hinweg sammeln müssen, ohne für jedes Projekt ein komplexes, fest installiertes Aufnahmesystem aufbauen zu müssen.
Wie kann HeadGo Ego den Datenerfassungs-Workflow verbessern?
HeadGo Ego vereint Sensorik, Datenverarbeitung, Überwachung und mobile Bereitstellung in einem stärker integrierten System.
Anstatt für jede Datenerfassungssitzung separate Kameras, Handverfolgungsgeräte, Bewegungssensoren, Verarbeitungshardware und Stromversorgungen zusammenzustellen, können die Teams mit einer einheitlichen, am Kopf befestigten und auf einem Rucksack basierenden Konfiguration arbeiten.
Ein typischer Arbeitsablauf kann Folgendes umfassen:
- Vorbereitung des HeadGo Ego- und DataCube-Systems.
- Verbindung zum erforderlichen WLAN-Netzwerk durch Scannen des QR-Codes herstellen.
- Überprüfung von Video, Speicher, Bildrate und Gerätestatus auf dem Überwachungsbildschirm.
- Beginn der menschlichen Demonstrationsaufgabe.
- Erfassung von visuellen Daten aus der Ich-Perspektive, Hand-Keypoint-Daten, Tiefeninformationen, Zeitstempeln und Trajektoriendaten.
- Den Fortschritt der Datenerfassung in Echtzeit überwachen.
- Die erfassten Daten werden für das nachfolgende Roboterlernen und die Modellentwicklung organisiert.
Dieser Ansatz trägt dazu bei, die Erfassung von Demonstrationsaufgaben durch Menschen wiederholbarer und besser handhabbar zu machen, insbesondere wenn ein Projekt eine große Anzahl von Aufgabenbeispielen erfordert.
Ein praktischerer Weg zum Erstellen von Demonstrationsdatensätzen mit menschlichen Probanden
Mit der Einführung von HeadGo Ego erhalten Entwickler verkörperter KI eine neue Möglichkeit, strukturierte Daten aus der Ich-Perspektive über menschliche Operationen zu sammeln.
Durch die Kombination von binokularer und RGB-Sicht, 21 Hand-Keypoints, räumlichen Positionsinformationen, tiefenbezogenen Daten, einem 9-Achsen-IMU, Echtzeitüberwachung und einem mobilen DataCube-Rucksack soll das System Forschern helfen, nicht nur zu erfassen, was der Bediener sieht, sondern auch, wie die Operation ausgeführt wird.
Ob eigenständig oder zusammen mit GripperGo Pro verwendet, HeadGo Ego kann die Entwicklung umfangreicherer Datensätze für die Forschung im Bereich des Roboterlernens, des Imitationslernens und der geschickten Manipulation unterstützen.
