Foxtech bietet Industrie -Drohnenlösungen an & UAV -Nutzlastsysteme.
Wir stellen die Agility A2 Isomorphic Teleoperation VLA Suite vor: Ein schnellerer Weg von der menschlichen Demonstration zum Roboterlernen
Der Aufbau leistungsfähiger verkörperter KI-Systeme erfordert mehr als einen Roboterarm und ein KI-Modell. Forscher und Entwickler benötigen eine zuverlässige Methode, um Aufgaben zu demonstrieren, synchronisierte Roboterdaten zu erfassen, Strategien zu trainieren und zu validieren, ob diese Strategien in der realen Welt funktionieren.
Die neue Agility A2 Isomorphic Teleoperation VLA Suite wurde entwickelt, um diesen Arbeitsablauf direkter zu gestalten.
Das System basiert auf einer Zwei-Arm-Führungs-Folger-Architektur und ermöglicht intuitive Master-Slave-Fernsteuerung durch 1:1-Gelenkabbildung. Es kombiniert zwei 7-DOF-Roboterarme, latenzarme Steuerung, Kraftrückkopplung, RGB-D-Bildverarbeitung mit mehreren Kameras, Hochgeschwindigkeits-Datensynchronisation und eine integrierte OpenarmX-LeRobotVLA-Pipeline für die Forschung im Bereich verkörperter KI, Imitationslernen, VLA-Entwicklung und schnelle Machbarkeitsstudien.
Was ist isomorphische Teleoperation?
Die traditionelle Roboterfernsteuerung erfordert häufig inverse Kinematik, um menschliche Eingaben in Gelenkbewegungen des Roboters zu übersetzen. Dies ist zwar effektiv, kann aber Komplexität, Kalibrierungsaufwand und potenzielle Steuerungsinkonsistenzen mit sich bringen.
Die Agility A2 Isomorphic Teleoperation VLA Suite verfolgt einen direkteren Ansatz.
Der Master-Roboter Agility A2 spiegelt seine Bewegung mittels einer 1:1-Gelenkabbildung auf den Slave-Roboter Agility A2 wider. Konkret bedeutet dies, dass der Bediener den Master-Roboter bewegt und der Slave-Roboter die entsprechende Bewegung in Echtzeit ausführt.
Diese isomorphe Leader-Follower-Steuerungsmethode ermöglicht es dem Benutzer, die Manipulation beider Arme auf intuitivere Weise durchzuführen, ohne für jeden Bewegungsbefehl auf inverse Kinematik angewiesen zu sein.
Warum ist die Eins-zu-Eins-Gemeinschaftszuordnung wichtig?
Bei der Datenerfassung im Bereich verkörperter KI ist die Qualität der Demonstrationen ebenso wichtig wie deren Quantität.
Wenn die Roboterbewegung schwer zu steuern ist, können Demonstrationen inkonsistent werden. Dies kann die Qualität des Datensatzes beeinträchtigen und das spätere Training von Richtlinien erschweren. Die 1:1-Gelenkzuordnung trägt dazu bei, diese Diskrepanz zwischen der vom Bediener beabsichtigten Bewegung und der vom Roboter ausgeführten Bewegung zu verringern.
Dadurch eignet sich das System besonders für Aufgaben, die eine koordinierte beidhändige Steuerung erfordern, darunter:
- Greifen und Platzieren von Objekten
- Montage und Einsetzen
- Sortierung und Transport
- Werkzeuginteraktion
- Manipulationsstudien mit zwei Armen
- Demonstrationen zum Nachahmungslernen
- Simulation-zu-Real-Experimente
Durch die natürlichere Bedienung zweier Roboterarme hilft die Plattform Forschern, sauberere und besser reproduzierbare Demonstrationen realer Roboter zu erfassen.
Wie verbessert die Teleoperation mit geringer Latenz die Datenerfassung?
Ein Teleoperationssystem ist nur so nützlich wie seine Reaktionsfähigkeit.
Die Agility A2 Isomorphic Teleoperation VLA Suite bietet eine Latenz von ca. 0,5–1 ms für die Echtzeit-Master-Slave-Steuerung. Diese geringe Latenz ermöglicht dem Bediener eine engere Verbindung zum Slave-Roboter während Manipulationsaufgaben.
Für Forschungsteams, die Daten zum Roboterlernen sammeln, kann dies die zeitliche Übereinstimmung zwischen menschlicher Bedienung, Roboterzustandsinformationen, visuellen Eingaben und aufgezeichneten Aktionen verbessern.
Ob es darum geht, einen kleinen Gegenstand aufzuheben, ein Bauteil einzusetzen, einen Gegenstand mit einem Arm zu stabilisieren und ihn mit dem anderen zu manipulieren oder wiederholte Vorführungen durchzuführen – die reaktionsschnelle Teleoperation trägt dazu bei, den Prozess kontrollierter und effizienter zu gestalten.
Welche Rolle spielt Force Feedback bei der Robotermanipulation?
Das Sehen allein kann dem Bediener nicht alles über eine Interaktion vermitteln.
Wenn ein Roboter ein Objekt berührt, greift, drückt oder einführt, können Kraftinformationen genauso wichtig sein wie Kamerabilder. Die Agility A2 Isomorphic Teleoperation VLA Suite unterstützt kraftbasierte Bedienung und hilft Anwendern, die Kontaktbedingungen während der Robotermanipulation besser zu verstehen.
Dies ist von Vorteil bei Aufgaben, bei denen eine zu starke Bewegung ein Objekt beschädigen könnte, während ein unzureichender Kontakt zu einem fehlgeschlagenen Griff oder einer instabilen Interaktion führen könnte.
Die Unterstützung von Force Feedback kann dazu beitragen, den Realismus der Teleoperation zu verbessern und eine bessere Grundlage für die Erfassung von Demonstrationen zu schaffen, die kontaktintensive Aufgaben, präzises Handling, Montage und Einfügung beinhalten.
Wie erfasst das System Daten für das VLA-Training?
Ein VLA-Workflow ist auf synchronisierte Informationen aus mehreren Quellen angewiesen. Der Roboter muss verstehen, was er sieht, wie sich seine Gelenke bewegen und welche Aktionen ausgeführt werden.
Die Agility A2 Isomorphic Teleoperation VLA Suite integriert ein RGB-D-Vision-Setup mit mehreren Kameras:
- Eine Intel D435 Kopfkamera
- Zwei Intel D405 Handgelenkkameras
- Vision-Greifer-Baugruppen
- Hochgeschwindigkeits-USB-Erweiterungshardware
- CANFD-Industriekommunikation
Die Kopfkamera bietet einen umfassenderen Überblick über den Arbeitsbereich, während die Handgelenkkameras visuelle Informationen aus nächster Nähe um die Greifer und die Zielobjekte herum erfassen.
Während der Teleoperation kann das System synchronisierte RGB-D-Bilddaten und Roboterzustandsdaten aufzeichnen. Dies schafft eine praktische Datengrundlage für visuelles Aktionslernen, Imitationslernen, bestärkendes Lernen, Modellinferenz und autonome Aufgabenausführung.
Welche VLA-Modelle werden von der Plattform unterstützt?
Die Agility A2 Isomorphic Teleoperation VLA Suite wurde entwickelt, um einen flexiblen VLA-Entwicklungsworkflow zu unterstützen.
Die ACT-Inferenz ist standardmäßig verfügbar und bietet damit einen praktischen Ausgangspunkt für Teams, die schnell mit dem Sammeln von Demonstrationen und der Validierung von Roboterlernaufgaben beginnen möchten.
Für Benutzer, die mit leistungsstärkeren Rechnerkonfigurationen arbeiten, kann die Plattform außerdem Folgendes unterstützen:
- SmoLVLA
- Pi0
- Pi0.5
- XVLA
Diese Multi-Modell-Fähigkeit gibt Forschern mehr Freiheit, Ansätze zu vergleichen, verschiedene Trainingspipelines zu testen und Modelle auszuwählen, die am besten zu ihren Aufgabenanforderungen passen.
Anstatt sich auf eine einzige Modellstruktur festzulegen, können Teams mit einer einzigen Hardwareplattform mehrere VLA-Workflows erkunden – von frühen Imitationslernexperimenten bis hin zu fortgeschrittenerer Forschung im Bereich der verkörperten KI.
Wie unterstützt die Plattform einen vollständigen Workflow für verkörperte KI?
Die Agility A2 Isomorphic Teleoperation VLA Suite wurde entwickelt, um die wichtigsten Phasen des Roboterlernens in einem System zu verbinden.
Zunächst demonstriert ein Bediener mithilfe des Master-Zweiarmroboters eine Aufgabe. Der Slave-Roboter folgt der vorgegebenen Bewegung in Echtzeit. Währenddessen erfasst das System visuelle Beobachtungen, Roboterzustände und Aktionsdaten.
Anschließend können die gesammelten Daten mithilfe der OpenarmX-LeRobotVLA-Pipeline für Training und Evaluierung verarbeitet werden.
Abschließend kann das resultierende Modell durch Inferenz in realen Situationen und autonome Aufgabenausführung getestet werden.
Dieser Workflow hilft Teams dabei, den gesamten Entwicklungszyklus zu durchlaufen:
Menschliche Demonstration → synchronisierte Datenerfassung → VLA-Training → Validierung der Inferenz → autonome Ausführung
Für Teams, die verkörperte KI-Systeme entwickeln, kann dies den Zeitaufwand für die Integration separater Teleoperations-, Sensor-, Steuerungs- und Trainingskomponenten reduzieren.
Warum ist ein Zwei-Arm-System für das Roboterlernen wichtig?
Viele praktische Aufgaben können nicht mit nur einem Arm erledigt werden.
Das Öffnen eines Behälters, das Halten eines Gegenstands beim Justieren, das Falten von Stoff, das Umfüllen von Gegenständen, das Zusammenbauen von Bauteilen oder das Ordnen von Materialien erfordern oft eine koordinierte beidhändige Manipulation.
Die Agility A2 Isomorphic Teleoperation VLA Suite nutzt zwei 7-DOF-Roboterarme, um eine menschenähnliche Zwei-Arm-Bedienung zu ermöglichen. Die Plattform ist für komplexere Interaktionsszenarien als einfache Pick-and-Place-Aufgaben mit einem Arm ausgelegt.
Mit einer Nennnutzlast von 5 kg und einer maximalen Nutzlast von 12 kg kann das System eine Reihe von Forschungs- und Validierungsaufgaben unterstützen, die Objekthandhabung, Zweiarmkoordination und Präzisionsmanipulation umfassen.
Wie unterstützt die Control Workstation die fortgeschrittene Entwicklung?
Eine leistungsfähige Roboterplattform benötigt auch eine leistungsfähige Rechengrundlage.
Das System umfasst eine Steuer-Workstation mit einem AMD Ryzen 9 Pro Prozessor, 16 GB RAM und einer 1 TB SSD. Für Anwender, die mehr Rechenleistung für fortgeschrittene VLA-Modelle und anspruchsvolle Entwicklungsabläufe benötigen, sind auch höhere Konfigurationen erhältlich.
Das Software-Ökosystem unterstützt ROS2, NVIDIA Isaac Sim, MuJoCo, Python, C++ und MoveIt-basierte Bewegungsplanung. In Kombination mit ROS2-Steuerung und Schwerkraftkompensation ermöglicht die Plattform stabile, wiederholbare Roboterbewegungen und flexible Weiterentwicklung.
Für Forscher und Entwickler bedeutet dies, dass das System sowohl als sofort einsatzbereite experimentelle Plattform als auch als Grundlage für weitergehende Anpassungen dienen kann.
Für wen ist die Agility A2 Isomorphic Teleoperation VLA Suite konzipiert?
Diese Plattform ist für Teams konzipiert, die verkörperte KI-Konzepte in reale Roboterexperimente umsetzen müssen.
Es eignet sich besonders für:
Universitäten und Lehrlabore
Nutzen Sie die Plattform für praxisorientierte Robotikausbildung, Studien zur Manipulation mit zwei Armen, Teleoperationsexperimente und die Erforschung von VLA-Workflows.
KI- und Robotik-Forschungslabore
Sammeln Sie Daten aus realen Roboterdemonstrationen, vergleichen Sie VLA-Modelle, führen Sie Imitationslernforschung durch und validieren Sie Simulation-zu-Realität-Ansätze.
Industrielle F&E-Teams
Testen Sie Arbeitsabläufe der Robotermanipulation, bevor Sie ein spezialisiertes Produktionssystem entwickeln. Evaluieren Sie Aufgaben wie Sortieren, Montieren, Einsetzen, Transportieren und Materialhandhabung in kontrollierten Umgebungen.
Robotik-Startups
Entwickeln und validieren Sie einen frühen Machbarkeitsnachweis schneller, indem Sie mit einer integrierten Teleoperations-, Sensor- und VLA-fähigen Plattform beginnen, anstatt jede Komponente von Grund auf neu zu entwickeln.
Was ist im System enthalten?
Die Agility A2 Isomorphic Teleoperation VLA Suite umfasst ein komplettes Hardware- und Steuerungssystem für den Betrieb mit zwei Armen in Leader-Follower-Konfiguration:
- 1 × Agility A2 Doppelarm-Masterseite
- 1 × Agility A2 Doppelarm-Slave-Seite
- 1 × 48 V / 20 A Netzteil
- 1 × CANFD-Kommunikationsbox
- 1 × Intel D435 Kopfkamera
- 2 × Intel D405 Handgelenkkameras mit Vision-Greifer-Baugruppen
- 1 × High-Speed-USB-Erweiterungshub
- 1 × Steuerarbeitsplatz
Diese integrierte Konfiguration hilft Anwendern, mit weniger Integrationsschritten mit Teleoperation, Datenerfassung und VLA-Workflow-Validierung zu beginnen.
Von der Teleoperation zur autonomen Manipulation
Die Agility A2 Isomorphic Teleoperation VLA Suite ist nicht einfach nur ein Zweiarm-Robotersystem. Sie ist eine vollständige Plattform zur Verbindung von menschlichen Fähigkeiten, Roboterdaten und verkörpertem KI-Lernen.
Durch intuitives 1:1-Gelenkmapping, latenzarme Leader-Follower-Steuerung, Force-Feedback-Unterstützung, RGB-D-Wahrnehmung mit mehreren Kameras und VLA-fähige Softwareintegration hilft es Forschern und Entwicklern, einen effizienteren Weg von der Demonstration zur Implementierung zu finden.
Für Teams, die sich mit Robot Learning, VLA-Training, Imitationslernen und autonomer Manipulation in realen Umgebungen beschäftigen, bietet die Agility A2 Isomorphic Teleoperation VLA Suite eine praktische Grundlage für schnellere Experimente und aussagekräftigere Proof-of-Concept-Validierung.
