Представляем пакет Agility A2 Isomorphic Teleoperation VLA Suite: более быстрый путь от демонстрации человеком навыков робота к обучению робота.

Для создания эффективных систем искусственного интеллекта требуется нечто большее, чем просто роботизированная рука и модель ИИ. Исследователям и разработчикам необходим надежный способ демонстрации задач, сбора синхронизированных данных о роботе, обучения стратегий и проверки их работоспособности в реальном мире.

Новый пакет программного обеспечения Agility A2 Isomorphic Teleoperation VLA Suite разработан для того, чтобы сделать этот рабочий процесс более прямым.

Система, построенная на основе архитектуры «ведущий-ведомый» с двумя манипуляторами, обеспечивает интуитивно понятное дистанционное управление по принципу «ведущий-ведомый» посредством сопоставления суставов «один к одному». Она сочетает в себе два 7-степенных роботизированных манипулятора, управление с низкой задержкой, поддержку обратной связи по усилию, многокамерное RGB-D-зрение, высокоскоростную синхронизацию данных и интегрированный конвейер OpenarmX-LeRobotVLA для исследований в области воплощенного ИИ, имитационного обучения, разработки VLA и быстрой проверки концепции.

Что такое изоморфная телеуправление?

Традиционные методы дистанционного управления роботами часто требуют обратной кинематики для преобразования действий человека в движение суставов робота. Хотя это и эффективно, такой подход может усложнять систему, требовать калибровки и приводить к потенциальным несоответствиям в управлении.

Пакет программного обеспечения Agility A2 Isomorphic Teleoperation VLA Suite использует более прямой подход.

Робот Agility A2 на стороне ведущего робота зеркально отображает свои движения на стороне ведомого робота Agility A2 посредством сопоставления движений в суставах «один к одному» . На практике это означает, что оператор перемещает ведущий робот, а ведомый робот в реальном времени следует за его движениями.

Этот изоморфный метод управления «ведущий-ведомый» позволяет пользователям выполнять манипуляции двумя руками более интуитивно понятным способом, не полагаясь на обратную кинематику для каждой команды движения.

Почему важно проводить сопоставление суставов «один к одному»?

В контексте сбора данных с использованием искусственного интеллекта качество демонстраций имеет такое же важное значение, как и их количество.

Когда движение робота сложно контролировать, демонстрации могут стать непоследовательными. Это может повлиять на качество набора данных и усложнить последующее обучение алгоритмам. Точное сопоставление суставов помогает уменьшить этот разрыв между запланированным движением оператора и фактическим движением робота.

Это делает систему особенно полезной для задач, требующих скоординированного управления обеими руками, в том числе:

• Захват и размещение объектов
• Сборка и установка
• Сортировка и транспортировка
• Взаимодействие инструментов
• Исследования манипуляций двумя руками
• Демонстрации обучения путем подражания
• Эксперименты от моделирования к реальным условиям

Благодаря тому, что управление двумя манипуляторами становится более естественным, платформа помогает исследователям получать более четкие и воспроизводимые демонстрации работы реальных роботов.

Как телеуправление с низкой задержкой улучшает сбор данных?

Полезность системы дистанционного управления зависит от её быстродействия.

Система изоморфного телеуправления Agility A2 VLA Suite обеспечивает задержку примерно 0,5–1 мс для управления роботом в режиме реального времени по принципу «ведущий-ведомый». Такая низкая задержка помогает оператору поддерживать более тесную связь с ведомым роботом во время выполнения манипуляционных задач.

Для исследовательских групп, собирающих данные об обучении роботов, это может повысить согласованность во времени между действиями человека, информацией о состоянии робота, визуальным вводом и записанными действиями.

Независимо от того, включает ли задача поднятие небольшого предмета, установку компонента, стабилизацию предмета одной рукой и одновременное манипулирование им другой, или выполнение многократных демонстраций, оперативное дистанционное управление помогает сделать процесс более контролируемым и эффективным.

Какова роль обратной связи по усилию в роботизированном манипулировании?

Одного лишь визуального восприятия недостаточно, чтобы оператор получил полную информацию о взаимодействии.

Когда робот касается, захватывает, нажимает или вставляет объект, информация о силе может быть столь же важна, как и данные с камеры. Пакет программного обеспечения Agility A2 Isomorphic Teleoperation VLA Suite поддерживает работу с учетом силы воздействия, помогая пользователям лучше понимать условия контакта во время роботизированных манипуляций.

Это особенно важно для задач, где слишком сильные движения могут повредить объект, а недостаточный контакт может привести к неудачному захвату или нестабильному взаимодействию.

Поддержка обратной связи по усилию может помочь повысить реалистичность дистанционного управления и обеспечить более надежную основу для сбора демонстрационных материалов, включающих задачи, требующие непосредственного контакта, точной обработки, сборки и установки.

Как система собирает данные для обучения VLA?

Рабочий процесс VLA зависит от синхронизированной информации из нескольких источников. Робот должен понимать, что он видит, как движутся его суставы и какие действия выполняются.

Комплект Agility A2 Isomorphic Teleoperation VLA Suite объединяет многокамерную систему RGB-D машинного зрения со следующими компонентами:

• Одна головная камера Intel D435
• Две наручные камеры Intel D405
• узлы захвата Vision
• Высокоскоростное USB-оборудование для расширения
• Промышленная связь CANFD

Головная камера обеспечивает более широкий обзор рабочего пространства, а наручные камеры захватывают визуальную информацию с близкого расстояния вокруг захватов и целевых объектов.

В режиме дистанционного управления система может записывать синхронизированные визуальные данные RGB-D и данные о состоянии робота. Это создает практическую основу для обучения действиям на основе зрения, имитационного обучения, обучения с подкреплением, вывода моделей и автономного выполнения задач.

Какие модели VLA поддерживает платформа?

Пакет программного обеспечения Agility A2 Isomorphic Teleoperation VLA Suite разработан для поддержки гибкого рабочего процесса разработки VLA.

Функция вывода ACT доступна по умолчанию, что обеспечивает удобную отправную точку для команд, которые хотят быстро начать сбор демонстрационных примеров и проверку задач обучения роботов.

Для пользователей, работающих с высокопроизводительными вычислительными конфигурациями, платформа также может поддерживать:

• SmoLVLA
• Пи0
• Пи0.5
• XVLA

Возможность работы с несколькими моделями предоставляет исследователям больше свободы для сравнения подходов, тестирования различных алгоритмов обучения и выбора моделей, которые наилучшим образом соответствуют требованиям поставленных задач.

Вместо того чтобы быть привязанными к единой структуре модели, команды могут использовать одну аппаратную платформу для изучения множества рабочих процессов VLA — от ранних экспериментов по имитационному обучению до более сложных исследований в области воплощенного ИИ.

Как платформа поддерживает полноценный рабочий процесс с использованием искусственного интеллекта?

Система Agility A2 Isomorphic Teleoperation VLA Suite разработана для объединения ключевых этапов обучения роботов в единой системе.

Сначала оператор использует ведущего робота с двумя манипуляторами для демонстрации задачи. Ведомый робот в реальном времени следует за заданным движением. В ходе этого процесса система записывает визуальные наблюдения, состояния робота и данные о действиях.

Далее собранные данные могут быть обработаны с помощью конвейера OpenarmX-LeRobotVLA для обучения и оценки.

Наконец, полученную модель можно протестировать с помощью анализа реальных ситуаций и автономного выполнения задач.

Этот рабочий процесс помогает командам пройти полный цикл разработки:

Демонстрация человеком → синхронизированный сбор данных → обучение VLA → проверка выводов → автономное выполнение

Для команд, разрабатывающих системы воплощенного искусственного интеллекта, это может сократить время, затрачиваемое на интеграцию отдельных компонентов дистанционного управления, датчиков, контроля и обучения.

Почему система с двумя манипуляторами важна для обучения роботов?

Многие практические задачи невозможно выполнить одной рукой.

Открытие контейнера, удержание предмета и его корректировка положения, складывание ткани, перемещение предметов, сборка компонентов или организация материалов часто требуют скоординированных движений обеих рук.

Система изоморфного телеуправления Agility A2 VLA Suite использует две 7-степенные роботизированные руки для обеспечения управления, аналогичного человеческому, с помощью двух рук. Платформа разработана для более сложных сценариев взаимодействия, чем простые задачи захвата и перемещения с помощью одной руки.

Система, рассчитанная на полезную нагрузку в 5 кг и максимальную полезную нагрузку в 12 кг, может использоваться для решения широкого спектра исследовательских и проверочных задач, связанных с обработкой объектов, координацией движений обеих рук и высокоточными манипуляциями.

Каким образом рабочая станция управления поддерживает разработку передовых решений?

Для эффективной работы роботизированной платформы необходима также и мощная вычислительная база.

Система включает в себя рабочую станцию ​​управления с процессором AMD Ryzen 9 Pro, 16 ГБ оперативной памяти и твердотельным накопителем объемом 1 ТБ. Также доступны более мощные конфигурации для пользователей, которым требуется больше вычислительных ресурсов для сложных моделей VLA и ресурсоемких рабочих процессов разработки.

Программная экосистема поддерживает ROS2, NVIDIA Isaac Sim, MuJoCo, Python, C++ и планирование движений на основе MoveIt. В сочетании с управлением ROS2 и компенсацией гравитации платформа создана для обеспечения стабильного, воспроизводимого движения робота и гибкой вторичной разработки.

Для исследователей и разработчиков это означает, что система может служить как готовой к использованию экспериментальной платформой, так и основой для более глубокой персонализации.

Для кого предназначен пакет программного обеспечения Agility A2 Isomorphic Teleoperation VLA Suite?

Эта платформа предназначена для команд, которым необходимо превратить воплощенные в жизнь концепции искусственного интеллекта в реальные эксперименты с роботами.

Он особенно подходит для:

Университеты и учебные лаборатории

Используйте платформу для практического обучения робототехнике, изучения манипуляций двумя руками, экспериментов по телеуправлению и исследования рабочих процессов VLA.

Лаборатории исследований в области искусственного интеллекта и робототехники

Собирайте данные для демонстрации работы реальных роботов, сравнивайте модели VLA, проводите исследования в области имитационного обучения и проверяйте соответствие подходов, основанных на моделировании, реальным условиям.

Группы промышленных исследований и разработок

Перед разработкой специализированной производственной системы протестируйте рабочие процессы роботизированного манипулирования. Оцените такие задачи, как сортировка, сборка, установка, транспортировка и обработка материалов, в контролируемых условиях.

Стартапы в области робототехники

Создавайте и проверяйте первые прототипы быстрее, начиная с интегрированной платформы, готовой к использованию с системами дистанционного управления, датчиками и VLA, вместо того, чтобы разрабатывать каждый компонент с нуля.

Что входит в систему?

Комплект Agility A2 Isomorphic Teleoperation VLA Suite включает в себя полный набор аппаратных средств и элементов управления для работы в режиме "ведущий-ведомый" с двумя манипуляторами:

• 1 × Agility A2 Dual-Arm Master Side
• 1 × Agility A2 Двурукий подчиненный механизм
• 1 × 48 В / 20 А адаптер питания
• 1 × Коммуникационный блок CANFD
• 1 × Головная камера Intel D435
• 2 наручные камеры Intel D405 с захватами Vision Gripper
• 1 × Высокоскоростной USB-концентратор расширения
• 1 × Рабочая станция управления

Эта интегрированная конфигурация помогает пользователям начать дистанционное управление, сбор данных и проверку рабочих процессов VLA с меньшим количеством этапов интеграции.

От телеуправления к автономному манипулированию

Система изоморфного телеуправления Agility A2 VLA Suite — это не просто система с двумя манипуляторами. Это полноценная платформа для объединения человеческих навыков, данных о роботе и воплощенного обучения с использованием искусственного интеллекта.

Благодаря интуитивно понятному сопоставлению суставов «один к одному», управлению «ведущий-ведомый» с низкой задержкой, поддержке обратной связи по усилию, многокамерному RGB-D восприятию и интеграции программного обеспечения, готового к использованию с VLA, это помогает исследователям и разработчикам выстроить более эффективный путь от демонстрации до внедрения.

Для команд, занимающихся изучением обучения роботов, тренировки VLA, обучения на основе имитации и автономного манипулирования в реальном мире, пакет Agility A2 Isomorphic Teleoperation VLA Suite предоставляет практическую основу для более быстрого проведения экспериментов и более содержательной проверки концепции.