Представлен комплект Agility A2 + ExoArm-7 VLA для исследований в области воплощенного искусственного интеллекта.

Создание функциональных роботов начинается с более качественных демонстраций с участием людей.

Новый комплект Agility A2 + ExoArm-7 VLA Suite представляет собой носимую платформу для двуручного дистанционного управления, разработанную для того, чтобы помочь исследователям, разработчикам и командам робототехников быстрее перейти от демонстрации человеком к обучению роботов и проверке их способности выполнять задачи в реальных условиях.

Благодаря сочетанию двурукого робота Agility A2 и носимого экзоскелета ExoArm-7, это решение позволяет осуществлять захват естественных движений человека, синхронизированный сбор мультимодальных данных, обучение модели и вывод результатов работы робота в режиме реального времени в рамках единого интегрированного рабочего процесса.

В исследованиях в области воплощенного ИИ, имитационного обучения и разработки систем «зрение-язык-действие» это обеспечивает более прямой путь от «показа» роботу, как выполнить задачу, до построения автономной стратегии, способной ее выполнить.

Какую проблему решает комплекс Agility A2 + ExoArm-7 VLA Suite?

Сбор высококачественных данных для обучения роботов зачастую является медленным и сложным процессом.

Традиционные системы дистанционного управления могут требовать отдельных контроллеров, внешних устройств слежения, камер с ручной синхронизацией и специализированных программных конвейеров. Это увеличивает время настройки и затрудняет получение стабильных демонстрационных данных для обучения ИИ.

Комплект Agility A2 + ExoArm-7 VLA Suite объединяет эти элементы в одной предварительно сконфигурированной платформе.

Операторы надевают экзоскелет ExoArm-7 и управляют роботом посредством естественных движений руки. Система захватывает синхронизированные движения человека, информацию о состоянии робота, визуальные данные RGB-D и облака точек, создавая более богатый набор данных для обучения на основе имитации и тренировки роботов с использованием VLA.

Вместо того чтобы создавать рабочий процесс сбора данных с нуля, команды могут сосредоточиться на самой задаче: захвате, сортировке, вставке, сборке, транспортировке и других реальных сценариях манипулирования.

Как носимые устройства дистанционного управления улучшают захват демонстрации человеком?

Носимый экзоскелет ExoArm-7 разработан для более естественного и интуитивно понятного управления обеими руками.

Благодаря 14 степеням свободы и задержке захвата движений менее 20 мс , носимая система в режиме реального времени сопоставляет движения руки оператора с двуручным роботом Agility A2. Это делает дистанционное управление более похожим на непосредственную демонстрацию задачи, чем на управление роботом через традиционный удаленный интерфейс.

Для исследователей это означает, что данные о демонстрациях, проводимых людьми, можно собирать с большей непрерывностью и точностью.

В контексте рабочих процессов обучения роботов это означает, что робот может фиксировать не только визуальную информацию, но и модели движений, лежащие в основе каждого действия: как приближается к объекту, как координируются движения манипуляторов, как регулируется захват и как выполняется задача.

Эти высококачественные демонстрации могут затем использоваться для обучения на основе имитации, обучения стратегиям, экспериментов по обучению с подкреплением и генерации наборов данных VLA.

Что умеет двурукий робот?

В основе комплекса лежит двурукий робот Agility A2, оснащенный двумя роботизированными манипуляторами с 7 степенями свободы для выполнения манипуляций двумя руками, имитирующих движения человека.

Каждая манипуляторная рука поддерживает номинальную полезную нагрузку в 5 кг и максимальную полезную нагрузку до 12 кг , что позволяет платформе выполнять широкий спектр исследовательских и проверочных задач. От захвата и перемещения до сборки, установки, обработки и скоординированных операций с участием двух манипуляторов, система разработана для практических исследований в области манипулирования объектами, а не только для демонстрации отдельных задач.

Двуручная конструкция особенно полезна для задач, требующих координации движений обеих рук, например, для стабилизации объекта одной рукой и управления им другой.

Благодаря этому платформа хорошо подходит для изучения того, как роботы могут осваивать сложные навыки манипулирования на основе демонстраций, проводимых людьми.

Как система собирает визуальные и пространственные данные?

Для обучения роботов требуется нечто большее, чем просто данные о движении.

В состав комплекта Agility A2 + ExoArm-7 VLA входит головная камера Intel D435 и две наручные камеры Intel D405, интегрированные с захватными устройствами. Вместе эти камеры обеспечивают синхронизированные данные RGB-D и информацию о точечном облаке как с общего обзора, так и с близкого расстояния.

Головная камера фиксирует более широкое рабочее пространство, а наручные камеры отслеживают важные взаимодействия вблизи захватных устройств.

Такой подход с использованием нескольких камер помогает создавать более полные наборы данных для визуального восприятия, понимания объектов, планирования захвата и обучения действиям. Он также предоставляет исследователям большую гибкость при изучении того, как стратегии роботов реагируют на изменение положения объектов, компоновку рабочего пространства и условия манипуляции.

Может ли он поддерживать полный рабочий процесс VLA?

Да. Платформа разработана как комплексный рабочий процесс, воплощающий искусственный интеллект, а не просто как устройство для дистанционного управления.

Этот пакет программ, работающий на основе открытой платформы LeRobot , поддерживает захват демонстрационных примеров с участием человека, синхронизированный сбор данных, генерацию наборов данных, рабочие процессы обучения, вывод результатов моделирования и автономное выполнение задач.

Система поставляется с предварительно настроенной программной средой OpenarmX-LeRobotVLA , что помогает командам начать разработку с меньшими затратами на интеграцию.

Поддержка вывода ACT включена по умолчанию. При использовании более производительных конфигураций контроллера платформа также поддерживает расширенные модели VLA, включая SmoLVLA, Pi0, Pi0.5 и XVLA .

Это предоставляет исследователям практическую среду для тестирования различных подходов к обучению, сравнения стратегий и проверки того, может ли модель ИИ переноситься с собранных демонстраций на реальное выполнение задач роботом.

Какие инструменты разработки и экосистемы поддерживаются?

Комплект Agility A2 + ExoArm-7 VLA Suite разработан для команд, которым необходима гибкость в исследованиях, моделировании и развертывании.

Она поддерживает широкую экосистему развития робототехники, включая:

• ROS2 и ROS2-контроль
• NVIDIA Исаак Сим
• MuJoCo
• Планирование движений MoveIt
• Моделирование роботов URDF
• Разработка на Python и C++
• Обратная кинематика и оптимизация траектории

Благодаря компенсации силы тяжести, связи по протоколу CANFD, высокоскоростному расширению USB и выделенной рабочей станции управления, система обеспечивает стабильную основу для синхронизированных датчиков, управления в реальном времени и повторяемых экспериментов по движению.

Стандартная рабочая станция оснащена процессором AMD Ryzen 9 Pro, 16 ГБ оперативной памяти и твердотельным накопителем объемом 1 ТБ, а для более ресурсоемких задач, требующих использования VLA-чипов, доступны более мощные конфигурации.

Для кого создана эта платформа?

Комплект Agility A2 + ExoArm-7 VLA идеально подходит для:

• Университеты и образовательные программы в области робототехники
• Лаборатории воплощенного искусственного интеллекта и робототехнического обучения
• Исследователи в области ИИ создают наборы данных для имитационного обучения или VLA.
• Научно-исследовательские группы промышленных предприятий проверяют эффективность рабочих процессов манипуляций.
• Стартапы в области робототехники разрабатывают быстрые демонстрации концепции.
• Команды изучают возможности обучения роботов на основе моделирования и реальных ситуаций.

Независимо от того, является ли целью сбор демонстрационных данных, обучение манипуляциям двумя руками, оценка новых стратегий или быстрая проверка концепции обучения роботов, система предлагает интегрированный путь от движений человека к автономному выполнению.

Почему стоит выбрать комплект Agility A2 + ExoArm-7 VLA Suite?

Для разработки воплощенного ИИ требуется нечто большее, чем просто мощная роботизированная рука. Необходим надежный способ сбора значимых демонстраций, сопоставления визуального восприятия с действиями, обучения моделей и проверки результатов в реальном мире.

Комплект Agility A2 + ExoArm-7 VLA объединяет эти важные этапы в одной носимой платформе для дистанционного управления двумя руками.

От захвата естественных движений человека до синхронизированного RGB-D зрения, от генерации наборов данных VLA до вывода результатов работы автономных роботов — эта технология призвана помочь командам разработчиков робототехники сократить время интеграции и ускорить эксперименты.

Превратите демонстрацию человеком в возможности робота — с помощью комплекта Agility A2 + ExoArm-7 VLA Suite.