Представляем GripperGo Pro: высокоточную систему сбора данных о человеке для воплощенного искусственного интеллекта и обучения роботов.

Высококачественные данные, полученные в ходе демонстрации действий человека, становятся важнейшей основой для исследований в области воплощенного искусственного интеллекта, имитационного обучения и роботизированного манипулирования. Однако запись выполнения человеком задачи — это только начало. Исследовательским группам также необходима точно согласованная информация о движении руки, состоянии захвата, визуальном контексте, глубине, движении и пространственных траекториях.

Когда эти потоки данных собираются разными устройствами, различия во времени, системах координат и качестве данных могут затруднить использование полученного набора данных. Проблемы могут проявиться только после завершения сбора данных, что приводит к повторным демонстрациям и дополнительной постобработке.

Для решения этих задач компания Foxtech представляет GripperGo Pro — профессиональную систему сбора данных о человеке, разработанную для высокоточной фиксации действий с помощью захватных устройств. Сочетая позиционирование базовой станции Vive, многомодальную синхронизацию с точностью до миллисекунды, устройства для сбора данных двумя руками и обработку данных DataCube на периферии сети, система помогает исследовательским группам создавать более структурированные и согласованные наборы данных для обучения роботов.

Какую проблему решает GripperGo Pro?

Роботы должны научиться не только понимать конечный результат операции. Им необходимы данные, описывающие, как была выполнена задача.

Для задач, связанных с захватом или манипулированием предметами, исследователям может потребоваться зафиксировать следующее:

• Что увидел оператор
• Как обе руки двигались в пространстве
• Когда захваты открывались или закрывались
• Как были ориентированы устройства
• Скорость каждого движения
• Как захватные устройства приближались к объекту и обращались с ним
• Изменилось ли контактное воздействие или давление во время захвата.

Обычное видео не может предоставить всю эту информацию. Создание собственной системы сбора данных с использованием множества камер, датчиков движения, устройств слежения и обрабатывающих компьютеров также может создать трудности с синхронизацией и калибровкой.

GripperGo Pro объединяет эти функции в единый рабочий процесс сбора данных. Он записывает работу захвата вместе с визуальными данными, данными о глубине, движении, траектории и манипуляциях, помогая командам преобразовывать демонстрации, сделанные людьми, в структурированные наборы данных, подходящие для последующих рабочих процессов обучения роботов.

Почему высокоточная пространственная ориентация так важна?

Небольшие различия в положении рук могут существенно повлиять на выполнение задачи манипулирования.

Когда человек берет в руки небольшой предмет, вставляет компонент, использует инструмент или координирует движения обеих рук, пространственная траектория каждого движения становится частью обучающих данных. Если система отслеживания вносит чрезмерный дрейф или несоответствия, записанная демонстрация может неточно отражать исходную операцию.

Система GripperGo Pro использует базовую станцию ​​позиционирования Vive для обеспечения пространственной точности позиционирования на уровне 1 мм в стандартизированной среде сбора данных.

Этот метод позиционирования особенно полезен для задач, требующих:

• Повторяемые демонстрации с участием людей
• Точные траектории движения обеих рук
• Последовательные пространственные координаты
• Детальный анализ захвата и манипулирования предметами.
• Стандартизированный сбор данных несколькими операторами.
• Сравнение последовательностей повторяющихся задач

Вместо того чтобы фокусироваться на неограниченной портативности без необходимости установки базовой станции, GripperGo Pro разработан для высокоточного сбора данных в контролируемых условиях, таких как лаборатории, университетские исследовательские центры, стандартизированные помещения для сбора данных и помещения для промышленного обучения.

Как синхронизация с задержкой в ​​1 мс улучшает качество набора данных?

Набор данных для обучения робота может включать изображения, информацию о глубине, измерения IMU, расстояние раскрытия захвата и пространственные траектории. Даже если каждый датчик работает правильно, данные могут стать сложными для использования, если потоки не синхронизированы должным образом.

Например, на изображении может быть показано, как захват касается объекта, в то время как соответствующие данные о траектории или расстоянии раскрытия представляют собой немного более ранний момент. Когда эти временные различия накапливаются в наборе данных, они могут снизить согласованность обучающих выборок.

GripperGo Pro поддерживает многомодальную аппаратную синхронизацию с задержкой в ​​1 мс , помогая выравнивать визуальные данные, данные о движении и манипуляциях вдоль общей временной шкалы.

Такая синхронизация позволяет исследователям изучать каждое действие как скоординированное событие. Положение захвата, состояние его раскрытия, ориентация и соответствующая визуальная информация могут быть сопоставлены более точно, что обеспечивает лучшую основу для обучения на основе имитации и тренировки роботизированных манипуляций.

Какие данные может собирать GripperGo Pro?

Устройство GripperGo Pro предназначено для сбора различных данных о действиях человека во время захвата и манипулирования предметами.

Система может собирать следующие данные:

• Видеоданные
• Информация, связанная с глубиной
• Трехмерные траектории движения
• Расстояние раскрытия захвата
• Углы ориентации инерциального измерительного блока (IMU)
• ускорение ИМУ
• Угловая скорость IMU
• Дополнительные данные о тактильных ощущениях и распределении давления.

Устройства для сбора данных оснащены бинокулярным зрением и широкоугольным визуальным датчиком для регистрации рабочей среды и взаимосвязи между захватами и окружающими объектами.

A Инерциальный измерительный блок (IMU) с частотой 200 Гц записывает высокочастотную информацию о движении, а встроенная память объемом 128 ГБ поддерживает локальную запись данных во время сеансов сбора информации.

Благодаря объединению этих типов данных, GripperGo Pro предоставляет не просто визуальную запись. Он описывает, как операция развивается во времени, как захваты перемещаются и взаимодействуют с объектами на протяжении всей задачи.

Каким образом эти приспособления поддерживают естественные проявления человеческой деятельности?

Система использует пару управляемых человеком захватов, что позволяет оператору непосредственно демонстрировать задачи по манипулированию предметами.

Каждый захват обеспечивает диапазон раскрытия от 0 до 100 мм и усилие захвата до 20 Н , что позволяет проводить демонстрации по захвату, перемещению, сортировке и размещению распространенных предметов.

Использование двух захватов также позволяет собирать данные о работе обеих рук. Это важно, поскольку многие реальные задачи невозможно эффективно выполнить одной рукой. Одна рука может стабилизировать объект, пока другая его регулирует, или обе руки должны координировать свои действия при подъеме, сборке, упаковке и использовании инструментов.

Возможные варианты демонстрации включают:

• Выбор и размещение предметов
• Сортировка элементов по типу или положению.
• Открытие контейнеров
• Инструменты для работы
• Перекладывание предметов между руками
• Одновременная стабилизация и манипулирование объектом.
• Выполнение многоэтапных задач, требующих одновременной работы двумя руками.
• Демонстрация основных процедур сборки.

Цель состоит не в том, чтобы заставить человека выполнять движения точно по структуре роботизированной руки. Вместо этого система записывает действия оператора в виде структурированных данных, которые впоследствии могут быть использованы в исследованиях по обучению роботов и разработке наборов данных.

Какова роль DataCube в рабочем процессе?

Сбор данных имеет смысл только в том случае, если операторы могут подтвердить полноту и пригодность записанной информации для использования.

GripperGo Pro включает в себя платформу обработки данных DataCube , которая поддерживает сбор, синхронизацию, воспроизведение, анализ и предварительную обработку данных. Она предоставляет исследователям более интегрированный способ управления процессом сбора данных, не полагаясь полностью на последующий автономный анализ.

Во время или после сеанса сбора данных команды могут просмотреть записанные данные и проверить, были ли правильно зафиксированы необходимые потоки данных с датчиков. Это помогает выявлять неполные, аномальные или проблемные образцы на более ранних этапах рабочего процесса.

Контроль качества со стороны кромки особенно важен для проектов, включающих множество повторных демонстраций. Выявление проблемы сразу позволяет оператору повторить только затронутую задачу. Обнаружение той же проблемы после всей кампании по сбору образцов может потребовать значительно большего объема доработок.

Как осмотр с торца позволяет снизить количество повторных случаев сбора мусора?

Сбор данных с участием людей может потребовать сотен или тысяч демонстраций. Даже небольшой процент ошибок может привести к значительному объему непригодных для использования данных.

Возможные проблемы могут включать в себя:

• Неполные последовательности задач
• Аномальные данные отслеживания
• Отсутствует информация о датчике.
• Плохое визуальное покрытие
• Неправильная работа захвата
• Несогласованные мультимодальные данные
• Прерванные записи

GripperGo Pro помогает операторам проверять и помечать проблемные данные непосредственно на границе раздела. Это позволяет группам сбора данных проводить первоначальную проверку качества перед передачей набора данных в более крупный конвейер обучения или обработки.

Система не исключает необходимости проверки набора данных, аннотирования или предварительной обработки, специфичной для модели. Однако более ранняя проверка может помочь командам сократить количество ненужных повторных записей и более эффективно организовать свои данные.

Почему тактильные датчики являются опциональными?

Положение и визуальный контакт могут показать, где находится захватное устройство, но они не в полной мере описывают, как оно взаимодействует с объектом.

В исследованиях, связанных со стабильностью захвата, хрупкими объектами, деформируемыми материалами или манипуляциями с большим количеством контактов, распределение давления может предоставить важную дополнительную информацию. Оно может помочь исследователям понять, когда начинается контакт, как изменяется захват и как сила распределяется по захватываемой поверхности.

GripperGo Pro может быть оснащен опциональной 21-точечной матрицей тактильных датчиков для сбора информации о контакте и распределении давления во время захвата.

Тактильная индикация не входит в стандартную встроенную функцию. Команды могут выбрать её, если их проектам требуется более подробная контактная информация, в то время как проекты, ориентированные в основном на визуальное восприятие, траектории, движение и состояние захвата, могут использовать стандартную конфигурацию.

Как GripperGo Pro связывает сбор данных с обучением робота?

В конечном итоге набор данных должен быть перемещен из системы сбора в среду обучения роботов.

В настоящее время GripperGo Pro поддерживает экспорт данных в формате LeRobot , что помогает командам систематизировать полученные демонстрации для последующих рабочих процессов обучения роботов. Это может сократить трудозатраты на преобразование исходных результатов сбора данных в стандартизированную структуру перед дальнейшей обработкой.

Экспортированные данные, возможно, еще потребуют фильтрации, аннотирования, нормализации или адаптации в соответствии с моделью исследовательской группы и платформой робота. Тем не менее, структурированный экспорт обеспечивает более четкую связь между захватом демонстрационных действий человека и последующей разработкой модели.

Типичный рабочий процесс может включать в себя:

1. Установка базовых станций Vive в зоне сбора.
2. Подготовка двух устройств для сбора отходов GripperGo Pro.
3. Подключение и проверка платформы DataCube.
4. Калибровка среды сбора данных.
5. Определение необходимой задачи и процедуры демонстрации.
6. Запись визуальных, пространственных данных, данных о движении и данных о работе захватного механизма.
7. Проверка и маркировка проблемных образцов посредством осмотра с торца.
8. Предварительная обработка и организация собранных данных.
9. Экспорт набора данных в формат LeRobot.
10. Адаптация данных для выбранного алгоритма обучения робота.

Этот интегрированный рабочий процесс помогает исследовательским группам перейти от индивидуальных демонстраций людьми к созданию воспроизводимых наборов данных.

Для каких задач подходит GripperGo Pro?

GripperGo Pro разработан для высокоточной фиксации действий человека в стандартизированных условиях.

Возможные области применения включают:

Сбор данных с использованием воплощенного ИИ

Система способна записывать взаимодействие человека с объектами и рабочим пространством, предоставляя мультимодальные демонстрации для исследований в области воплощенного интеллекта.

Имитационное обучение

Исследователи могут собирать примеры, демонстрирующие, как человек выполняет задачу, и использовать структурированные данные для поддержки обучения на основе демонстрации.

Обучение роботизированным манипуляциям

Траектории движения захвата, расстояние раскрытия, информация о движении, визуальный контекст и, при необходимости, тактильные данные могут быть использованы в исследованиях по обращению с объектами и их манипулированию.

Исследование двуручной координации

Парные устройства для сбора данных позволяют исследователям изучать и регистрировать задачи, требующие скоординированного использования обеих рук.

Задачи, требующие ловкости и активного контакта.

При оснащении дополнительной матрицей тактильных датчиков система может предоставлять дополнительную информацию о контакте и давлении для более детальных исследований захвата.

Разработка стандартизированных наборов данных

Университеты, лаборатории и группы по сбору данных могут использовать эту систему для записи многократных демонстраций в контролируемых пространственных и процедурных условиях.

Демонстрация производственных задач

Система может поддерживать запись структурированных процедур обработки, сортировки, использования инструментов и базовой сборки для исследований в области обучения промышленных роботов.

Для кого предназначен GripperGo Pro?

GripperGo Pro предназначен для организаций, которым необходимы точные и воспроизводимые данные о результатах демонстраций человеком, в том числе:

• Исследовательские группы по воплощенному искусственному интеллекту
• лаборатории робототехники
• Университеты и учреждения профессионального обучения
• Исследователи обучения на основе имитации
• Разработчики роботизированных манипуляторов
• исследовательские группы по ловким манипуляциям
• Стартапы в области искусственного интеллекта и робототехники
• группы по сбору и аннотированию наборов данных
• Компании, разрабатывающие роботов общего назначения
• Научно-исследовательские и учебные центры промышленного назначения

Этот метод особенно подходит для команд, у которых уже есть определенное пространство для сбора данных и которым необходимы согласованные данные для повторяющихся задач, операторов или экспериментальных сессий.

В каких случаях клиентам следует выбрать GripperGo Pro?

GripperGo Pro — это подходящий выбор, когда основными приоритетами являются пространственная точность, синхронизация, воспроизводимость и управление данными на стороне устройства.

Командам следует рассмотреть систему Pro, когда им потребуется:

• Пространственное позиционирование с точностью до 1 мм
• Двуручный захват движений человека
• многомодальная аппаратная синхронизация 1 мс
• Стандартизированная, фиксированная среда сбора данных
• Воспроизведение данных на стороне сервера и проверка качества.
• Интегрированная поддержка предварительной обработки
• Экспорт данных в формате LeRobot
• Дополнительные данные о тактильных ощущениях и распределении давления.

Для проектов, требующих преимущественно портативного сбора мусора в домах, на заводах, в супермаркетах, на открытых площадках или в других открытых и неструктурированных помещениях, более подходящим может быть решение без базовой станции. GripperGo Pro специально оптимизирован для контролируемых сред, где высокая точность и повторяемость сбора мусора важнее, чем неограниченная мобильность.

Что входит в комплект системы?

В стандартный комплект GripperGo Pro входят:

• Два устройства сбора данных GripperGo Pro
• Единая платформа обработки данных DataCube на стороне периферии сети
• Система базовых станций One Vive

Конфигурация с двумя устройствами поддерживает сбор данных в обоих направлениях в стандартной комплектации. При необходимости получения информации о контакте и распределении давления можно отдельно выбрать дополнительный массив тактильных датчиков с 21 точкой.

Создание более согласованных наборов данных для демонстрации навыков человека.

Выпуск GripperGo Pro предоставляет командам, занимающимся воплощенным искусственным интеллектом и робототехникой, более интегрированный способ сбора высокоточных данных о манипуляциях человека.

Благодаря сочетанию позиционирования Vive с точностью до 1 мм, многомодальной синхронизации за 1 мс, сбора данных с помощью бимануального захвата, бинокулярного и широкоугольного зрения, инерциального измерительного блока с частотой 200 Гц, обработки данных на стороне устройства DataCube и экспорта в формате LeRobot, система связывает захват демонстрационных данных человеком с последующими рабочими процессами обучения робота.

Его главная ценность заключается не в сборе большего количества потоков данных по отдельности, а в том, чтобы помочь этим потокам оставаться пространственно точными, синхронизированными по времени, доступными для проверки и более удобными для организации.

Для исследовательских групп, разрабатывающих стратегии манипулирования, модели имитационного обучения, бимануальных роботов или наборы данных, воплощающие искусственный интеллект, GripperGo Pro предлагает практичную платформу для преобразования человеческих операций в структурированные и воспроизводимые обучающие данные.