Foxtech предоставляет решения промышленных беспилотников & Системы полезной нагрузки беспилотника.
Представляем HeadGo Ego: новое решение для сбора данных с помощью наголовного крепления для воплощенного искусственного интеллекта и обучения роботов.
Для создания эффективных систем искусственного интеллекта требуется нечто большее, чем просто запись обычного видео. Исследователям необходимы структурированные, синхронизированные данные, которые помогут роботам понять, что видит человек, как двигаются его руки и как развивается операция с течением времени.
Для решения этой задачи компания Foxtech представляет HeadGo Ego — новое наголовное устройство для сбора данных о человеке, предназначенное для воплощенного искусственного интеллекта, обучения роботов, обучения на основе имитации и тренировки ловкости рук.
HeadGo Ego, сочетая в себе визуальную съемку от первого лица, отслеживание ключевых точек движений рук, датчики движения, мониторинг в реальном времени и интегрированную систему DataCube, носимую на спине, помогает исследовательским группам собирать данные о действиях человека в мобильном и практичном рабочем процессе.
Какую проблему решает HeadGo Ego?
Одной из главных проблем в разработке воплощенного ИИ является сбор достаточного количества высококачественных данных, полученных в ходе демонстрации его возможностей людьми.
Обычная камера может записывать происходящее во время выполнения задачи, но одного видео может быть недостаточно для получения структурированной информации, необходимой для обучения роботов. Исследователям также может потребоваться понимание пространственного положения рук, ключевых точек отдельных рук, траекторий движения, информации о глубине и точного времени каждого действия.
Сбор этих потоков данных с помощью отдельных устройств может создавать дополнительные трудности. Оборудование может ограничивать свободу движений оператора, требовать повторной настройки или затруднять согласование различных источников данных.
HeadGo Ego разработан для упрощения этого процесса путем сбора данных об операциях от первого лица непосредственно с точки зрения оператора. Он объединяет визуальную информацию с положением руки, пространственными координатами, глубиной, временными метками и траекториями движения, обеспечивая более богатую базу данных для обучения искусственного интеллекта.
Почему данные от первого лица важны для обучения роботов?
Роботы должны научиться не только тому, как выглядит выполненная задача, но и тому, как её выполняет человек.
В таких действиях, как поднятие предмета, сортировка предметов, работа с инструментом или выполнение многоэтапной манипуляционной задачи, точка зрения оператора содержит ценную контекстную информацию. Она показывает, какие объекты видны, как руки приближаются к ним и как меняется окружающая среда на протяжении всей операции.
Поскольку HeadGo Ego носится на голове, камеры следуют естественному направлению взгляда оператора. Это позволяет системе записывать выполнение задачи с точки зрения, тесно связанной с вниманием и действиями оператора.
Полученные данные от первого лица могут быть использованы в исследованиях по следующим темам:
- Воплощенный ИИ
- Робот обучается
- Имитационное обучение
- Анализ действий человека от первого лица
- ловкость манипуляций
- разработка набора данных для демонстрации человеком
Какие данные может собирать система?
HeadGo Ego выходит за рамки стандартной визуальной записи, генерируя различные формы данных, связанных с работой устройства.
Система способна фиксировать 21 ключевую точку на руке , а также положение руки, пространственные координаты, глубину, временные метки и траектории движения. Эти данные помогают описать местоположение рук оператора и их движения во время выполнения задачи.
Для исследовательских групп это позволяет изучать операцию как последовательность структурированных движений, а не только как видеоролик. Полученная информация может быть использована для создания наборов данных для обучения и оценки моделей машинного обучения роботов.
Система оснащена тремя камерами:
- Две бинокулярные камеры
- Одна RGB-камера
Данная конфигурация поддерживает сбор визуальных данных в формате RGB и данных о глубине. 9-осевой инерциальный измерительный блок (IMU) обеспечивает дополнительное отслеживание движений, помогая фиксировать перемещения оператора во время выполнения задачи.
Как широкое поле зрения улучшает сбор данных?
Действия человека не всегда происходят непосредственно в центре изображения, получаемого камерой. Оператор может тянуться к объектам по бокам, смотреть вниз на рабочую поверхность или перемещаться между различными частями рабочей среды.
HeadGo Ego обеспечивает поле зрения, включающее:
- диагональ 150°
- 128° горизонталь
- 80° вертикальный
Широкий угол обзора позволяет охватить большую часть рабочего пространства оператора и снижает вероятность того, что важные движения рук или находящиеся рядом объекты окажутся за пределами зоны записи.
Для задач, требующих работы двумя руками, больших рабочих поверхностей или частой смены направления обзора, более широкий обзор от первого лица может обеспечить более полный визуальный контекст для последующей обработки данных и обучения модели.
Каким образом HeadGo Ego поддерживает естественные человеческие проявления?
Данные, полученные в ходе демонстрации человеком, наиболее полезны, когда оператор может выполнять задачи естественным образом.
Поскольку основное сенсорное устройство крепится на голове, а компоненты обработки и питания интегрированы в систему, носимую в виде рюкзака, оператор может перемещаться в окружающей среде, не будучи привязанным к стационарной станции записи.
Данная мобильная конфигурация подходит для сбора данных в различных рабочих пространствах и повседневных условиях эксплуатации. Исследователи могут демонстрировать выполнение задач, используя собственные руки, в то время как система записывает точку зрения оператора, движения рук и информацию, связанную с движением.
Рюкзак объединяет основной процессор и блок питания. Он также имеет ударопрочную конструкцию и систему активной вентиляции для поддержки сбора данных в мобильных условиях.
Как операторы могут контролировать процесс сбора данных?
Распространенная проблема при сборе данных заключается в том, что слишком поздно обнаруживается неполнота записи, недостаточно места для хранения или некорректная работа какой-либо части системы.
HeadGo Ego решает эту проблему с помощью главного экрана управления, который обеспечивает мониторинг системы в режиме реального времени. Операторы могут проверять:
- Прямая трансляция видео
- температура устройства
- Использование ЦП и памяти
- Доступное хранилище
- Частота кадров
- Состояние устройства
- Ход сбора данных
Такая прозрачность помогает оператору выявлять потенциальные проблемы во время записи выполнения задачи. Это может снизить риск завершения длительной демонстрации и обнаружения отсутствия или непригодности важных данных.
Мониторинг в режиме реального времени особенно ценен, когда исследовательским группам необходимо собрать множество демонстраций от разных операторов, для разных задач или в разных средах.
Как система сокращает время настройки?
Повторная настройка сети может замедлить сбор данных, особенно при перемещении между локациями или смене сети.
HeadGo Ego поддерживает настройку Wi-Fi с помощью QR-кода. Оператор может отсканировать QR-код с помощью камеры Ego для настройки сетевого подключения, что сокращает необходимость в длительной ручной настройке.
Эта функция может быть полезна для групп, которые собирают данные в разных лабораториях, рабочих помещениях или полевых условиях. Более быстрая настройка сети помогает исследователям тратить больше времени на запись демонстраций и меньше времени на подготовку оборудования.
Можно ли использовать HeadGo Ego независимо?
Да. HeadGo Ego может функционировать как независимая система сбора данных от первого лица.
При автономном использовании он может собирать визуальную информацию, данные о положении руки, 21 ключевую точку руки, пространственные координаты, глубину, временные метки и траектории движения. Это делает его подходящим для проектов, ориентированных на эгоцентрическое зрение, анализ действий человека, имитационное обучение и разработку наборов данных для воплощенного ИИ.
Стандартная система включает в себя:
- Одно наголовное устройство сбора данных HeadGo Ego
- Система обработки данных One DataCube, устанавливаемая на рюкзак.
Может ли это работать с другими устройствами для сбора данных о человеке?
HeadGo Ego также можно использовать вместе с GripperGo Pro .
В рамках комбинированного рабочего процесса HeadGo Ego может дополнять набор данных визуальной информацией от первого лица, положением рук, данными о ключевых точках и общей информацией об операциях. Это позволяет исследовательским группам фиксировать демонстрации действий человека с разных, взаимодополняющих точек зрения.
Выбор между использованием HeadGo Ego как самостоятельной системы или интеграцией с GripperGo Pro зависит от требований проекта к данным. Команды, которым в основном необходим сбор данных от первого лица с мобильных устройств, могут использовать HeadGo Ego отдельно, в то время как проекты, требующие более полного набора данных о действиях человека, могут рассмотреть комбинированную конфигурацию.
Какие типы задач можно записывать?
HeadGo Ego предназначен для захвата движений человека от первого лица. Его можно использовать для записи демонстраций, в которых оператор естественно взаимодействует с объектами и окружающим рабочим пространством.
Возможные исследовательские задачи включают:
- Выбор и размещение объектов
- Сортировка и организация
- манипуляция двумя руками
- Демонстрация использования инструментов
- Запись многоэтапной операции
- Анализ траектории движения человеческой руки
- Сбор данных о ловких манипуляциях
- Демонстрация повседневных задач для обучения путем подражания
Конкретная структура задачи и набора данных может определяться в зависимости от робототехнической платформы исследовательской группы, структуры обучения и целей тренировки.
Для кого предназначен HeadGo Ego?
HeadGo Ego в первую очередь предназначен для организаций, разрабатывающих системы воплощенного интеллекта и робототехнического обучения, в том числе:
- Университеты и лаборатории робототехники
- Исследовательские группы по воплощенному искусственному интеллекту
- Исследователи в области обучения роботов и имитационного обучения
- Разработчики, обладающие ловкостью в манипулировании
- Стартапы в области искусственного интеллекта и робототехники
- группы по сбору данных
- Компании, разрабатывающие роботизированные системы общего назначения
Это может быть особенно полезно для команд, которым необходимо собирать записи демонстраций от первого лица в различных задачах или средах, не создавая сложную стационарную систему записи для каждого проекта.
Как HeadGo Ego может улучшить процесс сбора данных?
HeadGo Ego объединяет функции сбора данных, обработки информации, мониторинга и мобильного развертывания в более интегрированную систему.
Вместо того чтобы собирать отдельные камеры, устройства отслеживания движений рук, датчики движения, обрабатывающее оборудование и источники питания для каждой сессии сбора данных, команды могут работать с единой конфигурацией, закрепляемой на голове и закрепляемой на рюкзаке.
Типичный рабочий процесс может включать в себя:
- Подготовка системы HeadGo Ego и DataCube.
- Подключение к необходимой сети Wi-Fi осуществляется путем сканирования QR-кода.
- Проверка состояния видео, хранилища, частоты кадров и устройства на экране мониторинга.
- Начало выполнения задания по демонстрации человеком.
- Сбор данных от первого лица: визуальные данные, ключевые точки на руке, данные о глубине, временные метки и траектория движения.
- Мониторинг хода сбора данных в режиме реального времени.
- Организация собранных данных для последующего обучения робота и разработки модели.
Такой подход помогает сделать сбор данных о демонстрациях человеком более воспроизводимым и управляемым, особенно когда проект требует большого количества примеров выполнения задач.
Более практичный способ создания демонстрационных наборов данных для людей.
Запуск HeadGo Ego предоставляет разработчикам воплощенного ИИ новую возможность сбора структурированных данных о действиях человека от первого лица.
Благодаря сочетанию бинокулярного и RGB-зрения, 21 ключевой точки на руке, информации о пространственном положении, данных о глубине, 9-осевого инерциального измерительного блока, мониторинга в реальном времени и мобильного рюкзака DataCube, система разработана для того, чтобы помочь исследователям фиксировать не только то, что видит оператор, но и то, как выполняется операция.
HeadGo Ego, используемый как самостоятельно, так и совместно с GripperGo Pro, может способствовать созданию более полных наборов данных для исследований в области обучения роботов, обучения на основе имитации и ловкого манипулирования объектами.
