Запуск нового продукта: Agility A2 Flex – колесный двурукий робот с 27 степенями свободы для дистанционного управления с использованием искусственного интеллекта и виртуальной реальности.

По мере развития воплощенного искусственного интеллекта и роботизированной автоматизации исследователи и разработчики сталкиваются с растущей проблемой: как роботы могут свободно перемещаться, манипулировать объектами и координировать множество действий в условиях реального мира?

Традиционные роботизированные манипуляторы часто ограничены стационарными рабочими местами, в то время как мобильным роботам может не хватать возможностей манипулирования, необходимых для выполнения более сложных задач. Объединение мобильности, координации движений двух манипуляторов, восприятия и интеллектуального управления в единую систему может потребовать значительных усилий по разработке.

Представляем новый Agility A2 Flex — 27-осевой колесный двурукий робот с открытым исходным кодом, разработанный для объединения мобильности, манипуляций и дистанционного управления всем телом с помощью виртуальной реальности в одной интегрированной платформе.

Система, доступная в конфигурациях Agility A2 Flex и Agility A2 Flex Ultra , обеспечивает гибкую основу для исследований в области воплощенного искусственного интеллекта, роботизированного манипулирования, сбора данных с демонстраций человека и обучения роботов.

Какую проблему решает Agility A2 Flex?

Для разработчиков робототехники создание робота, способного двигаться и выполнять манипуляционные задачи, часто включает в себя интеграцию нескольких независимых систем, в том числе роботизированных манипуляторов, мобильных платформ, датчиков, контроллеров движения и программных фреймворков.

Этот процесс может быть длительным, особенно когда требуется скоординированное перемещение между различными компонентами.

Робот Agility A2 Flex решает эту задачу благодаря интегрированной 27-степенной роботизированной архитектуре, охватывающей все тело. Он объединяет мобильную базу, вертикальный подъемный механизм, две роботизированные руки, захваты и подвижную голову в единую скоординированную систему управления.

Вместо разработки каждого компонента по отдельности исследователи могут работать с единой роботизированной платформой, которая поддерживает движение и манипуляцию всем телом.

Это обеспечивает практическую отправную точку для разработки, тестирования и совершенствования поведения роботов в динамичных средах.

Как Agility A2 Flex справляется с задачами, выполняемыми в разных местах и ​​на разной высоте?

Стационарный роботизированный манипулятор может выполнять повторяющиеся операции в ограниченном рабочем пространстве, но многие задачи в реальном мире требуют от роботов перемещения между локациями и взаимодействия с объектами, расположенными на разной высоте.

Робот Agility A2 Flex сочетает в себе мобильную базу 4W4S (полный привод, рулевое управление всеми четырьмя колесами) с вертикальным подъемным механизмом высотой 700 мм , что позволяет роботу регулировать как свое положение, так и рабочую высоту.

Многонаправленная мобильная база обеспечивает гибкое перемещение в разных направлениях, а подъемная система помогает роботу достигать объектов, расположенных на различной высоте.

Два роботизированных манипулятора с семью суставами, каждый из которых обеспечивает диапазон работы приблизительно 714 мм, позволяют осуществлять скоординированные манипуляции обеими руками.

Такое сочетание полезно для исследования задач, таких как выбор объектов, перемещение предметов, скоординированная обработка и манипулирование на различных рабочих поверхностях.

Благодаря интеграции мобильности и манипуляций, Agility A2 Flex позволяет разработчикам исследовать роботизированные рабочие процессы, выходящие за рамки одной стационарной рабочей станции.

Как виртуальная реальность делает управление роботом более интуитивным?

Управление многостепенным роботом с помощью традиционных интерфейсов может быть сложным, особенно когда оператору необходимо координировать движения манипуляторов, захватов, головы, мобильной базы и подъемного механизма.

Agility A2 Flex упрощает этот процесс благодаря дистанционному управлению всем телом с помощью виртуальной реальности.

Система включает в себя VR-гарнитуру Meta Quest 3S , позволяющую операторам управлять различными частями робота через встроенный интерфейс телеуправления.

Вместо того чтобы управлять каждым компонентом через отдельные системы, пользователи могут координировать действия всего тела более интуитивно понятным способом.

Эта возможность особенно ценна для демонстрации роботов, исследований в области дистанционного управления и разработки систем с участием человека.

Это также предоставляет практический способ сбора данных о демонстрациях человеком, позволяя исследователям изучать, как управляемые оператором движения могут способствовать будущим рабочим процессам обучения роботов.

Каким образом Agility A2 Flex поддерживает воплощенный искусственный интеллект и обучение роботов?

Одна из самых больших проблем в разработке воплощенного искусственного интеллекта — это соединение роботизированного оборудования с алгоритмами восприятия, планирования движений и машинного обучения.

Исследователям необходима платформа, которая поддерживает повторяемые эксперименты, сбор данных с демонстраций людей и интеграцию с существующим программным обеспечением для робототехники.

Agility A2 Flex построен на Ubuntu 22.04 и ROS 2 Humble , предоставляя открытую среду разработки для исследований в области робототехники.

Обе конфигурации поддерживают управление суставами в реальном времени через ROS 2 и планирование движений манипулятора MoveIt 2. Эти инструменты помогают разработчикам управлять суставами роботов, планировать манипуляционные движения и создавать специализированные приложения.

Для команд, специализирующихся на разработке передовых решений в области искусственного интеллекта, Agility A2 Flex Ultra расширяет эти возможности за счет дополнительного оборудования для распознавания объектов, поддержки навигации и конфигурации VLA.

В конфигурации Ultra в качестве модели VLA по умолчанию используется π0.5 , что позволяет проводить обучение модели, вывод результатов и проверку рабочих процессов.

Это позволяет исследователям изучать связь между визуальным восприятием, выученными стратегиями действий и физическим выполнением действий роботом с помощью интегрированной платформы разработки.

Почему многосенсорное восприятие важно для роботизированных манипуляций?

Роботы, работающие в динамичной среде, должны понимать как окружающую среду, так и объекты, с которыми они взаимодействуют.

Визуальное восприятие помогает роботу определять условия рабочего пространства, а пространственное зондирование предоставляет дополнительную информацию для позиционирования и навигации.

В комплект Agility A2 Flex входит установленная на голове камера Intel RealSense D435i для визуального восприятия.

Для приложений, требующих более полного мониторинга окружающей среды, Agility A2 Flex Ultra расширяет конфигурацию датчиков за счет двух наручных камер Intel RealSense D405, лидара Livox MID-360S и дополнительной камеры RealSense D435i, установленной на основании устройства.

Наручные камеры обеспечивают визуальную информацию с близкого расстояния вокруг зоны манипуляции, а лидар и камера, установленная на основании устройства, предоставляют дополнительную пространственную информацию для навигации и оценки окружающей среды.

Вместе с поддержкой навигации Nav2 эти функции делают конфигурацию Ultra более подходящей для разработки и проверки рабочих процессов мобильного манипулирования, основанных на восприятии окружающей среды.

Как покупателям выбрать между Agility A2 Flex и Flex Ultra?

Для различных робототехнических проектов требуются разные уровни вычислительной мощности, восприятия и интеграции искусственного интеллекта.

Для удовлетворения этих требований Agility A2 Flex доступен в двух конфигурациях.

Agility A2 Flex – для дистанционного управления и разработки робототехники.

Стандартная модель Agility A2 Flex предназначена для клиентов, которым необходима мобильная роботизированная платформа с двумя манипуляторами для дистанционного управления в виртуальной реальности, разработки систем управления движением и сбора данных для демонстрации работы человека.

В состав системы входят контроллер X86, наголовная камера RealSense D435i, система управления суставами ROS 2, система планирования движений MoveIt 2 и система дистанционного управления всем телом в виртуальной реальности.

Данная конфигурация подходит для университетов, робототехнических лабораторий и групп разработчиков, желающих изучать мобильное манипулирование и создавать собственные приложения для управления.

Стандартная версия не включает конфигурацию VLA.

Agility A2 Flex Ultra – для исследований в области расширенного восприятия и VLA.

Agility A2 Flex Ultra разработан для команд, которым требуются дополнительные возможности в области сенсорики, вычислительных ресурсов, навигации и разработки моделей искусственного интеллекта.

В него добавлены графический процессор NVIDIA RTX 3090, наручные камеры глубины, LiDAR, дополнительная камера, установленная на основании, и навигационная система Nav2.

Что еще более важно, версия Ultra включает в себя конфигурацию VLA для обучения модели, вывода результатов и проверки рабочего процесса.

Для исследовательских групп, разрабатывающих стратегии, основанные на воплощенном искусственном интеллекте, или изучающих роботизированное манипулирование, управляемое восприятием, Flex Ultra предоставляет более комплексную среду разработки.

Можно ли расширить функциональность Agility A2 Flex для удовлетворения различных исследовательских потребностей?

Для исследований в области робототехники часто требуются специализированные аппаратные средства, концевые захваты, датчики и программные среды.

Agility A2 Flex разработан с использованием открытой и расширяемой архитектуры для поддержки этих требований.

В дополнение к стандартной системе дистанционного управления с использованием виртуальной реальности, платформу можно сопрягать с опциональным носимым экзоскелетом ExoArm-7 Pro, чтобы исследовать альтернативный метод дистанционного управления человеком и роботом.

Дополнительные гибкие манипуляторы также позволяют расширить исследования в области манипулирования объектами за пределы стандартных задач, связанных с захватом. Платформа поддерживает изготовление на заказ концевых захватов, дополнительных устройств машинного зрения и индивидуальную настройку OEM/ODM.

Эти возможности расширения помогают разработчикам адаптировать робота к различным экспериментальным требованиям, не ограничиваясь одной единственной конфигурацией оборудования.

ExoArm-7 Pro и гибкие манипуляторы являются дополнительными аксессуарами, продаваемыми отдельно.

Для кого предназначен Agility A2 Flex?

Система Agility A2 Flex в первую очередь предназначена для исследователей в области робототехники, университетов, разработчиков искусственного интеллекта и технологических компаний, изучающих более совершенные роботизированные системы.

Для академических учреждений платформа предоставляет интегрированную среду для изучения робототехники, планирования движений, дистанционного управления в виртуальной реальности и взаимодействия человека и робота.

Для исследователей в области воплощенного ИИ это обеспечивает сбор данных, полученных в ходе демонстрации человеком, а в конфигурации Ultra — разработку и проверку моделей VLA.

Для робототехнических компаний и научно-исследовательских групп его мобильная база, система манипулирования двумя манипуляторами и расширяемая аппаратная архитектура обеспечивают основу для тестирования новых роботизированных приложений и проверки рабочих процессов, подтверждающих работоспособность концепции.

Сочетание мобильности, возможностей манипулирования и открытых инструментов разработки делает его особенно актуальным для команд, работающих над созданием более совершенных мобильных роботизированных систем.

Заключение: Объединение мобильного манипулирования и воплощенной разработки искусственного интеллекта.

Разработка роботов, способных перемещать, воспринимать и манипулировать объектами, требует тесной координации между механическими системами, датчиками, контроллерами и интеллектуальным программным обеспечением.

Новая модель Agility A2 Flex объединяет эти важнейшие возможности в единой колесной двухрычажной платформе с 27 степенями свободы.

Благодаря многонаправленной мобильности, регулируемой рабочей высоте, телеуправлению всем телом с помощью виртуальной реальности, поддержке разработки с открытым исходным кодом и расширяемым аппаратным возможностям, это помогает командам разработчиков робототехники снизить сложность интеграции и сосредоточиться на разработке практических возможностей роботов.

Для клиентов, изучающих передовые приложения в области искусственного интеллекта и VLA, платформа Agility A2 Flex Ultra дополнительно расширяет свои возможности за счет улучшенного восприятия, навигации, вычислений на графическом процессоре и интегрированных возможностей разработки VLA.

От дистанционного управления с помощью человека до исследований в области робототехники на основе искусственного интеллекта, Agility A2 Flex обеспечивает гибкую основу для разработки мобильных манипуляционных устройств следующего поколения.