Foxtech fornece soluções industriais de drones & Sistemas de carga útil do UAV.
Apresentando o Agility A2 Isomorphic Teleoperation VLA Suite: Um caminho mais rápido da demonstração humana ao aprendizado do robô.
Construir sistemas de IA incorporados capazes exige mais do que um braço robótico e um modelo de IA. Pesquisadores e desenvolvedores precisam de uma maneira confiável de demonstrar tarefas, capturar dados sincronizados do robô, treinar políticas e validar se essas políticas podem funcionar no mundo real.
O novo pacote Agility A2 Isomorphic Teleoperation VLA foi projetado para tornar esse fluxo de trabalho mais direto.
Construído em torno de uma arquitetura líder-seguidor de dois braços, o sistema permite a teleoperação intuitiva mestre-escravo por meio do mapeamento de juntas um-para-um. Ele combina dois braços robóticos de 7 graus de liberdade, controle de baixa latência, suporte a feedback de força, visão RGB-D multicâmera, sincronização de dados de alta velocidade e um pipeline integrado OpenarmX-LeRobotVLA para pesquisa em IA incorporada, aprendizado por imitação, desenvolvimento de VLA e validação rápida de prova de conceito.
O que é teleoperação isomórfica?
A teleoperação robótica tradicional geralmente requer cinemática inversa para traduzir a entrada humana em movimento das articulações do robô. Embora eficaz, isso pode introduzir complexidade, requisitos de calibração e potenciais inconsistências de controle.
O pacote Agility A2 Isomorphic Teleoperation VLA adota uma abordagem mais direta.
O robô Agility A2 do lado mestre espelha seus movimentos para o robô Agility A2 do lado escravo por meio de mapeamento de juntas um-para-um . Na prática, o operador move o robô mestre e o robô escravo segue o movimento correspondente em tempo real.
Este método de controle isomórfico líder-seguidor permite que os usuários realizem manipulação com os dois braços de uma forma mais intuitiva, sem depender da cinemática inversa para cada comando de movimento.
Por que o mapeamento conjunto um-para-um é importante?
Para a coleta de dados de IA incorporada, a qualidade das demonstrações importa tanto quanto a quantidade.
Quando o movimento do robô é difícil de controlar, as demonstrações podem se tornar inconsistentes. Isso pode afetar a qualidade do conjunto de dados e dificultar o treinamento de políticas posteriores. O mapeamento de juntas um-para-um ajuda a reduzir essa discrepância entre o movimento pretendido pelo operador e o movimento executado pelo robô.
Isso torna o sistema especialmente útil para tarefas que exigem controle bimanual coordenado, incluindo:
- Apreensão e posicionamento de objetos
- Montagem e inserção
- Triagem e transporte
- Interação com ferramentas
- Estudos de manipulação de braço duplo
- Demonstrações de aprendizagem por imitação
- Experimentos de simulação para a realidade
Ao tornar a operação com dois braços mais natural, a plataforma ajuda os pesquisadores a obter demonstrações de robôs reais mais limpas e repetíveis.
Como a teleoperação de baixa latência melhora a coleta de dados?
Um sistema de teleoperação só é útil se for capaz de responder bem às suas demandas.
O conjunto de soluções de teleoperação isomórfica Agility A2 VLA oferece latência de aproximadamente 0,5 a 1 ms para controle mestre-escravo em tempo real. Essa baixa latência permite que o operador mantenha uma conexão mais próxima com o robô escravo durante tarefas de manipulação.
Para equipes de pesquisa que coletam dados de aprendizado de robôs, isso pode melhorar a consistência temporal entre a operação humana, as informações de estado do robô, a entrada visual e as ações registradas.
Quer a tarefa envolva pegar um pequeno objeto, inserir um componente, estabilizar um item com um braço enquanto o manipula com o outro, ou realizar demonstrações repetidas, a teleoperação responsiva ajuda a tornar o processo mais controlado e eficiente.
Qual o papel do feedback de força na manipulação robótica?
A visão sozinha não consegue fornecer ao operador todas as informações sobre uma interação.
Quando um robô toca, agarra, pressiona ou insere um objeto, as informações sobre a força aplicada podem ser tão importantes quanto os dados da câmera. O pacote Agility A2 Isomorphic Teleoperation VLA oferece suporte à operação com reconhecimento de força, ajudando os usuários a entender melhor as condições de contato durante a manipulação robótica.
Isso é valioso para tarefas em que um movimento excessivamente forte pode danificar um objeto, enquanto um contato insuficiente pode causar uma falha na preensão ou uma interação instável.
O suporte ao feedback de força pode ajudar a melhorar o realismo da teleoperação e fornecer uma base melhor para a coleta de demonstrações que envolvam tarefas com alto contato, manuseio de precisão, montagem e inserção.
Como o sistema captura dados para o treinamento VLA?
Um fluxo de trabalho VLA depende de informações sincronizadas de múltiplas fontes. O robô precisa entender o que vê, como suas articulações estão se movendo e quais ações estão sendo executadas.
O pacote Agility A2 Isomorphic Teleoperation VLA integra uma configuração de visão RGB-D multicâmera com:
- Uma câmera frontal Intel D433
- Duas câmeras de pulso Intel D405
- conjuntos de garras de visão
- Hardware de expansão USB de alta velocidade
- Comunicação industrial CANFD
A câmera na cabeça proporciona uma visão mais ampla da área de trabalho, enquanto as câmeras nos pulsos capturam informações visuais de perto ao redor das garras e dos objetos-alvo.
Durante a teleoperação, o sistema pode registrar dados visuais RGB-D sincronizados e dados de estado do robô. Isso cria uma base de dados prática para aprendizado de ação baseado em visão, aprendizado por imitação, aprendizado por reforço, inferência de modelos e execução autônoma de tarefas.
Quais modelos de VLA a plataforma suporta?
O pacote Agility A2 Isomorphic Teleoperation VLA foi projetado para oferecer suporte a um fluxo de trabalho flexível de desenvolvimento VLA.
A inferência ACT está disponível por padrão, oferecendo um ponto de partida prático para equipes que desejam começar a coletar demonstrações e validar tarefas de aprendizado de robôs rapidamente.
Para usuários que trabalham com configurações de computação de alto desempenho, a plataforma também oferece suporte a:
- SmoLVLA
- Pi0
- Pi0,5
- XVLA
Essa capacidade de lidar com múltiplos modelos oferece aos pesquisadores mais liberdade para comparar abordagens, testar diferentes fluxos de treinamento e selecionar os modelos que melhor se adequam aos requisitos da tarefa.
Em vez de ficarem presos a uma única estrutura de modelo, as equipes podem usar uma plataforma de hardware para explorar vários fluxos de trabalho de IA virtual — desde experimentos iniciais de aprendizado por imitação até pesquisas mais avançadas de IA incorporada.
Como a plataforma suporta um fluxo de trabalho completo de IA incorporada?
O conjunto de software Agility A2 Isomorphic Teleoperation VLA foi desenvolvido para conectar os principais estágios de aprendizado de robôs em um único sistema.
Primeiramente, um operador utiliza o robô de dois braços do lado mestre para demonstrar uma tarefa. O robô do lado escravo segue o movimento mapeado em tempo real. Durante esse processo, o sistema registra observações visuais, estados do robô e dados de ação.
Em seguida, os dados coletados podem ser processados através do pipeline OpenarmX-LeRobotVLA para treinamento e avaliação.
Finalmente, o modelo resultante pode ser testado por meio de inferência no mundo real e execução autônoma de tarefas.
Esse fluxo de trabalho ajuda as equipes a percorrer todo o ciclo de desenvolvimento:
Demonstração humana → coleta de dados sincronizada → treinamento VLA → validação de inferência → execução autônoma
Para equipes que desenvolvem sistemas de IA incorporados, isso pode reduzir o tempo gasto na integração de componentes separados de teleoperação, sensoriamento, controle e treinamento.
Por que um sistema de dois braços é importante para o aprendizado de robôs?
Muitas tarefas práticas não podem ser realizadas apenas com um braço.
Abrir um recipiente, segurar um objeto enquanto o ajusta, dobrar tecido, transferir itens, montar componentes ou organizar materiais frequentemente exigem manipulação bimanual coordenada.
O conjunto de teleoperação isomórfica Agility A2 VLA utiliza dois braços robóticos de 7 graus de liberdade para simular a operação com dois braços, semelhante à humana. A plataforma foi projetada para cenários de interação mais complexos do que as simples tarefas de pegar e colocar com um único braço.
Com uma capacidade de carga nominal de 5 kg e uma capacidade máxima de carga de 12 kg, o sistema pode suportar uma variedade de tarefas de pesquisa e validação envolvendo manipulação de objetos, coordenação de dois braços e manipulação de precisão.
Como a estação de trabalho de controle auxilia o desenvolvimento avançado?
Uma plataforma robótica eficiente também precisa de uma base computacional igualmente eficiente.
O sistema inclui uma estação de trabalho de controle com um processador AMD Ryzen 9 Pro, 16 GB de RAM e um SSD de 1 TB. Configurações mais avançadas também estão disponíveis para usuários que necessitam de mais recursos computacionais para modelos VLA complexos e fluxos de trabalho de desenvolvimento exigentes.
O ecossistema de software suporta ROS2, NVIDIA Isaac Sim, MuJoCo, Python, C++ e planejamento de movimento baseado em MoveIt. Combinado com o controle ROS2 e a compensação de gravidade, a plataforma foi projetada para suportar movimentos robóticos estáveis e repetíveis, além de um desenvolvimento secundário flexível.
Para pesquisadores e desenvolvedores, isso significa que o sistema pode servir tanto como uma plataforma experimental pronta para uso quanto como uma base para uma personalização mais profunda.
Para quem foi projetado o pacote de teleoperação isomórfica Agility A2 VLA?
Esta plataforma foi projetada para equipes que precisam transformar conceitos de IA incorporada em experimentos reais com robôs.
É especialmente indicado para:
Universidades e Laboratórios de Ensino
Utilize a plataforma para educação prática em robótica, estudos de manipulação com dois braços, experimentos de teleoperação e exploração do fluxo de trabalho VLA.
Laboratórios de Pesquisa em IA e Robótica
Coletar dados de demonstração de robôs reais, comparar modelos VLA, conduzir pesquisas de aprendizado por imitação e validar abordagens de simulação para a realidade.
Equipes de P&D Industrial
Teste os fluxos de trabalho de manipulação robótica antes de desenvolver um sistema de produção especializado. Avalie tarefas como triagem, montagem, inserção, transporte e manuseio de materiais em ambientes controlados.
Startups de robótica
Construa e valide uma prova de conceito inicial mais rapidamente, começando com uma plataforma integrada de teleoperação, sensoriamento e pronta para VLA, em vez de desenvolver cada componente do zero.
O que está incluído no sistema?
O pacote Agility A2 Isomorphic Teleoperation VLA inclui um conjunto completo de hardware e controle para operação líder-seguidor com dois braços:
- 1 × Agility A2 Dual-Arm Master Lateral
- 1 × Agility A2 Braço Duplo Escravo Lado
- 1 adaptador de energia de 48 V / 20 A
- 1 × Caixa de Comunicação CANFD
- 1 × Câmera de cabeça Intel D435
- 2 câmeras de pulso Intel D405 com conjuntos de pinça de visão
- 1 × Hub de Expansão USB de Alta Velocidade
- 1 × Estação de Trabalho de Controle
Essa configuração integrada ajuda os usuários a iniciar a teleoperação, a coleta de dados e a validação do fluxo de trabalho VLA com menos etapas de integração.
Da teleoperação à manipulação autônoma
O conjunto Agility A2 Isomorphic Teleoperation VLA não é simplesmente um sistema robótico de dois braços. É uma plataforma completa para conectar habilidades humanas, dados do robô e aprendizado de IA incorporado.
Por meio de mapeamento conjunto intuitivo um-para-um, controle líder-seguidor de baixa latência, suporte a feedback de força, percepção RGB-D multicâmera e integração de software compatível com VLA, ele ajuda pesquisadores e desenvolvedores a construir um caminho mais eficiente da demonstração à implementação.
Para equipes que exploram aprendizado de robôs, treinamento VLA, aprendizado por imitação e manipulação autônoma no mundo real, o pacote Agility A2 Isomorphic Teleoperation VLA oferece uma base prática para experimentação mais rápida e validação de conceito mais significativa.
