Foxtech fornece soluções industriais de drones & Sistemas de carga útil do UAV.
Apresentando o GripperGo Pro: um sistema de coleta de dados humanos de alta precisão para IA incorporada e aprendizado de robôs.
Dados de demonstração humana de alta qualidade estão se tornando uma base essencial para IA incorporada, aprendizado por imitação e pesquisa em manipulação robótica. No entanto, gravar uma pessoa realizando uma tarefa é apenas o começo. As equipes de pesquisa também precisam de informações precisamente alinhadas sobre o movimento da mão, o estado da garra, o contexto visual, a profundidade, o movimento e as trajetórias espaciais.
Quando esses fluxos de dados são capturados por dispositivos separados, as diferenças de tempo, sistemas de coordenadas e qualidade dos dados podem dificultar o uso do conjunto de dados resultante. Os problemas podem se tornar visíveis somente após a conclusão da coleta, levando a demonstrações repetidas e trabalho adicional de pós-processamento.
Para enfrentar esses desafios, a Foxtech está lançando o GripperGo Pro , um sistema profissional de coleta de dados humanos projetado para capturar operações de alta precisão baseadas em garras. Combinando o posicionamento da estação base Vive, a sincronização multimodal em nível de milissegundos, dispositivos de coleta bimanual e o processamento DataCube na borda da rede, o sistema ajuda as equipes de pesquisa a construir conjuntos de dados mais estruturados e consistentes para o aprendizado de robôs.
Que problema o GripperGo Pro resolve?
Os robôs precisam aprender mais do que o resultado final de uma operação. Eles precisam de dados que descrevam como a tarefa foi realizada.
Para uma tarefa de preensão ou manipulação, os pesquisadores podem precisar capturar:
- O que o operador viu
- Como ambas as mãos se moviam pelo espaço
- Quando as garras se abriam ou fechavam
- Como os dispositivos estavam orientados
- Com que rapidez cada movimento ocorreu?
- Como as garras se aproximaram e manipularam o objeto
- Se houve alteração no contato ou na pressão durante o processo de preensão.
Vídeos comuns não conseguem fornecer todas essas informações. A criação de um sistema de coleta personalizado com múltiplas câmeras, sensores de movimento, dispositivos de rastreamento e computadores de processamento também pode gerar dificuldades de sincronização e calibração.
O GripperGo Pro integra essas funções em um fluxo de trabalho de coleta de dados. Ele registra a operação da garra juntamente com dados visuais, de profundidade, movimento, trajetória e manipulação, ajudando as equipes a converter demonstrações humanas em conjuntos de dados estruturados, adequados para fluxos de trabalho subsequentes de aprendizado de robôs.
Por que o posicionamento espacial de alta precisão é importante?
Pequenas diferenças na posição das mãos podem afetar significativamente uma tarefa de manipulação.
Quando uma pessoa pega um objeto pequeno, insere um componente, usa uma ferramenta ou coordena ambas as mãos, a trajetória espacial de cada movimento passa a fazer parte dos dados de treinamento. Se o sistema de rastreamento introduzir desvios ou inconsistências excessivas, a demonstração gravada pode não representar com precisão a operação original.
O GripperGo Pro utiliza um sistema de posicionamento com estação base Vive para fornecer precisão de posicionamento espacial de 1 mm em um ambiente de coleta padronizado.
Este método de posicionamento é especialmente útil para tarefas que exigem:
- demonstrações humanas repetíveis
- Trajetórias bimanuais precisas
- Coordenadas espaciais consistentes
- Análise detalhada de preensão e manipulação
- Coleta de dados padronizada entre várias operadoras
- Comparação entre sequências de tarefas repetidas
Em vez de se concentrar na portabilidade irrestrita e sem estação base, o GripperGo Pro foi projetado para coleta de alta precisão em ambientes controlados, como laboratórios, instalações de pesquisa universitárias, salas de coleta padronizadas e espaços de treinamento industrial.
Como a sincronização de 1 ms melhora a qualidade do conjunto de dados?
Um conjunto de dados para aprendizado de robôs pode incluir imagens, informações de profundidade, medições de IMU, distância de abertura da garra e trajetórias espaciais. Mesmo quando cada sensor funciona corretamente, os dados podem se tornar difíceis de usar se os fluxos não estiverem sincronizados com precisão.
Por exemplo, uma imagem pode mostrar a garra tocando um objeto, enquanto os dados correspondentes de trajetória ou distância de abertura representam um momento ligeiramente anterior. Quando essas diferenças de tempo se acumulam em um conjunto de dados, elas podem reduzir a consistência das amostras de treinamento.
O GripperGo Pro suporta sincronização de hardware multimodal de 1 ms , ajudando a alinhar dados visuais, de movimento e de manipulação em uma linha do tempo compartilhada.
Essa sincronização permite que os pesquisadores estudem cada ação como um evento coordenado. A posição da garra, seu estado de abertura, sua orientação e as informações visuais correspondentes podem ser correlacionadas com maior precisão, proporcionando uma base melhor para o aprendizado por imitação e o treinamento de manipulação robótica.
Que dados o GripperGo Pro pode coletar?
O GripperGo Pro foi projetado para capturar diversos tipos de dados operacionais humanos durante tarefas de preensão e manipulação.
O sistema pode coletar:
- Dados de vídeo
- Informações relacionadas à profundidade
- Trajetórias de movimento tridimensionais
- Distância de abertura da garra
- ângulos de atitude da IMU
- aceleração IMU
- velocidade angular da IMU
- Dados opcionais de tato e distribuição de pressão
Os dispositivos de coleta incorporam visão binocular e captura visual de grande angular para registrar o ambiente da tarefa e a relação entre as garras e os objetos ao redor.
A A IMU de 200 Hz registra informações de movimento de alta frequência, enquanto 128 GB de armazenamento interno permitem a gravação local de dados durante as sessões de coleta.
Ao combinar esses tipos de dados, o GripperGo Pro oferece mais do que um registro visual. Ele descreve como a operação se desenvolve ao longo do tempo e como as garras se movem e interagem com os objetos durante a tarefa.
Como os dispositivos de fixação auxiliam nas demonstrações humanas naturais?
O sistema utiliza um par de garras de coleta operadas por humanos, permitindo que o operador demonstre as tarefas de manipulação diretamente.
Cada garra oferece uma faixa de abertura de 0 a 100 mm e até 20 N de força de preensão , permitindo demonstrações comuns de preensão, manuseio, classificação e posicionamento de objetos.
O uso de duas garras também possibilita a coleta de dados de operação bimanual. Isso é importante porque muitas tarefas reais não podem ser concluídas com eficiência apenas com uma mão. Uma mão pode estabilizar um objeto enquanto a outra o ajusta, ou ambas as mãos podem precisar trabalhar em conjunto durante o levantamento, a montagem, a embalagem e o uso de ferramentas.
Possíveis demonstrações incluem:
- Selecionar e colocar objetos
- Classificar itens por tipo ou posição
- Abrir recipientes
- Ferramentas de manuseio
- Transferir objetos entre as mãos
- Estabilizar e manipular um objeto simultaneamente
- Executar tarefas bimanual com várias etapas
- Demonstração de procedimentos básicos de montagem
O objetivo não é forçar o movimento humano a se encaixar perfeitamente na estrutura de um braço robótico. Em vez disso, o sistema registra as ações do operador como dados estruturados que podem posteriormente apoiar pesquisas sobre aprendizado de robôs e o desenvolvimento de conjuntos de dados.
Qual o papel do DataCube no fluxo de trabalho?
A coleta de dados só é útil quando os operadores podem confirmar que as informações registradas estão completas e são utilizáveis.
O GripperGo Pro inclui a plataforma de processamento de dados DataCube , que oferece suporte à aquisição, sincronização, reprodução, inspeção e pré-processamento de dados. Ele proporciona aos pesquisadores uma maneira mais integrada de gerenciar o processo de coleta, sem depender inteiramente da inspeção offline posterior.
Durante ou após uma sessão de coleta, as equipes podem revisar os dados gravados e verificar se os fluxos de sensores necessários foram capturados corretamente. Isso ajuda a identificar amostras incompletas, anormais ou problemáticas mais cedo no fluxo de trabalho.
A inspeção de qualidade na borda da cadeia de suprimentos é particularmente valiosa para projetos que envolvem muitas demonstrações repetidas. Descobrir um problema imediatamente pode permitir que o operador repita apenas a tarefa afetada. Descobrir o mesmo problema após uma campanha de coleta completa pode exigir retrabalho substancialmente maior.
Como a inspeção pelas bordas reduz a coleta repetida?
A coleta de dados humanos pode exigir centenas ou milhares de demonstrações. Mesmo uma pequena taxa de falha pode gerar uma quantidade significativa de dados inutilizáveis.
Os problemas potenciais podem incluir:
- Sequências de tarefas incompletas
- dados de rastreamento anormais
- Informações do sensor ausentes
- Cobertura visual deficiente
- Operação incorreta da garra
- Dados multimodais desalinhados
- Gravações interrompidas
O GripperGo Pro ajuda os operadores a inspecionar e marcar dados problemáticos na borda da rede. Isso permite que as equipes de coleta realizem uma verificação inicial de qualidade antes de transferir o conjunto de dados para um pipeline de treinamento ou processamento maior.
O sistema não elimina a necessidade de validação de conjuntos de dados, anotação ou pré-processamento específico do modelo. No entanto, uma inspeção prévia pode ajudar as equipes a reduzir a necessidade de retrabalho desnecessário e a organizar seus dados de forma mais eficiente.
Por que a detecção tátil opcional é valiosa?
A posição e a visão podem mostrar onde uma garra está localizada, mas não descrevem completamente como ela entra em contato com um objeto.
Para pesquisas que envolvam estabilidade de preensão, objetos frágeis, materiais deformáveis ou manipulação com alto nível de contato, a distribuição de pressão pode fornecer informações adicionais importantes. Ela pode ajudar os pesquisadores a entender quando o contato começa, como a preensão muda e como a força é distribuída pela superfície de preensão.
O GripperGo Pro pode ser equipado opcionalmente com uma matriz de sensores táteis de 21 pontos para capturar informações de contato e distribuição de pressão durante a preensão.
O sensor tátil não está incluído como um recurso padrão integrado. As equipes podem selecioná-lo quando seus projetos exigirem informações de contato mais detalhadas, enquanto projetos focados principalmente em visão, trajetórias, movimento e status da garra podem usar a configuração padrão.
Como o GripperGo Pro conecta a coleta de dados com o aprendizado do robô?
Um conjunto de dados deve eventualmente ser transferido do sistema de coleta para um ambiente de aprendizado de robôs.
O GripperGo Pro atualmente suporta a exportação de dados no formato LeRobot , ajudando as equipes a organizar as demonstrações capturadas para fluxos de trabalho de aprendizado de robôs subsequentes. Isso pode reduzir o esforço necessário para converter os resultados brutos da coleta em uma estrutura padronizada antes do processamento posterior.
Os dados exportados ainda podem precisar ser filtrados, anotados, normalizados ou adaptados de acordo com o modelo e a plataforma robótica da equipe de pesquisa. No entanto, a exportação estruturada proporciona uma conexão mais clara entre a captura da demonstração humana e o desenvolvimento subsequente do modelo.
Um fluxo de trabalho típico pode incluir:
- Instalando as estações base do Vive na área de coleta.
- Preparando os dois dispositivos de coleta GripperGo Pro.
- Conectando e verificando a plataforma DataCube.
- Calibrando o ambiente de coleta.
- Definir a tarefa necessária e o procedimento de demonstração.
- Registro de dados visuais, espaciais, de movimento e de operação da garra.
- Revisar e marcar amostras problemáticas através da inspeção das bordas.
- Pré-processamento e organização dos dados coletados.
- Exportando o conjunto de dados no formato LeRobot.
- Adaptar os dados para o pipeline de aprendizagem do robô selecionado.
Esse fluxo de trabalho integrado ajuda as equipes de pesquisa a passarem de demonstrações individuais com humanos para a produção de conjuntos de dados repetíveis.
Para quais aplicações o GripperGo Pro é adequado?
O GripperGo Pro foi projetado para capturar com alta precisão as ações humanas em ambientes padronizados.
As possíveis aplicações incluem:
Coleta de dados de IA incorporada
O sistema pode gravar interações humanas com objetos e espaços de trabalho, fornecendo demonstrações multimodais para pesquisas sobre inteligência incorporada.
Aprendizagem por imitação
Os pesquisadores podem coletar exemplos que mostram como uma pessoa realiza uma tarefa e usar os dados estruturados para apoiar o aprendizado por demonstração.
Treinamento de Manipulação Robótica
As trajetórias da garra, a distância de abertura, as informações de movimento, o contexto visual e os dados táteis opcionais podem auxiliar na pesquisa sobre manuseio e manipulação de objetos.
Pesquisa de Coordenação Bimanual
Os dispositivos de coleta pareados permitem que os pesquisadores estudem e registrem tarefas que exigem o uso coordenado de ambas as mãos.
Tarefas que exigem destreza e envolvem contato físico
Quando equipado com o conjunto de sensores táteis opcional, o sistema pode fornecer informações adicionais de contato e pressão para pesquisas mais detalhadas sobre a preensão.
Desenvolvimento de Conjunto de Dados Padronizados
Universidades, laboratórios e equipes de coleta de dados podem usar o sistema para registrar demonstrações repetidas sob condições espaciais e processuais controladas.
Demonstração de Tarefa Industrial
O sistema pode suportar o registro de procedimentos estruturados de manuseio, classificação, uso de ferramentas e montagem básica para pesquisa em aprendizado de robôs industriais.
Para quem o GripperGo Pro foi projetado?
O GripperGo Pro destina-se a organizações que necessitam de dados precisos e repetíveis de demonstração humana, incluindo:
- Equipes de pesquisa em IA incorporada
- Laboratórios de robótica
- Universidades e instituições de formação profissional
- Pesquisadores de aprendizagem por imitação
- desenvolvedores de manipulação robótica
- Equipes de pesquisa de manipulação hábil
- Startups de IA e robótica
- Equipes de coleta e anotação de conjuntos de dados
- Empresas que desenvolvem robôs de uso geral
- instalações de pesquisa e treinamento industrial
É particularmente adequado para equipes que já possuem um espaço de coleta definido e precisam de dados consistentes em tarefas repetidas, operadores ou sessões experimentais.
Quando os clientes devem escolher o GripperGo Pro?
O GripperGo Pro é a escolha adequada quando a precisão espacial, a sincronização, a repetibilidade e o gerenciamento de dados na borda da rede são as principais prioridades.
As equipes devem considerar o sistema Pro quando precisarem de:
- posicionamento espacial com precisão de 1 mm
- captura de operação humana bimanual
- Sincronização de hardware multimodal de 1 ms
- Um ambiente de coleta padronizado e fixo
- Reprodução de dados na borda e inspeção de qualidade
- Suporte integrado de pré-processamento
- Exportação de dados no formato LeRobot
- Dados opcionais de tato e distribuição de pressão
Para projetos que exigem principalmente coleta portátil em residências, fábricas, supermercados, áreas externas ou outros ambientes abertos e não estruturados, uma solução sem estação base pode ser mais adequada. O GripperGo Pro é otimizado especificamente para ambientes controlados, onde a coleta de alta precisão e repetibilidade é mais importante do que a mobilidade irrestrita.
O que está incluído no sistema?
O pacote padrão GripperGo Pro inclui:
- Dois dispositivos de coleta de dados GripperGo Pro
- Uma plataforma de processamento DataCube para o lado da borda
- Um sistema de estação base Vive
A configuração com dois dispositivos suporta a coleta de dados bimanual como padrão. O conjunto opcional de sensores táteis de 21 pontos pode ser selecionado separadamente quando forem necessárias informações sobre contato e distribuição de pressão.
Construindo conjuntos de dados de demonstração humana mais consistentes
O lançamento do GripperGo Pro oferece às equipes de IA incorporada e robótica uma maneira mais integrada de capturar dados de manipulação humana de alta precisão.
Ao combinar o posicionamento Vive com precisão de 1 mm, a sincronização multimodal de 1 ms, a coleta baseada em garras bimanual, a visão binocular e grande angular, uma IMU de 200 Hz, o processamento DataCube edge-side e a exportação no formato LeRobot, o sistema conecta a captura de demonstrações humanas com fluxos de trabalho subsequentes de aprendizado do robô.
Seu principal valor reside não na coleta individual de mais fluxos de dados, mas em ajudar esses fluxos a permanecerem espacialmente precisos, temporalmente alinhados, inspecionáveis e mais fáceis de organizar.
Para equipes de pesquisa que desenvolvem políticas de manipulação, modelos de aprendizado por imitação, robôs bimanual ou conjuntos de dados de IA incorporada, o GripperGo Pro oferece uma plataforma prática para transformar operações humanas em dados de treinamento estruturados e repetíveis.
