Foxtech fornece soluções industriais de drones & Sistemas de carga útil do UAV.
Apresentando o HeadGo Ego: uma nova solução de coleta de dados acoplada à cabeça para IA incorporada e aprendizado de robôs.
Construir sistemas de IA incorporados capazes exige mais do que gravar vídeos comuns. Os pesquisadores precisam de dados estruturados e sincronizados que ajudem os robôs a entender o que uma pessoa vê, como suas mãos se movem e como uma operação se desenvolve ao longo do tempo.
Para enfrentar esse desafio, a Foxtech está lançando o HeadGo Ego , um novo dispositivo de coleta de dados humanos montado na cabeça, projetado para IA incorporada, aprendizado de robôs, aprendizado por imitação e treinamento de manipulação precisa.
Combinando captura visual em primeira pessoa, rastreamento de pontos-chave das mãos, detecção de movimento, monitoramento em tempo real e um sistema DataCube integrado em formato de mochila, o HeadGo Ego ajuda equipes de pesquisa a coletar dados sobre a operação humana em um fluxo de trabalho móvel e prático.
Que problema o HeadGo Ego resolve?
Um dos principais desafios no desenvolvimento de IA incorporada é a coleta de dados de demonstração humana suficientes e de alta qualidade.
Uma câmera convencional pode registrar o que acontece durante uma tarefa, mas o vídeo por si só pode não fornecer as informações estruturadas necessárias para o aprendizado de robôs. Os pesquisadores também podem precisar entender a posição espacial das mãos, os pontos-chave de cada mão, as trajetórias de movimento, as informações de profundidade e o momento exato de cada ação.
A coleta desses fluxos de dados com dispositivos separados pode criar dificuldades adicionais. O equipamento pode restringir os movimentos do operador, exigir configurações repetidas ou dificultar o alinhamento de diferentes fontes de dados.
O HeadGo Ego foi projetado para simplificar esse processo, coletando dados de operação em primeira pessoa diretamente da perspectiva do operador. Ele combina informações visuais com a posição da mão, coordenadas espaciais, profundidade, registros de data e hora e trajetórias de movimento, fornecendo uma base de dados mais rica para o treinamento de IA incorporada.
Por que os dados em primeira pessoa são importantes para o aprendizado de robôs?
Os robôs precisam aprender não apenas a aparência de uma tarefa concluída, mas também como uma pessoa a executa.
Durante atividades como pegar um objeto, organizar itens, operar uma ferramenta ou concluir uma tarefa de manipulação em várias etapas, o ponto de vista do operador contém informações contextuais valiosas. Ele mostra quais objetos estão visíveis, como as mãos se aproximam deles e como o ambiente ao redor muda ao longo da operação.
Como o HeadGo Ego é usado na cabeça, as câmeras acompanham a direção natural do olhar do operador. Isso permite que o sistema grave a tarefa a partir de uma perspectiva intimamente ligada à atenção e às ações do operador.
Os dados em primeira pessoa resultantes podem apoiar pesquisas sobre:
- IA Incorporada
- Aprendizado de robôs
- Aprendizagem por imitação
- análise de operação humana em primeira pessoa
- Manipulação hábil
- Desenvolvimento de conjunto de dados de demonstração humana
Que dados o sistema pode coletar?
O HeadGo Ego vai além da gravação visual padrão, produzindo múltiplos tipos de dados relacionados à operação.
O sistema consegue capturar 21 pontos-chave da mão , juntamente com a pose da mão, coordenadas espaciais, profundidade, registros de data e hora e trajetórias de movimento. Esses dados ajudam a descrever onde as mãos do operador estão localizadas e como elas se movem durante uma tarefa.
Para as equipes de pesquisa, isso possibilita estudar uma operação como uma sequência de movimentos estruturados, em vez de apenas como um videoclipe. As informações podem ser usadas para construir conjuntos de dados para treinamento e avaliação de modelos de aprendizado de robôs.
O sistema está equipado com três câmeras:
- Duas câmeras binoculares
- Uma câmera RGB
Essa configuração suporta a aquisição de dados visuais RGB e de profundidade. Uma IMU de 9 eixos fornece sensores adicionais relacionados ao movimento, ajudando a capturar como o operador se move enquanto realiza a tarefa.
Como o amplo campo de visão melhora a coleta de dados?
A manipulação humana nem sempre ocorre diretamente no centro da imagem da câmera. O operador pode estender a mão em direção a objetos em ambos os lados, olhar para uma superfície de trabalho ou se mover entre diferentes partes do ambiente.
O HeadGo Ego oferece um campo de visão de:
- diagonal de 150°
- 128° horizontal
- 80° vertical
Este amplo campo de visão ajuda a capturar uma área maior do espaço de trabalho do operador e reduz a probabilidade de que movimentos importantes das mãos ou objetos próximos fiquem fora da área gravada.
Para tarefas que envolvem manipulação com as duas mãos, grandes superfícies de trabalho ou mudanças frequentes na direção do olhar, uma visão em primeira pessoa mais ampla pode fornecer um contexto visual mais completo para o processamento de dados subsequente e o treinamento do modelo.
Como o HeadGo Ego apoia as demonstrações humanas naturais?
Os dados de demonstração humana são mais úteis quando o operador consegue executar as tarefas de forma natural.
Como o principal dispositivo de detecção é usado na cabeça e os componentes de processamento e energia estão integrados em um sistema tipo mochila, o operador pode se movimentar pelo ambiente sem ficar restrito a uma estação de gravação fixa.
Essa configuração móvel é adequada para coletar dados em diferentes espaços de trabalho e ambientes operacionais do dia a dia. Os pesquisadores podem demonstrar tarefas usando as próprias mãos enquanto o sistema registra o ponto de vista do operador, os movimentos das mãos e informações relacionadas ao movimento.
A mochila integra a unidade de processamento principal e a fonte de alimentação. Ela também incorpora uma estrutura resistente a impactos e um design de ventilação ativa para suportar a coleta de dados em movimento.
Como os operadores podem monitorar o processo de coleta?
Um problema comum durante a coleta de dados é descobrir tarde demais que uma gravação estava incompleta, o armazenamento era insuficiente ou parte do sistema não estava funcionando corretamente.
O HeadGo Ego resolve esse problema com uma tela de controle principal que fornece monitoramento do sistema em tempo real. Os operadores podem verificar:
- Vídeo ao vivo
- Temperatura do dispositivo
- Uso de CPU e memória
- Espaço de armazenamento disponível
- Taxa de quadros
- Saúde do dispositivo
- Progresso da coleta de dados
Essa visibilidade ajuda o operador a identificar possíveis problemas durante a gravação da tarefa. Isso pode reduzir o risco de concluir uma demonstração longa apenas para descobrir que dados importantes estão faltando ou inutilizáveis.
O monitoramento em tempo real é especialmente valioso quando as equipes de pesquisa precisam coletar muitas demonstrações envolvendo vários operadores, tarefas ou ambientes.
Como o sistema reduz o tempo de configuração?
A configuração repetida da rede pode tornar a coleta de dados mais lenta, especialmente ao se deslocar entre locais ou ao trocar de rede.
O HeadGo Ego suporta configuração Wi-Fi baseada em código QR. O operador pode escanear um código QR usando a câmera do Ego para configurar a conexão de rede, reduzindo a necessidade de configurações manuais demoradas.
Essa funcionalidade pode ser útil para equipes que coletam dados em diferentes laboratórios, espaços de trabalho ou ambientes de campo. Uma configuração de rede mais rápida ajuda os pesquisadores a dedicarem mais tempo à gravação de demonstrações e menos tempo à preparação de equipamentos.
O HeadGo Ego pode ser usado de forma independente?
Sim. O HeadGo Ego pode funcionar como um sistema independente de coleta de dados humanos em primeira pessoa.
Quando usado de forma independente, ele pode coletar informações visuais, dados de pose da mão, 21 pontos-chave da mão, coordenadas espaciais, profundidade, registros de data e hora e trajetórias de movimento. Isso o torna adequado para projetos focados em visão egocêntrica, análise da operação humana, aprendizado por imitação e desenvolvimento de conjuntos de dados de IA incorporada.
O sistema padrão inclui:
- Um dispositivo de coleta de dados montado na cabeça HeadGo Ego
- Um sistema de processamento de dados DataCube para mochila
Pode funcionar com outros dispositivos de coleta de dados humanos?
O HeadGo Ego também pode ser usado em conjunto com o GripperGo Pro .
Em um fluxo de trabalho combinado, o HeadGo Ego pode complementar o conjunto de dados com informações visuais em primeira pessoa, pose da mão, dados de pontos-chave e informações operacionais globais. Isso permite que as equipes de pesquisa capturem demonstrações humanas a partir de múltiplas perspectivas complementares.
A escolha entre usar o HeadGo Ego de forma independente ou integrá-lo ao GripperGo Pro depende dos requisitos de dados do projeto. Equipes que precisam principalmente de coleta de dados em primeira pessoa em dispositivos móveis podem usar o HeadGo Ego sozinho, enquanto projetos que requerem um conjunto de dados mais abrangente sobre a operação humana podem considerar uma configuração combinada.
Que tipos de tarefas podem ser gravadas?
O HeadGo Ego foi projetado para capturar a interação humana em primeira pessoa. Ele pode ser usado para gravar demonstrações em que o operador interage naturalmente com objetos e com o ambiente ao redor.
As possíveis tarefas de pesquisa incluem:
- Seleção e posicionamento de objetos
- Classificação e organização
- Manipulação com as duas mãos
- Demonstrações de uso de ferramentas
- Gravação de operação em várias etapas
- Análise da trajetória da mão humana
- Conjunto de dados de manipulação hábil
- Demonstrações de tarefas cotidianas para aprendizagem por imitação
O projeto específico da tarefa e a estrutura do conjunto de dados podem ser determinados de acordo com a plataforma robótica da equipe de pesquisa, a estrutura de aprendizado e os objetivos de treinamento.
Para quem o HeadGo Ego foi projetado?
O HeadGo Ego destina-se principalmente a organizações que desenvolvem inteligência incorporada e sistemas de aprendizagem robótica, incluindo:
- Universidades e laboratórios de robótica
- Equipes de pesquisa em IA incorporada
- Pesquisadores de aprendizagem robótica e aprendizagem por imitação
- desenvolvedores de manipulação hábil
- Startups de IA e robótica
- Equipes de coleta de conjuntos de dados
- Empresas que desenvolvem sistemas robóticos de uso geral
Pode ser particularmente útil para equipes que precisam coletar demonstrações humanas em primeira pessoa em várias tarefas ou ambientes, sem precisar construir um sistema de captura fixo e complexo para cada projeto.
Como o HeadGo Ego pode melhorar o fluxo de trabalho de coleta de dados?
O HeadGo Ego integra sensoriamento, processamento, monitoramento e implantação móvel em um sistema mais completo.
Em vez de montar câmeras separadas, dispositivos de rastreamento de mãos, sensores de movimento, hardware de processamento e fontes de alimentação para cada sessão de coleta de dados, as equipes podem trabalhar com uma configuração unificada, montada na cabeça e em uma mochila.
Um fluxo de trabalho típico pode incluir:
- Preparando o sistema HeadGo Ego e DataCube.
- Conectar-se à rede Wi-Fi necessária através da leitura do código QR.
- Verificação de vídeo, armazenamento, taxa de quadros e status do dispositivo na tela de monitoramento.
- Iniciando a tarefa de demonstração humana.
- Coleta de dados visuais em primeira pessoa, pontos-chave das mãos, profundidade, registro de data e hora e trajetória.
- Monitoramento do progresso da coleta em tempo real.
- Organizar os dados coletados para posterior aprendizado do robô e desenvolvimento de modelos.
Essa abordagem ajuda a tornar a coleta de demonstrações humanas mais repetível e gerenciável, especialmente quando um projeto exige um grande número de amostras de tarefas.
Uma forma mais prática de construir conjuntos de dados de demonstração humana
O lançamento do HeadGo Ego oferece aos desenvolvedores de IA incorporada uma nova opção para coletar dados estruturados em primeira pessoa sobre a operação humana.
Combinando visão binocular e RGB, 21 pontos-chave da mão, informações de pose espacial, dados relacionados à profundidade, uma IMU de 9 eixos, monitoramento em tempo real e uma mochila DataCube móvel, o sistema foi projetado para ajudar os pesquisadores a capturar não apenas o que o operador vê, mas também como a operação é realizada.
Seja usado de forma independente ou em conjunto com o GripperGo Pro, o HeadGo Ego pode auxiliar no desenvolvimento de conjuntos de dados mais ricos para pesquisas sobre aprendizado de robôs, aprendizado por imitação e manipulação de precisão.
