Foxtech proporciona soluciones de drones industriales & Sistemas de carga útil de UAV.
Presentamos GripperGo Pro: un sistema de recopilación de datos humanos de alta precisión para IA integrada y aprendizaje robótico.
Los datos de demostración humana de alta calidad se están convirtiendo en un fundamento esencial para la investigación en IA encarnada, aprendizaje por imitación y manipulación robótica. Sin embargo, grabar a una persona realizando una tarea es solo el comienzo. Los equipos de investigación también necesitan información precisa y alineada sobre el movimiento de la mano, el estado de la pinza, el contexto visual, la profundidad, el movimiento y las trayectorias espaciales.
Cuando estos flujos de datos se capturan con dispositivos independientes, las diferencias en la sincronización, los sistemas de coordenadas y la calidad de los datos pueden dificultar el uso del conjunto de datos resultante. Los problemas pueden manifestarse solo después de que la recopilación haya finalizado, lo que conlleva demostraciones repetidas y trabajo adicional de posprocesamiento.
Para abordar estos desafíos, Foxtech presenta GripperGo Pro , un sistema profesional de recopilación de datos humanos diseñado para la captura de operaciones de alta precisión mediante pinzas. Al combinar el posicionamiento de la estación base Vive, la sincronización multimodal a nivel de milisegundos, los dispositivos de recopilación bimanuales y el procesamiento en el borde de DataCube, el sistema ayuda a los equipos de investigación a crear conjuntos de datos más estructurados y consistentes para el aprendizaje robótico.
¿Qué problema resuelve GripperGo Pro?
Los robots deben aprender algo más que el resultado final de una operación. Necesitan datos que describan cómo se realizó la tarea.
Para una tarea de agarre o manipulación, los investigadores pueden necesitar capturar:
- Lo que vio el operador
- Cómo se movieron ambas manos a través del espacio
- Cuando las pinzas se abrían o cerraban
- Cómo estaban orientados los dispositivos
- Con qué rapidez se produjo cada movimiento
- Cómo las pinzas se acercaron y manipularon el objeto
- Si el contacto o la presión cambiaron durante el agarre
El vídeo convencional no puede proporcionar toda esta información. Además, la creación de un sistema de recopilación personalizado con múltiples cámaras, sensores de movimiento, dispositivos de seguimiento y ordenadores de procesamiento puede generar dificultades de sincronización y calibración.
GripperGo Pro integra estas funciones en un flujo de trabajo de recopilación de datos integrado. Registra el funcionamiento de la pinza junto con datos visuales, de profundidad, de movimiento, de trayectoria y de manipulación, lo que ayuda a los equipos a convertir las demostraciones humanas en conjuntos de datos estructurados adecuados para los flujos de trabajo de aprendizaje robótico posteriores.
¿Por qué es importante el posicionamiento espacial de alta precisión?
Pequeñas diferencias en la posición de la mano pueden afectar significativamente una tarea de manipulación.
Cuando una persona toma un objeto pequeño, inserta un componente, usa una herramienta o coordina ambas manos, la trayectoria espacial de cada movimiento se incorpora a los datos de entrenamiento. Si el sistema de seguimiento presenta una desviación o inconsistencia excesivas, la demostración grabada podría no representar con precisión la operación original.
GripperGo Pro utiliza un sistema de posicionamiento de estación base Vive para proporcionar una precisión de posicionamiento espacial de 1 mm dentro de un entorno de recolección estandarizado.
Este método de posicionamiento es especialmente útil para tareas que requieren:
- Demostraciones humanas repetibles
- Trayectorias bimanuales precisas
- Coordenadas espaciales consistentes
- Análisis detallado de agarre y manipulación
- Recopilación de datos estandarizada entre múltiples operadores.
- Comparación entre secuencias de tareas repetidas
En lugar de centrarse en la portabilidad sin restricciones y sin necesidad de una estación base, GripperGo Pro está diseñado para la recolección de alta precisión en entornos controlados como laboratorios, centros de investigación universitarios, salas de recolección estandarizadas y espacios de capacitación industrial.
¿Cómo mejora la calidad del conjunto de datos la sincronización con 1 ms?
Un conjunto de datos para el aprendizaje robótico puede incluir imágenes, información relacionada con la profundidad, mediciones de la IMU, distancia de apertura de la pinza y trayectorias espaciales. Incluso cuando cada sensor funciona correctamente, los datos pueden resultar difíciles de utilizar si las secuencias no están sincronizadas con precisión.
Por ejemplo, una imagen puede mostrar la pinza tocando un objeto, mientras que la trayectoria o la distancia de apertura correspondientes representan un momento ligeramente anterior. Cuando estas diferencias de tiempo se acumulan en un conjunto de datos, pueden reducir la consistencia de las muestras de entrenamiento.
GripperGo Pro admite la sincronización de hardware multimodal de 1 ms , lo que ayuda a alinear los datos visuales, de movimiento y de manipulación a lo largo de una línea de tiempo compartida.
Esta sincronización permite a los investigadores estudiar cada acción como un evento coordinado. La posición de la pinza, su estado de apertura, su orientación y la información visual correspondiente se pueden correlacionar con mayor precisión, lo que proporciona una base más sólida para el aprendizaje por imitación y el entrenamiento en manipulación robótica.
¿Qué datos puede recopilar GripperGo Pro?
GripperGo Pro está diseñado para capturar múltiples tipos de datos de operación humana durante tareas de agarre y manipulación.
El sistema puede recopilar:
- Datos de vídeo
- Información relacionada con la profundidad
- Trayectorias de movimiento tridimensionales
- Distancia de apertura de la pinza
- ángulos de actitud de la IMU
- aceleración de la IMU
- Velocidad angular de la IMU
- Datos táctiles y de distribución de presión opcionales
Los dispositivos de recolección incorporan visión binocular y captura visual de gran angular para registrar el entorno de la tarea y la relación entre las pinzas y los objetos circundantes.
A La unidad de medición inercial (IMU) de 200 Hz registra información de movimiento de alta frecuencia, mientras que los 128 GB de almacenamiento interno permiten la grabación local de datos durante las sesiones de recopilación.
Al combinar estos tipos de datos, GripperGo Pro ofrece más que un simple registro visual. Describe cómo se desarrolla la operación a lo largo del tiempo y cómo las pinzas se mueven e interactúan con los objetos durante toda la tarea.
¿Cómo ayudan las pinzas a realizar demostraciones humanas naturales?
El sistema utiliza un par de pinzas de recogida operadas por humanos, lo que permite al operador demostrar directamente las tareas de manipulación.
Cada pinza ofrece un rango de apertura de 0 a 100 mm y una fuerza de agarre de hasta 20 N , lo que permite realizar demostraciones comunes de agarre, manipulación, clasificación y colocación de objetos.
El uso de dos pinzas también permite recopilar datos de operaciones bimanuales. Esto es importante porque muchas tareas reales no se pueden completar eficazmente con una sola mano. Una mano puede estabilizar un objeto mientras la otra lo ajusta, o ambas manos pueden necesitar coordinarse durante el levantamiento, el ensamblaje, el embalaje y el uso de herramientas.
Las posibles demostraciones incluyen:
- Recoger y colocar objetos
- Ordenar los elementos por tipo o posición.
- Apertura de contenedores
- Herramientas de manipulación
- Transferir objetos de una mano a otra
- Estabilizar y manipular un objeto simultáneamente
- Completar tareas bimanuales de varios pasos
- Demostración de los procedimientos básicos de ensamblaje
El objetivo no es adaptar los movimientos humanos a la estructura exacta de un brazo robótico. En cambio, el sistema registra las acciones del operador como datos estructurados que posteriormente pueden utilizarse para la investigación en aprendizaje robótico y el desarrollo de conjuntos de datos.
¿Qué papel desempeña DataCube en el flujo de trabajo?
La recopilación de datos solo resulta útil cuando los operadores pueden confirmar que la información registrada es completa y utilizable.
GripperGo Pro incluye la plataforma de procesamiento en el borde DataCube , que admite la adquisición, sincronización, reproducción, inspección y preprocesamiento de datos. Proporciona a los investigadores una forma más integrada de gestionar el proceso de recopilación sin depender completamente de la inspección posterior fuera de línea.
Durante o después de una sesión de recolección, los equipos pueden revisar los datos registrados y comprobar si se capturaron correctamente las señales de los sensores. Esto ayuda a identificar muestras incompletas, anómalas o problemáticas en una etapa temprana del proceso.
La inspección de calidad en el borde de la muestra es especialmente valiosa para proyectos que implican muchas demostraciones repetidas. Detectar un problema de inmediato puede permitir al operario repetir únicamente la tarea afectada. Descubrir el mismo problema después de toda una campaña de recolección podría requerir mucho más trabajo.
¿Cómo reduce la inspección de los bordes la necesidad de realizar recogidas repetidas?
La recopilación de datos humanos puede requerir cientos o miles de demostraciones. Incluso una pequeña tasa de fallos puede generar una cantidad significativa de datos inutilizables.
Los posibles problemas pueden incluir:
- Secuencias de tareas incompletas
- Datos de seguimiento anómalos
- Falta información del sensor
- Cobertura visual deficiente
- Funcionamiento incorrecto de la pinza
- Datos multimodales desalineados
- Grabaciones interrumpidas
GripperGo Pro ayuda a los operadores a inspeccionar y marcar los datos problemáticos en el extremo de la red. Esto permite a los equipos de recopilación realizar una verificación de calidad inicial antes de transferir el conjunto de datos a un proceso de entrenamiento o procesamiento más amplio.
El sistema no elimina la necesidad de validación de conjuntos de datos, anotaciones o preprocesamiento específico del modelo. Sin embargo, una inspección temprana puede ayudar a los equipos a reducir la necesidad de recordar información innecesaria y a organizar sus datos de manera más eficiente.
¿Por qué es valiosa la detección táctil opcional?
La posición y la visión pueden mostrar dónde se encuentra una pinza, pero no describen completamente cómo entra en contacto con un objeto.
En investigaciones sobre la estabilidad del agarre, objetos frágiles, materiales deformables o manipulación con contacto frecuente, la distribución de la presión puede proporcionar información adicional importante. Puede ayudar a los investigadores a comprender cuándo comienza el contacto, cómo cambia el agarre y cómo se distribuye la fuerza sobre la superficie de sujeción.
El GripperGo Pro puede equiparse con una matriz opcional de 21 sensores táctiles para capturar información sobre el contacto y la distribución de la presión durante el agarre.
La matriz táctil no viene incluida de serie. Los equipos pueden seleccionarla cuando sus proyectos requieran información de contacto más detallada, mientras que los proyectos centrados principalmente en la visión, las trayectorias, el movimiento y el estado de la pinza pueden usar la configuración estándar.
¿Cómo conecta GripperGo Pro la recopilación de datos con el aprendizaje robótico?
Un conjunto de datos debe, en última instancia, pasar del sistema de recopilación a un entorno de aprendizaje robótico.
Actualmente, GripperGo Pro admite la exportación de datos en formato LeRobot , lo que ayuda a los equipos a organizar las demostraciones capturadas para los flujos de trabajo de aprendizaje robótico posteriores. Esto puede reducir el esfuerzo necesario para convertir los resultados de la recopilación de datos en bruto a una estructura estandarizada antes de su posterior procesamiento.
Los datos exportados aún podrían requerir filtrado, anotación, normalización o adaptación según el modelo y la plataforma robótica del equipo de investigación. No obstante, la exportación estructurada proporciona una conexión más clara entre la captura de demostraciones humanas y el posterior desarrollo del modelo.
Un flujo de trabajo típico puede incluir:
- Configurar las estaciones base de Vive en el área de recolección.
- Preparando los dos dispositivos de recogida GripperGo Pro.
- Conectando y comprobando la plataforma DataCube.
- Calibración del entorno de recolección.
- Definir la tarea requerida y el procedimiento de demostración.
- Registro de datos visuales, espaciales, de movimiento y de funcionamiento de la pinza.
- Revisión y marcado de muestras problemáticas mediante inspección de cantos.
- Preprocesamiento y organización de los datos recopilados.
- Exportando el conjunto de datos en formato LeRobot.
- Adaptación de los datos para el proceso de aprendizaje robótico seleccionado.
Este flujo de trabajo integrado ayuda a los equipos de investigación a pasar de demostraciones individuales en humanos a la producción de conjuntos de datos repetibles.
¿Para qué aplicaciones es adecuado GripperGo Pro?
GripperGo Pro está diseñado para la captura de movimientos humanos de alta precisión en entornos estandarizados.
Entre las posibles aplicaciones se incluyen:
Recopilación de datos de IA incorporada
El sistema puede registrar las interacciones humanas con objetos y espacios de trabajo, proporcionando demostraciones multimodales para la investigación de la inteligencia encarnada.
Aprendizaje por imitación
Los investigadores pueden recopilar ejemplos que muestren cómo una persona completa una tarea y utilizar los datos estructurados para apoyar el aprendizaje mediante demostración.
Entrenamiento en manipulación robótica
Las trayectorias de las pinzas, la distancia de apertura, la información de movimiento, el contexto visual y los datos táctiles opcionales pueden servir de base para la investigación sobre la manipulación y el manejo de objetos.
Investigación sobre la coordinación bimanual
Los dispositivos de recolección pareados permiten a los investigadores estudiar y registrar tareas que requieren el uso coordinado de ambas manos.
Tareas que requieren destreza y mucho contacto.
Cuando se equipa con el conjunto de sensores táctiles opcional, el sistema puede proporcionar información adicional sobre el contacto y la presión para una investigación más detallada del agarre.
Desarrollo de conjuntos de datos estandarizados
Las universidades, los laboratorios y los equipos de recopilación de datos pueden utilizar el sistema para grabar demostraciones repetidas en condiciones espaciales y de procedimiento controladas.
Demostración de tarea industrial
El sistema permite registrar procedimientos estructurados de manipulación, clasificación, uso de herramientas y ensamblaje básico para la investigación en el aprendizaje de robots industriales.
¿Para quién está diseñado GripperGo Pro?
GripperGo Pro está diseñado para organizaciones que requieren datos de demostración humana precisos y repetibles, entre los que se incluyen:
- Equipos de investigación de IA encarnada
- Laboratorios de robótica
- Universidades e instituciones de formación profesional
- Investigadores del aprendizaje por imitación
- Desarrolladores de manipulación robótica
- Equipos de investigación de manipulación diestra
- Empresas emergentes de IA y robótica
- Equipos de recopilación y anotación de conjuntos de datos
- Empresas que desarrollan robots de uso general
- Instalaciones de investigación y formación industrial
Resulta especialmente adecuado para equipos que ya disponen de un espacio de recopilación definido y necesitan datos consistentes en tareas repetidas, operadores o sesiones experimentales.
¿Cuándo deberían los clientes elegir GripperGo Pro?
GripperGo Pro es la opción adecuada cuando la precisión espacial, la sincronización, la repetibilidad y la gestión de datos en el borde son las principales prioridades.
Los equipos deberían considerar el sistema Pro cuando necesiten:
- Posicionamiento espacial con precisión de 1 mm
- Captura de operaciones humanas bimanuales
- Sincronización de hardware multimodal de 1 ms
- Un entorno de recolección estandarizado y fijo
- Reproducción de datos en el borde de la red e inspección de calidad
- Soporte de preprocesamiento integrado
- Exportación de datos en formato LeRobot
- Datos táctiles y de distribución de presión opcionales
Para proyectos que requieren principalmente la recolección portátil en hogares, fábricas, supermercados, áreas al aire libre u otros entornos abiertos y no estructurados, una solución sin estación base puede ser más apropiada. GripperGo Pro está optimizado específicamente para entornos controlados donde la recolección de alta precisión y repetible es más importante que la movilidad sin restricciones.
¿Qué incluye el sistema?
El paquete estándar GripperGo Pro incluye:
- Dos dispositivos de recopilación de datos GripperGo Pro
- Una plataforma de procesamiento de borde DataCube
- Un sistema de estación base Vive
La configuración de dos dispositivos admite la recopilación de datos bimanual de forma estándar. El conjunto opcional de sensores táctiles de 21 puntos se puede seleccionar por separado cuando se requiere información sobre el contacto y la distribución de la presión.
Creación de conjuntos de datos de demostración humana más consistentes
El lanzamiento de GripperGo Pro proporciona a los equipos de robótica e inteligencia artificial integrada una forma más eficiente de capturar datos de manipulación humana de alta precisión.
Al combinar el posicionamiento Vive con una precisión de 1 mm, la sincronización multimodal de 1 ms, la recopilación de datos mediante pinzas bimanuales, la visión binocular y de gran angular, una IMU de 200 Hz, el procesamiento en el borde de DataCube y la exportación en formato LeRobot, el sistema conecta la captura de demostraciones humanas con los flujos de trabajo posteriores de aprendizaje robótico.
Su principal valor no reside en recopilar más flujos de datos individualmente, sino en ayudar a que esos flujos se mantengan espacialmente precisos, alineados temporalmente, inspeccionables y más fáciles de organizar.
Para los equipos de investigación que desarrollan políticas de manipulación, modelos de aprendizaje por imitación, robots bimanuales o conjuntos de datos de IA incorporada, GripperGo Pro ofrece una plataforma práctica para convertir las operaciones humanas en datos de entrenamiento estructurados y repetibles.
