GripperGo Pro를 소개합니다: 체화된 AI 및 로봇 학습을 위한 고정밀 인체 데이터 수집 시스템
고품질의 인체 동작 시연 데이터는 인공지능 기반 학습, 모방 학습, 로봇 조작 연구에 필수적인 기반이 되고 있습니다. 하지만 사람이 작업을 수행하는 모습을 녹화하는 것만으로는 충분하지 않습니다. 연구팀은 손 움직임, 그리퍼 상태, 시각적 맥락, 깊이, 동작, 공간 궤적에 대한 정확하고 정렬된 정보도 필요로 합니다.
이러한 데이터 스트림을 서로 다른 장치로 수집할 경우, 타이밍, 좌표계 및 데이터 품질의 차이로 인해 결과 데이터 세트를 사용하기 어려울 수 있습니다. 문제는 데이터 수집이 완료된 후에야 드러나는 경우가 많아 반복적인 시연과 추가적인 후처리 작업이 발생할 수 있습니다.
이러한 과제를 해결하기 위해 Foxtech은 고정밀 그리퍼 기반 동작 캡처를 위해 설계된 전문가용 인체 데이터 수집 시스템인 GripperGo Pro를 출시합니다. Vive 베이스 스테이션 위치 지정, 밀리초 수준의 멀티모달 동기화, 양손 데이터 수집 장치 및 DataCube 엣지 측 처리를 결합한 이 시스템은 연구팀이 로봇 학습을 위한 보다 구조화되고 일관된 데이터 세트를 구축하는 데 도움을 줍니다.
GripperGo Pro는 어떤 문제를 해결하나요?
로봇은 작업의 최종 결과뿐만 아니라 작업이 어떻게 수행되었는지에 대한 데이터도 학습해야 합니다.
물체를 잡거나 조작하는 작업을 위해 연구자들은 다음과 같은 것들을 포착해야 할 수 있습니다:
- 운영자가 본 것
- 두 손이 공간을 어떻게 움직였는가
- 그리퍼가 열리거나 닫힐 때
- 기기의 방향은 어떻게 정해졌는가
- 각 동작이 얼마나 빨리 일어났는지
- 집게가 물체에 접근하고 다루는 방식
- 잡는 동안 접촉이나 압력이 변했는지 여부
일반 비디오로는 이러한 모든 정보를 제공할 수 없습니다. 여러 대의 카메라, 모션 센서, 추적 장치 및 처리 컴퓨터를 사용하여 맞춤형 데이터 수집 시스템을 구축하는 경우 동기화 및 보정에 어려움이 발생할 수 있습니다.
GripperGo Pro는 이러한 기능들을 통합된 데이터 수집 워크플로우로 제공합니다. 그리퍼 작동 데이터와 시각 정보, 깊이 정보, 동작, 궤적, 조작 데이터를 함께 기록하여, 팀이 사람의 시연을 후속 로봇 학습 워크플로우에 적합한 구조화된 데이터 세트로 변환할 수 있도록 지원합니다.
고정밀 공간 위치 파악이 중요한 이유는 무엇일까요?
손 위치의 미세한 차이도 조작 작업에 상당한 영향을 미칠 수 있습니다.
사람이 작은 물체를 집거나, 부품을 삽입하거나, 도구를 사용하거나, 양손을 동시에 움직일 때, 각 움직임의 공간 궤적이 학습 데이터의 일부가 됩니다. 추적 시스템에 과도한 오차나 불일치가 발생하면, 녹화된 시뮬레이션 결과가 실제 동작을 정확하게 나타내지 못할 수 있습니다.
GripperGo Pro는 Vive 베이스 스테이션 위치 지정 시스템을 사용하여 표준화된 데이터 수집 환경 내에서 1mm 수준의 공간 위치 정확도를 제공합니다.
이 위치 지정 방법은 다음과 같은 작업에 특히 유용합니다.
- 반복 가능한 인간 시연
- 정확한 양손 궤적
- 일관된 공간 좌표
- 상세한 파악 및 조작 분석
- 여러 사업자를 아우르는 표준화된 데이터 수집
- 반복된 작업 순서 간의 비교
그리퍼고 프로는 기지국 없이 제약 없이 휴대할 수 있는 기능에 초점을 맞추기보다는 실험실, 대학 연구 시설, 표준화된 채집실, 산업 현장 교육 공간과 같은 통제된 환경에서 고정밀 채집을 위해 설계되었습니다.
1ms 동기화는 데이터셋 품질을 어떻게 향상시키나요?
로봇 학습 데이터 세트에는 이미지, 깊이 관련 정보, IMU 측정값, 그리퍼 개방 거리 및 공간 궤적 등이 포함될 수 있습니다. 각 센서가 올바르게 작동하더라도 데이터 스트림이 정확하게 동기화되지 않으면 데이터 사용이 어려워질 수 있습니다.
예를 들어, 이미지에서는 그리퍼가 물체를 만지는 모습이 나타나지만, 해당 궤적이나 개방 거리 데이터는 그보다 약간 더 이른 시점을 나타낼 수 있습니다. 이러한 시간 차이가 데이터 세트 전체에 누적되면 학습 샘플의 일관성이 저하될 수 있습니다.
GripperGo Pro는 1ms의 멀티모달 하드웨어 동기화를 지원하여 시각, 동작 및 조작 데이터를 공유 타임라인에 따라 정렬하는 데 도움을 줍니다.
이러한 동기화를 통해 연구자들은 각 동작을 조정된 이벤트로 연구할 수 있습니다. 그리퍼의 위치, 열림 상태, 방향 및 해당 시각 정보를 더욱 정확하게 일치시킬 수 있어 모방 학습 및 로봇 조작 훈련을 위한 더 나은 기반을 제공합니다.
GripperGo Pro는 어떤 데이터를 수집할 수 있나요?
GripperGo Pro는 파지 및 조작 작업 중 다양한 형태의 인간 조작 데이터를 수집하도록 설계되었습니다.
이 시스템은 다음 정보를 수집할 수 있습니다:
- 비디오 데이터
- 깊이 관련 정보
- 3차원 운동 궤적
- 그리퍼 개방 거리
- IMU 자세각
- IMU 가속도
- IMU 각속도
- 촉각 및 압력 분포 데이터 (선택 사항)
수집 장치는 양안시와 광각 시각 포착 기능을 통합하여 작업 환경과 그리퍼와 주변 물체 간의 관계를 기록합니다.
A 200Hz IMU는 고주파 동작 정보를 기록하고, 128GB의 내장 스토리지는 데이터 수집 세션 동안 로컬 데이터 기록을 지원합니다.
GripperGo Pro는 이러한 데이터 유형을 결합하여 단순한 시각적 기록 이상의 정보를 제공합니다. 작업이 시간에 따라 어떻게 진행되는지, 그리고 작업 전반에 걸쳐 그리퍼가 어떻게 움직이고 물체와 상호 작용하는지를 설명합니다.
그리퍼는 어떻게 자연스러운 인체 시연을 지원합니까?
이 시스템은 사람이 조작하는 한 쌍의 집게를 사용하여 작업자가 조작 작업을 직접 시연할 수 있도록 합니다.
각 그리퍼는 0~100mm의 개방 범위 와 최대 20N의 파지력을 제공하여 일반적인 물체 파지, 취급, 분류 및 배치 시연을 지원합니다.
두 개의 그리퍼를 사용하면 양손 조작 데이터를 수집할 수 있습니다. 이는 실제 작업 중 상당수가 한 손만으로는 효율적으로 완료할 수 없기 때문에 중요합니다. 한 손으로 물체를 고정하는 동안 다른 손으로 조정하거나, 들어올리기, 조립, 포장 및 도구 사용 시 양손의 협응이 필요할 수 있습니다.
잠재적인 시연 사례는 다음과 같습니다.
- 물건 집고 놓기
- 종류 또는 위치별로 항목 정렬
- 용기 열기
- 도구 취급
- 손 사이에서 물건을 옮기기
- 물체를 안정화하고 동시에 조작하기
- 여러 단계를 거치는 양손 작업 완료
- 기본 조립 절차 시연
목표는 인간의 움직임을 로봇 팔의 정확한 구조에 맞추는 것이 아닙니다. 오히려 시스템은 작업자의 동작을 구조화된 데이터로 기록하여 향후 로봇 학습 연구 및 데이터 세트 개발에 활용할 수 있도록 합니다.
DataCube는 워크플로우에서 어떤 역할을 하나요?
데이터 수집은 기록된 정보가 완전하고 사용 가능한지 운영자가 확인할 수 있을 때만 유용합니다.
GripperGo Pro에는 데이터 수집, 동기화, 재생, 검사 및 전처리를 지원하는 DataCube 엣지 사이드 처리 플랫폼이 포함되어 있습니다. 이를 통해 연구원들은 나중에 오프라인 검사에 전적으로 의존하지 않고 데이터 수집 프로세스를 보다 통합적으로 관리할 수 있습니다.
수집 과정 중 또는 후에 팀은 기록된 데이터를 검토하고 필요한 센서 스트림이 올바르게 캡처되었는지 확인할 수 있습니다. 이를 통해 불완전하거나 비정상적이거나 문제가 있는 샘플을 워크플로 초기에 식별할 수 있습니다.
측면 품질 검사는 반복적인 시연이 많은 프로젝트에서 특히 유용합니다. 문제를 즉시 발견하면 작업자는 영향을 받는 작업만 다시 수행할 수 있습니다. 전체 데이터 수집 캠페인 후에 동일한 문제를 발견하면 훨씬 더 많은 재작업이 필요할 수 있습니다.
측면 검사는 어떻게 재채취를 줄입니까?
인간 데이터 수집에는 수백 또는 수천 번의 시연이 필요할 수 있습니다. 작은 실패율이라도 상당한 양의 활용 불가능한 데이터를 발생시킬 수 있습니다.
잠재적인 문제점은 다음과 같습니다.
- 불완전한 작업 순서
- 비정상적인 추적 데이터
- 센서 정보 누락
- 시각적 범위가 부족함
- 그리퍼 작동 오류
- 정렬되지 않은 멀티모달 데이터
- 녹음 중단
GripperGo Pro는 작업자가 엣지 측에서 문제가 있는 데이터를 검사하고 표시할 수 있도록 지원합니다. 이를 통해 데이터 수집 팀은 데이터 세트를 더 큰 학습 또는 처리 파이프라인으로 전송하기 전에 초기 품질 검사를 수행할 수 있습니다.
이 시스템은 데이터셋 유효성 검사, 주석 달기 또는 모델별 전처리 작업의 필요성을 완전히 없애지는 않습니다. 하지만 초기 검토를 통해 팀은 불필요한 데이터 중복 수집을 줄이고 데이터를 더욱 효율적으로 정리할 수 있습니다.
선택적 촉각 감지 기능이 유용한 이유는 무엇일까요?
위치 및 시각 정보는 그리퍼의 위치를 보여줄 수 있지만, 그리퍼가 물체와 어떻게 접촉하는지는 완전히 설명하지 못합니다.
파지 안정성, 깨지기 쉬운 물체, 변형 가능한 재료 또는 접촉이 많은 조작과 관련된 연구에서 압력 분포는 중요한 추가 정보를 제공할 수 있습니다. 이를 통해 연구자들은 접촉이 시작되는 시점, 파지 방식의 변화, 그리고 파지 표면 전체에 힘이 어떻게 분포되는지를 이해할 수 있습니다.
GripperGo Pro는 파지 동작 중 접촉 및 압력 분포 정보를 캡처하기 위한 21포인트 촉각 센서 어레이를 옵션 으로 장착할 수 있습니다.
촉각 센서 어레이는 기본 기능으로 포함되어 있지 않습니다. 프로젝트에서 보다 상세한 연락처 정보가 필요한 경우 해당 기능을 선택할 수 있으며, 주로 시각, 궤적, 동작 및 그리퍼 상태에 초점을 맞춘 프로젝트는 표준 구성을 사용할 수 있습니다.
GripperGo Pro는 데이터 수집과 로봇 학습을 어떻게 연결하나요?
데이터 세트는 궁극적으로 수집 시스템에서 로봇 학습 환경으로 이동해야 합니다.
GripperGo Pro는 현재 LeRobot 형식의 데이터 내보내기를 지원하여 팀이 캡처된 데모 데이터를 후속 로봇 학습 워크플로에 맞게 정리할 수 있도록 돕습니다. 이를 통해 원시 수집 결과를 추가 처리 전에 표준화된 구조로 변환하는 데 필요한 노력을 줄일 수 있습니다.
내보낸 데이터는 연구팀의 모델 및 로봇 플랫폼에 따라 필터링, 주석 추가, 정규화 또는 조정이 필요할 수 있습니다. 그럼에도 불구하고, 구조화된 내보내기는 인간의 시연 캡처와 후속 모델 개발 간의 더 명확한 연결 고리를 제공합니다.
일반적인 워크플로는 다음과 같습니다.
- 수집 구역에 Vive 베이스 스테이션을 설치하고 있습니다.
- GripperGo Pro 수집 장치 두 대를 준비합니다.
- DataCube 플랫폼 연결 및 확인.
- 수집 환경 보정.
- 필요한 과제 및 시연 절차를 정의합니다.
- 시각, 공간, 동작 및 그리퍼 작동 데이터를 기록합니다.
- 측면 검사를 통해 문제가 있는 샘플을 검토하고 표시합니다.
- 수집된 데이터의 전처리 및 정리.
- LeRobot 형식으로 데이터셋을 내보냅니다.
- 선택한 로봇 학습 파이프라인에 맞게 데이터를 조정합니다.
이 통합 워크플로는 연구팀이 개별적인 인체 실험에서 반복 가능한 데이터 세트 생산으로 나아가는 데 도움을 줍니다.
GripperGo Pro는 어떤 용도에 적합합니까?
GripperGo Pro는 표준화된 환경에서 사람의 동작을 매우 정밀하게 캡처하도록 설계되었습니다.
잠재적 응용 분야는 다음과 같습니다.
구현된 AI 데이터 수집
이 시스템은 인간이 사물 및 작업 공간과 상호 작용하는 방식을 기록하여, 체화된 지능 연구를 위한 다중 모드 시연을 제공할 수 있습니다.
모방 학습
연구자들은 개인이 작업을 완료하는 방식을 보여주는 사례를 수집하고, 이러한 구조화된 데이터를 활용하여 시연을 통한 학습을 지원할 수 있습니다.
로봇 조작 훈련
그리퍼의 궤적, 개방 거리, 동작 정보, 시각적 맥락, 그리고 선택적으로 촉각 데이터는 물체 취급 및 조작에 대한 연구를 지원할 수 있습니다.
양손 협응 연구
쌍으로 된 데이터 수집 장치를 통해 연구자들은 양손을 동시에 사용해야 하는 작업을 연구하고 기록할 수 있습니다.
손재주가 필요하고 접촉이 많은 작업
선택 사양인 촉각 센서 어레이를 장착하면 시스템은 보다 상세한 파지 연구를 위해 추가적인 접촉 및 압력 정보를 제공할 수 있습니다.
표준화된 데이터셋 개발
대학, 연구소 및 데이터 수집팀은 이 시스템을 사용하여 통제된 공간적 및 절차적 조건 하에서 반복적인 시연을 기록할 수 있습니다.
산업 과제 시연
이 시스템은 산업용 로봇 학습 연구를 위해 구조화된 취급, 분류, 도구 사용 및 기본 조립 절차의 기록을 지원할 수 있습니다.
GripperGo Pro는 누구를 위해 설계되었나요?
GripperGo Pro는 정확하고 반복 가능한 인체 시연 데이터가 필요한 조직을 위해 설계되었습니다. 이러한 조직에는 다음과 같은 경우가 포함됩니다.
- AI 연구팀
- 로봇공학 연구실
- 대학교 및 직업 훈련 기관
- 모방 학습 연구자들
- 로봇 조작 개발자
- 정교한 조작 연구팀
- AI 및 로봇공학 스타트업
- 데이터셋 수집 및 주석 팀
- 범용 로봇을 개발하는 회사들
- 산업 연구 및 교육 시설
이 솔루션은 이미 정의된 데이터 수집 공간을 보유하고 있으며 반복적인 작업, 운영자 또는 실험 세션 전반에 걸쳐 일관된 데이터가 필요한 팀에 특히 적합합니다.
고객은 언제 GripperGo Pro를 선택해야 할까요?
공간 정확도, 동기화, 반복성 및 가장자리 데이터 관리가 최우선 고려 사항일 때 GripperGo Pro가 적합한 선택입니다.
팀은 다음과 같은 경우에 Pro 시스템을 고려해야 합니다.
- 1mm 수준의 공간 위치 지정
- 양손을 사용하는 인간의 조작 캡처
- 1ms 멀티모달 하드웨어 동기화
- 표준화되고 고정된 수집 환경
- 엣지 측 데이터 재생 및 품질 검사
- 통합 전처리 지원
- LeRobot 형식 데이터 내보내기
- 촉각 및 압력 분포 데이터 (선택 사항)
가정, 공장, 슈퍼마켓, 야외 공간 또는 기타 개방적이고 구조화되지 않은 환경에서 주로 휴대용 수집이 필요한 프로젝트의 경우, 기지국이 필요 없는 솔루션이 더 적합할 수 있습니다. GripperGo Pro는 특히 자유로운 이동성보다 높은 정밀도와 반복 가능한 수집이 더 중요한 통제된 환경에 최적화되어 있습니다.
시스템에는 무엇이 포함되어 있습니까?
GripperGo Pro 표준 패키지에는 다음이 포함됩니다.
- GripperGo Pro 데이터 수집 장치 2개
- One DataCube 엣지 측 처리 플랫폼
- Vive 베이스 스테이션 시스템 1개
두 장치 구성은 기본적으로 양손 동시 데이터 수집을 지원합니다. 접촉 및 압력 분포 정보가 필요한 경우, 옵션으로 제공되는 21포인트 촉각 센서 어레이를 별도로 선택할 수 있습니다.
보다 일관성 있는 인간 시뮬레이션 데이터 세트 구축
GripperGo Pro의 출시로 인공지능 및 로봇 공학 팀은 고정밀 인간 조작 데이터를 수집하는 더욱 통합된 방법을 활용할 수 있게 되었습니다.
1mm 수준의 Vive 위치 지정, 1ms의 멀티모달 동기화, 양손 그리퍼 기반 데이터 수집, 양안 및 광각 시야, 200Hz IMU, DataCube 에지 사이드 처리 및 LeRobot 형식 내보내기를 결합하여, 이 시스템은 인간의 시연 캡처를 후속 로봇 학습 워크플로와 연결합니다.
그것의 주요 가치는 더 많은 데이터 스트림을 개별적으로 수집하는 데 있는 것이 아니라, 그러한 스트림들이 공간적으로 정확하고, 시간적으로 정렬되어 있으며, 검사 가능하고, 구성하기 쉬운 상태를 유지하도록 돕는 데 있습니다.
조작 정책, 모방 학습 모델, 양손 로봇 또는 체화된 AI 데이터 세트를 개발하는 연구팀에게 GripperGo Pro는 인간의 작업을 구조화되고 반복 가능한 훈련 데이터로 변환하는 실용적인 플랫폼을 제공합니다.
