HeadGo Ego를 소개합니다: 체화된 AI 및 로봇 학습을 위한 새로운 헤드 마운트형 데이터 수집 솔루션
뛰어난 인공지능 시스템을 구축하려면 일반적인 비디오 녹화 이상의 것이 필요합니다. 연구자들은 로봇이 사람이 무엇을 보고, 손을 어떻게 움직이며, 시간이 지남에 따라 작업이 어떻게 진행되는지 이해하는 데 도움이 되는 구조화되고 동기화된 데이터가 필요합니다.
이러한 문제를 해결하기 위해 Foxtech은 인공지능, 로봇 학습, 모방 학습 및 정교한 조작 훈련을 위해 설계된 새로운 머리 장착형 인체 데이터 수집 장치인 HeadGo Ego를 출시합니다.
HeadGo Ego는 1인칭 시점 영상 캡처, 손의 주요 지점 추적, 동작 감지, 실시간 모니터링 및 통합형 백팩형 데이터큐브 시스템을 결합하여 연구팀이 이동성이 뛰어나고 실용적인 워크플로우를 통해 인체 작동 데이터를 수집할 수 있도록 지원합니다.
HeadGo Ego는 어떤 문제를 해결해 줄까요?
실물 AI 개발의 주요 과제 중 하나는 충분하고 질 높은 인간 시연 데이터를 수집하는 것입니다.
일반 카메라는 작업 중에 일어나는 일을 녹화할 수 있지만, 비디오만으로는 로봇 학습에 필요한 구조화된 정보를 제공하기 어려울 수 있습니다. 연구자들은 손의 공간적 위치, 개별 손의 주요 지점, 움직임 궤적, 깊이 정보, 그리고 각 동작의 정확한 타이밍까지 파악해야 할 필요가 있습니다.
별도의 장치를 사용하여 이러한 데이터 스트림을 수집하면 추가적인 어려움이 발생할 수 있습니다. 장비가 작업자의 움직임을 제한하거나, 반복적인 구성이 필요하거나, 서로 다른 데이터 소스를 일관되게 유지하기 어렵게 만들 수 있습니다.
HeadGo Ego는 작업자의 시점에서 직접 1인칭 조작 데이터를 수집하여 이 과정을 간소화하도록 설계되었습니다. 시각 정보와 손 자세, 공간 좌표, 깊이, 타임스탬프, 동작 궤적을 결합하여 신체 기반 AI 학습을 위한 더욱 풍부한 데이터 기반을 제공합니다.
로봇 학습에 있어 1인칭 시점 데이터가 중요한 이유는 무엇일까요?
로봇은 완성된 작업의 모습뿐만 아니라 사람이 그 작업을 어떻게 수행하는지도 학습해야 합니다.
물건을 집거나, 물건을 정리하거나, 도구를 사용하거나, 여러 단계를 거치는 조작 작업을 완료하는 등의 활동을 하는 동안 작업자의 시점에는 귀중한 상황 정보가 담겨 있습니다. 어떤 물체가 보이는지, 손이 어떻게 물체에 접근하는지, 그리고 작업 과정 동안 주변 환경이 어떻게 변화하는지 등을 알 수 있습니다.
HeadGo Ego는 머리에 착용하는 방식이기 때문에 카메라가 작업자의 자연스러운 시선 방향을 따라갑니다. 따라서 이 시스템은 작업자의 주의력과 행동에 밀접하게 연결된 관점에서 작업을 기록할 수 있습니다.
이렇게 얻은 1인칭 데이터는 다음과 같은 연구를 지원할 수 있습니다.
- 구현된 AI
- 로봇 학습
- 모방 학습
- 1인칭 시점의 인간 조작 분석
- 능숙한 조작
- 인간 시뮬레이션 데이터 세트 개발
시스템은 어떤 데이터를 수집할 수 있나요?
HeadGo Ego는 표준적인 시각적 기록을 넘어 다양한 형태의 수술 관련 데이터를 생성합니다.
이 시스템은 손의 자세, 공간 좌표, 깊이, 타임스탬프 및 동작 궤적과 함께 21개의 손 주요 지점을 캡처할 수 있습니다. 이러한 데이터는 작업자의 손 위치와 작업 중 손의 움직임을 파악하는 데 도움이 됩니다.
연구팀에게 있어 이는 단순히 비디오 클립으로만 보는 것이 아니라 구조화된 움직임의 연속으로 작업을 연구할 수 있게 해줍니다. 이러한 정보는 로봇 학습 모델을 훈련하고 평가하기 위한 데이터 세트를 구축하는 데 사용될 수 있습니다.
이 시스템에는 세 대의 카메라가 장착되어 있습니다.
- 쌍안경 카메라 두 대
- RGB 카메라 1대
이 구성은 RGB 및 깊이 관련 시각 데이터 획득을 지원합니다. 9축 IMU는 추가적인 동작 감지 기능을 제공하여 작업자가 작업을 수행하는 동안의 움직임을 포착하는 데 도움을 줍니다.
넓은 시야각은 데이터 수집을 어떻게 향상시키는가?
사람의 조작은 항상 카메라 이미지의 정중앙에서 이루어지는 것은 아닙니다. 작업자는 양옆의 물체를 향해 손을 뻗거나, 작업대를 내려다보거나, 작업 환경의 여러 부분을 오갈 수 있습니다.
HeadGo Ego는 다음과 같은 시야를 제공합니다:
- 150° 대각선
- 수평 128°
- 수직 80°
이처럼 넓은 시야각은 작업자의 작업 공간을 더 많이 포착할 수 있도록 도와주며, 중요한 손동작이나 주변 물체가 녹화 영역 밖으로 벗어날 가능성을 줄여줍니다.
양손 조작, 넓은 작업대 또는 잦은 시점 변경이 필요한 작업의 경우, 더 넓은 1인칭 시점이 후속 데이터 처리 및 모델 학습을 위한 보다 완전한 시각적 맥락을 제공할 수 있습니다.
HeadGo Ego는 인간의 자연스러운 행동을 어떻게 지원합니까?
사람의 시연 데이터는 작업자가 작업을 자연스럽게 수행할 수 있을 때 가장 유용합니다.
주요 감지 장치가 머리에 착용되고 처리 및 전원 구성 요소가 배낭형 시스템에 통합되어 있기 때문에 작업자는 고정된 기록 위치에 제한받지 않고 주변 환경을 이동할 수 있습니다.
이 모바일 구성은 다양한 작업 공간과 일상적인 운영 환경에서 데이터를 수집하는 데 적합합니다. 연구원들은 자신의 손을 사용하여 작업을 시연할 수 있으며, 시스템은 작업자의 시점, 손동작 및 동작 관련 정보를 기록합니다.
이 백팩은 메인 프로세싱 유닛과 전원 공급 장치를 통합하고 있습니다. 또한 충격 방지 구조와 능동형 통풍 설계를 적용하여 모바일 데이터 수집을 지원합니다.
운영자는 수집 과정을 어떻게 모니터링할 수 있습니까?
데이터 수집 과정에서 흔히 발생하는 문제는 기록이 불완전하거나, 저장 공간이 부족하거나, 시스템의 일부가 제대로 작동하지 않는다는 사실을 너무 늦게 발견하는 것입니다.
HeadGo Ego는 실시간 시스템 모니터링을 제공하는 메인 제어 화면을 통해 이 문제를 해결합니다. 운영자는 다음을 확인할 수 있습니다.
- 라이브 비디오
- 기기 온도
- CPU 및 메모리 사용량
- 사용 가능한 저장 공간
- 프레임 속도
- 기기 상태
- 데이터 수집 진행 상황
이러한 가시성 덕분에 작업자는 작업 녹화 중에 잠재적인 문제를 파악할 수 있습니다. 이를 통해 긴 시연을 마친 후 중요한 데이터가 누락되거나 사용 불가능한 것을 발견하는 위험을 줄일 수 있습니다.
실시간 모니터링은 연구팀이 여러 작업자, 작업 또는 환경에 걸쳐 다양한 시뮬레이션 결과를 수집해야 할 때 특히 유용합니다.
이 시스템은 어떻게 설치 시간을 단축합니까?
반복적인 네트워크 설정은 데이터 수집 속도를 저하시킬 수 있으며, 특히 위치를 이동하거나 네트워크를 변경할 때 더욱 그렇습니다.
HeadGo Ego는 QR 코드 기반 Wi-Fi 설정을 지원합니다. 사용자는 Ego 카메라로 QR 코드를 스캔하여 네트워크 연결을 설정할 수 있으므로, 번거로운 수동 설정 과정을 줄일 수 있습니다.
이 기능은 여러 연구실, 작업 공간 또는 현장 환경에서 데이터를 수집하는 팀에 유용할 수 있습니다. 네트워크 구성 속도가 빨라지면 연구원들은 장비 준비에 소요되는 시간을 줄이고 시연 녹화에 더 많은 시간을 할애할 수 있습니다.
HeadGo Ego를 독립적으로 사용할 수 있나요?
예. HeadGo Ego는 독립적인 1인칭 인체 데이터 수집 시스템으로 작동할 수 있습니다.
독립적으로 사용할 경우 시각 정보, 손 자세 데이터, 21개의 손 주요 지점, 공간 좌표, 깊이 정보, 타임스탬프 및 동작 궤적을 수집할 수 있습니다. 따라서 1인칭 시점 분석, 인간 조작 분석, 모방 학습 및 체화된 AI 데이터셋 개발에 중점을 둔 프로젝트에 적합합니다.
표준 시스템에는 다음이 포함됩니다.
- HeadGo Ego 헤드 마운트형 데이터 수집 장치 1개
- 원 데이터큐브 백팩 데이터 처리 시스템
다른 인체 데이터 수집 장치와도 호환되나요?
HeadGo Ego는 GripperGo Pro 와 함께 사용할 수도 있습니다.
통합 워크플로우에서 HeadGo Ego는 1인칭 시각 정보, 손 자세, 주요 지점 데이터 및 전체 작동 정보를 데이터 세트에 추가할 수 있습니다. 이를 통해 연구팀은 여러 상호 보완적인 관점에서 인간의 동작을 캡처할 수 있습니다.
HeadGo Ego를 단독으로 사용할지 또는 GripperGo Pro와 통합할지 여부는 프로젝트의 데이터 요구 사항에 따라 결정됩니다. 주로 모바일 환경에서 1인칭 시점 데이터 수집이 필요한 팀은 HeadGo Ego를 단독으로 사용할 수 있으며, 보다 포괄적인 인체 작동 데이터 세트가 필요한 프로젝트는 통합 구성을 고려할 수 있습니다.
어떤 유형의 작업을 기록할 수 있나요?
HeadGo Ego는 1인칭 시점의 인체 조작 영상 촬영을 위해 설계되었습니다. 작업자가 사물 및 주변 작업 공간과 자연스럽게 상호 작용하는 모습을 시연하는 영상을 녹화하는 데 사용할 수 있습니다.
잠재적인 연구 과제는 다음과 같습니다.
- 객체 선택 및 배치
- 분류 및 정리
- 양손 조작
- 도구 사용 시연
- 다단계 작업 기록
- 인간 손 궤적 분석
- 정교한 조작 데이터 세트 모음
- 일상 활동 시연을 통한 모방 학습
구체적인 작업 설계와 데이터셋 구조는 연구팀의 로봇 플랫폼, 학습 프레임워크 및 훈련 목표에 따라 결정될 수 있습니다.
HeadGo Ego는 누구를 위해 설계되었나요?
HeadGo Ego는 주로 다음과 같은 조직을 대상으로 체화된 지능 및 로봇 학습 시스템을 개발하는 데 사용됩니다.
- 대학교와 로봇공학 연구소
- AI 연구팀
- 로봇 학습 및 모방 학습 연구자
- 능숙한 조작 개발자
- 인공지능 및 로봇공학 스타트업
- 데이터셋 수집팀
- 범용 로봇 시스템을 개발하는 기업들
이 방법은 특히 여러 작업이나 환경에 걸쳐 1인칭 시점의 인간 시연 영상을 수집해야 하지만, 프로젝트마다 복잡한 고정 캡처 시스템을 구축할 필요가 없는 팀에게 유용할 수 있습니다.
HeadGo Ego는 데이터 수집 워크플로우를 어떻게 개선할 수 있을까요?
HeadGo Ego는 감지, 처리, 모니터링 및 모바일 배포를 더욱 통합된 시스템으로 제공합니다.
각 데이터 수집 세션마다 별도의 카메라, 손 추적 장치, 모션 센서, 처리 하드웨어 및 전원 공급 장치를 조립하는 대신, 팀은 통합된 헤드 마운트 및 백팩 기반 구성으로 작업할 수 있습니다.
일반적인 워크플로는 다음과 같습니다.
- HeadGo Ego 및 DataCube 시스템 준비 중.
- QR 코드 스캔을 통해 필요한 Wi-Fi 네트워크에 연결합니다.
- 모니터링 화면에서 비디오, 저장 공간, 프레임 속도 및 장치 상태를 확인합니다.
- 인간 시연 과제를 시작합니다.
- 1인칭 시점의 시각 데이터, 손의 주요 지점, 깊이 정보, 타임스탬프 및 궤적 데이터를 수집합니다.
- 수집 진행 상황을 실시간으로 모니터링합니다.
- 수집된 데이터를 정리하여 후속 로봇 학습 및 모델 개발에 활용합니다.
이러한 접근 방식은 특히 프로젝트에 많은 작업 샘플이 필요한 경우, 사람의 시연 데이터 수집을 더욱 반복적이고 관리하기 쉽게 만들어 줍니다.
인간 시뮬레이션 데이터 세트를 구축하는 보다 실용적인 방법
HeadGo Ego의 출시로 인공지능 개발자들은 구조화된 1인칭 시점의 인간 조작 데이터를 수집할 수 있는 새로운 선택지를 갖게 되었습니다.
이 시스템은 양안 시각 및 RGB 시각, 21개의 손 주요 지점, 공간 자세 정보, 깊이 관련 데이터, 9축 IMU, 실시간 모니터링 및 모바일 데이터큐브 백팩을 결합하여 연구자들이 작업자가 보는 것뿐만 아니라 작업이 어떻게 수행되는지까지 포착할 수 있도록 설계되었습니다.
HeadGo Ego는 단독으로 사용하든 GripperGo Pro와 함께 사용하든 로봇 학습, 모방 학습 및 정교한 조작 연구를 위한 더욱 풍부한 데이터 세트 개발을 지원할 수 있습니다.
