HeadGo Egoのご紹介：身体化されたAIとロボット学習のための新しいヘッドマウント型データ収集ソリューション
高性能な身体型AIシステムを構築するには、単なる動画撮影以上のものが必要です。研究者は、ロボットが人が何を見ているのか、手がどのように動くのか、そして操作が時間とともにどのように展開していくのかを理解できるように、構造化され同期されたデータを必要としています。
この課題に対処するため、Foxtechは、身体化AI、ロボット学習、模倣学習、器用な操作訓練向けに設計された、新しい頭部装着型人体データ収集装置「HeadGo Ego」を発表しました。
HeadGo Egoは、一人称視点での視覚キャプチャ、手のキーポイントトラッキング、モーションセンシング、リアルタイムモニタリング、そして統合されたバックパック型データキューブシステムを組み合わせることで、研究チームがモバイルかつ実用的なワークフローで人間の操作データを収集できるよう支援します。
HeadGo Egoはどのような問題を解決するのですか？
身体性を備えたAI開発における主要な課題の一つは、十分な量の高品質な人間のデモンストレーションデータを収集することである。
従来のカメラでも作業中の出来事を記録できますが、動画だけではロボット学習に必要な構造化された情報が得られない場合があります。研究者は、手の空間的な位置、個々の手のキーポイント、動きの軌跡、奥行き情報、そして各動作の正確なタイミングなども把握する必要があるかもしれません。
これらのデータストリームを別々のデバイスで収集すると、さらに困難が生じる可能性があります。機器によってオペレーターの動きが制限されたり、設定を繰り返したりする必要が生じたり、異なるデータソースの整合性を維持することが難しくなったりする場合があります。
HeadGo Egoは、オペレーターの視点から直接一人称視点の操作データを収集することで、このプロセスを簡素化するように設計されています。視覚情報に加えて、手の姿勢、空間座標、深度、タイムスタンプ、動作軌跡を組み合わせることで、身体感覚に基づくAIトレーニングのためのより豊富なデータ基盤を提供します。
ロボット学習において、一人称視点データが重要な理由とは？
ロボットは、完了した作業がどのような状態になるかだけでなく、人間がどのようにその作業を行うかも学習する必要がある。
物を拾い上げる、物を整理する、工具を操作する、あるいは複数の手順を要する操作作業を行うといった動作中、作業者の視点には貴重な状況情報が含まれています。どの物体が見えているか、手がどのように物体に近づくか、そして作業中に周囲の環境がどのように変化するかなどが示されます。
HeadGo Egoは頭部に装着するため、カメラはオペレーターの自然な視線方向を追跡します。これにより、オペレーターの注意や動作に密接に関連した視点から作業を記録することが可能になります。
得られた一人称データは、以下の研究を支援することができる。
- 具現化されたAI
- ロボット学習
- 模倣学習
- 一人称視点での人間操作分析
- 器用な操作
- 人間による実証データセットの開発
システムはどのようなデータを収集できますか？
HeadGo Egoは、標準的な映像記録にとどまらず、複数の形式の操作関連データを生成します。
このシステムは、手の姿勢、空間座標、深度、タイムスタンプ、動作軌跡に加え、 21個の手のキーポイントをキャプチャできます。これらのデータは、作業者の手の位置と、作業全体を通して手がどのように動くかを把握するのに役立ちます。
研究チームにとって、これは単なるビデオクリップとしてではなく、一連の構造化された動作として操作を研究することを可能にする。この情報は、ロボット学習モデルのトレーニングと評価のためのデータセットを構築するために使用できる。
このシステムには3台のカメラが搭載されています。
- 双眼カメラ2台
- RGBカメラ1台
この構成は、RGBおよび深度関連の視覚データ取得をサポートします。9軸IMUは、動作関連のセンシング機能を追加で提供し、作業者がタスクを実行する際の動作を把握するのに役立ちます。
広視野角はデータ収集をどのように向上させるのか？
人間の操作は必ずしもカメラ画像の中央で行われるとは限りません。オペレーターは左右の物体に手を伸ばしたり、作業面を見下ろしたり、環境内の異なる場所を移動したりすることがあります。
HeadGo Egoは以下の視野を提供します：
- 150°対角
- 水平128度
- 垂直方向80度
この広い視野範囲により、オペレーターの作業スペースをより広く捉えることができ、重要な手の動きや近くの物体が記録範囲外になる可能性を低減できます。
両手を使った操作、広い作業面、または頻繁な視線方向の変更を伴う作業においては、より広い一人称視点を用いることで、その後のデータ処理やモデル学習のためのより包括的な視覚的コンテキストが得られる。
HeadGo Egoは、自然な人間の行動をどのようにサポートするのでしょうか？
人間のデモンストレーションデータは、オペレーターが自然に作業を実行できる場合に最も有用です。
主要なセンシング装置は頭部に装着され、処理および電源コンポーネントはバックパック型のシステムに統合されているため、オペレーターは固定された記録ステーションに縛られることなく、環境内を自由に移動できる。
このモバイル構成は、さまざまな作業環境や日常的な運用環境におけるデータ収集に適しています。研究者は自分の手を使って作業を実演することができ、システムはオペレーターの視点、手の動き、および動作関連情報を記録します。
このバックパックには、メイン処理ユニットと電源が一体化されています。また、耐衝撃構造とアクティブベンチレーション設計を採用し、モバイルデータ収集をサポートします。
オペレーターはどのようにして収集プロセスを監視できるのか？
データ収集時によくある問題は、録音が不完全だったり、ストレージ容量が不足していたり、システムの一部が正しく動作していなかったりすることに、手遅れになってから気づくことである。
HeadGo Egoは、リアルタイムのシステム監視を提供するメインコントロール画面でこの問題を解決します。オペレーターは以下の項目を確認できます。
- ライブビデオ
- デバイスの温度
- CPUとメモリの使用状況
- 利用可能なストレージ
- フレームレート
- デバイスの状態
- データ収集の進捗状況
この可視性により、オペレーターは作業の記録中に潜在的な問題を特定できます。これにより、長時間のデモンストレーションを完了した後に、重要なデータが欠落していたり、使用できなかったりするリスクを軽減できます。
リアルタイム監視は、研究チームが複数のオペレーター、タスク、または環境にわたる多数のデモンストレーションを収集する必要がある場合に特に有効です。
このシステムはどのようにしてセットアップ時間を短縮するのですか？
ネットワーク設定を繰り返すと、特に場所を移動したりネットワークを変更したりする場合、データ収集が遅くなる可能性がある。
HeadGo EgoはQRコードによるWi-Fi設定に対応しています。オペレーターはEgoのカメラでQRコードをスキャンするだけでネットワーク接続を設定できるため、時間のかかる手動設定が不要になります。
この機能は、異なる研究室、作業スペース、または現場環境でデータを収集するチームにとって役立ちます。ネットワーク構成が高速化されることで、研究者は機器の準備に費やす時間を減らし、デモンストレーションの記録に多くの時間を費やすことができます。
HeadGo Egoは単独で使用できますか？
はい。HeadGo Egoは、独立した一人称視点の人間データ収集システムとして動作可能です。
単独で使用した場合、視覚情報、手の姿勢データ、21個の手のキーポイント、空間座標、深度、タイムスタンプ、および動作軌跡を収集できます。そのため、自己中心的視覚、人間の動作分析、模倣学習、および身体化されたAIデータセットの開発に焦点を当てたプロジェクトに適しています。
標準システムには以下が含まれます。
- HeadGo Egoヘッドマウント型データ収集装置1台
- データキューブバックパック型データ処理システム1台
他の人体データ収集装置と連携できますか？
HeadGo EgoはGripperGo Proと併用することも可能です。
統合ワークフローでは、HeadGo Egoはデータセットに一人称視点の視覚情報、手の姿勢、キーポイントデータ、および全体的な動作情報を補完することができます。これにより、研究チームは複数の補完的な視点から人間の動作を捉えることが可能になります。
HeadGo Egoを単独で使用するか、GripperGo Proと統合するかは、プロジェクトのデータ要件によって異なります。主にモバイル端末での一人称視点データ収集を必要とするチームはHeadGo Egoを単独で使用できますが、より包括的な人間の操作データセットを必要とするプロジェクトでは、組み合わせた構成を検討できます。
どのような種類のタスクを記録できますか？
HeadGo Egoは、一人称視点での人間の操作をキャプチャすることを目的としています。オペレーターが物体や周囲の作業空間と自然にインタラクトする様子をデモンストレーションとして記録するために使用できます。
研究の可能性のある課題には以下が含まれる。
- 物体の選択と配置
- 分類と整理
- 両手操作
- 工具使用デモンストレーション
- 複数ステップの操作記録
- 人間の手の軌跡解析
- 器用な操作データセットの収集
- 模倣学習のための日常的な作業デモンストレーション
具体的なタスク設計とデータセット構造は、研究チームのロボットプラットフォーム、学習フレームワーク、およびトレーニング目標に応じて決定することができる。
HeadGo Egoはどのようなユーザー向けに設計されていますか？
HeadGo Egoは主に、以下のような身体化された知能やロボット学習システムを開発する組織を対象としています。
- 大学およびロボット工学研究所
- 身体化されたAI研究チーム
- ロボット学習と模倣学習の研究者
- 器用な操作能力を持つ開発者
- AIとロボット工学のスタートアップ企業
- データセット収集チーム
- 汎用ロボットシステムを開発する企業
これは、複雑な固定式キャプチャシステムをプロジェクトごとに構築することなく、複数のタスクや環境にわたる一人称視点の人間によるデモンストレーションを収集する必要があるチームにとって特に役立ちます。
HeadGo Egoはデータ収集ワークフローをどのように改善できるのか？
HeadGo Egoは、センシング、処理、モニタリング、モバイル展開をより統合したシステムに統合します。
データ収集セッションごとに個別のカメラ、ハンドトラッキング装置、モーションセンサー、処理ハードウェア、電源装置を組み立てる代わりに、チームは統一されたヘッドマウント型およびバックパック型の構成で作業することができる。
一般的なワークフローには以下が含まれます。
- HeadGo EgoおよびDataCubeシステムを準備しています。
- QRコードをスキャンして、必要なWi-Fiネットワークに接続します。
- 監視画面で、ビデオ、ストレージ、フレームレート、およびデバイスの状態を確認します。
- 人間によるデモンストレーション作業を開始します。
- 一人称視点の視覚データ、手のキーポイントデータ、深度データ、タイムスタンプデータ、および軌跡データを収集します。
- 収集の進捗状況をリアルタイムで監視する。
- 取得したデータを整理し、その後のロボット学習およびモデル開発に活用する。
このアプローチは、特にプロジェクトで多数のタスクサンプルが必要な場合に、人間の実演データの収集をより再現性が高く、管理しやすいものにするのに役立ちます。
人間を対象としたデモンストレーションデータセットを構築するための、より実践的な方法
HeadGo Egoの発売により、身体性を備えたAI開発者は、構造化された一人称視点の人間操作データを収集するための新たな選択肢を得ることになる。
双眼視とRGB視覚、21個のハンドキーポイント、空間姿勢情報、深度関連データ、9軸IMU、リアルタイムモニタリング、およびモバイルデータキューブバックパックを組み合わせることで、このシステムは、研究者がオペレーターの視覚情報だけでなく、操作方法も記録できるように設計されています。
HeadGo Egoは、単独で使用する場合でも、GripperGo Proと併用する場合でも、ロボット学習、模倣学習、器用な操作に関する研究のための、より豊富なデータセットの開発を支援することができます。
