GripperGo Proのご紹介：身体化されたAIとロボット学習のための高精度人体データ収集システム
高品質な人間のデモンストレーションデータは、身体性AI、模倣学習、ロボットマニピュレーション研究にとって不可欠な基盤となりつつある。しかし、人がタスクを完了する様子を記録することは、ほんの始まりに過ぎない。研究チームは、手の動き、グリッパーの状態、視覚的な状況、奥行き、動作、空間的な軌跡に関する正確に整合された情報も必要としている。
これらのデータストリームが別々のデバイスで取得される場合、タイミング、座標系、データ品質の違いにより、結果として得られるデータセットの利用が困難になることがあります。問題はデータ収集が完了した後に初めて明らかになる場合があり、その結果、デモンストレーションの繰り返しや追加の後処理作業が必要になることがあります。
これらの課題に対処するため、Foxtechは高精度なグリッパー操作キャプチャ向けに設計されたプロ仕様の人間データ収集システム「GripperGo Pro」を発表しました。Viveベースステーションの位置決め、ミリ秒レベルのマルチモーダル同期、両手操作対応のデータ収集デバイス、そしてDataCubeのエッジサイド処理を組み合わせることで、このシステムは研究チームがロボット学習のためのより構造化された一貫性のあるデータセットを構築するのに役立ちます。
GripperGo Proはどのような問題を解決しますか？
ロボットは、作業の最終結果だけでなく、作業がどのように実行されたかを記述するデータも学習する必要がある。
把持や操作のタスクでは、研究者は以下のような情報を捉える必要があるかもしれません。
- オペレーターが見たもの
- 両手が空間をどのように移動したか
- グリッパーが開閉したとき
- デバイスの向き
- それぞれの動作がどれだけ速く行われたか
- グリッパーが物体に接近し、物体を取り扱う方法
- 把持中に接触や圧力が変化したかどうか
通常のビデオでは、これらの情報をすべて提供することはできません。複数のカメラ、モーションセンサー、追跡装置、処理用コンピュータから独自の収集システムを構築すると、同期やキャリブレーションに問題が生じる可能性もあります。
GripperGo Proは、これらの機能を統合されたデータ収集ワークフローに組み込みます。グリッパーの動作を、視覚情報、深度情報、動作データ、軌跡データ、操作データとともに記録することで、チームが人間のデモンストレーションを、その後のロボット学習ワークフローに適した構造化データセットに変換するのに役立ちます。
高精度な空間測位が重要な理由とは？
手の位置のわずかな違いが、操作作業に大きな影響を与える可能性がある。
人が小さな物体をつかんだり、部品を挿入したり、工具を使用したり、両手を協調させたりする際、それぞれの動作の空間軌跡がトレーニングデータの一部となります。トラッキングシステムに過度のドリフトや不整合が生じると、記録されたデモンストレーションが実際の動作を正確に反映しない可能性があります。
GripperGo Proは、Viveベースステーション測位システムを使用して、標準化された収集環境内で1mmレベルの空間測位精度を実現します。
この位置決め方法は、特に以下のようなタスクに役立ちます。
- 再現可能な人間によるデモンストレーション
- 正確な両手操作軌道
- 一貫した空間座標
- 詳細な把持および操作分析
- 複数の事業者間で標準化されたデータ収集
- 繰り返しタスクシーケンス間の比較
GripperGo Proは、基地局不要の自由な携帯性に重点を置くのではなく、研究所、大学の研究施設、標準化された採取室、産業訓練スペースといった管理された環境下での高精度な試料採取を目的として設計されています。
1ミリ秒の同期はデータセットの品質をどのように向上させるのか？
ロボット学習データセットには、画像、深度関連情報、IMU測定値、グリッパー開口距離、空間軌跡などが含まれる場合があります。各センサーが正しく動作していても、データストリームが正確に同期されていない場合、データの利用が困難になる可能性があります。
例えば、画像にはグリッパーが物体に触れている様子が写っているのに対し、対応する軌跡データや開口距離データはそれよりも少し前の時点を表している場合があります。このようなタイミングのずれがデータセット全体で蓄積されると、トレーニングサンプルの一貫性が低下する可能性があります。
GripperGo Proは1ミリ秒のマルチモーダルハードウェア同期をサポートしており、視覚データ、モーションデータ、操作データを共通のタイムラインに沿って同期させるのに役立ちます。
この同期により、研究者は各動作を協調的なイベントとして研究することが可能になります。グリッパーの位置、開閉状態、向き、およびそれに対応する視覚情報をより正確に照合できるため、模倣学習やロボット操作訓練のためのより強固な基盤が構築されます。
GripperGo Proはどのようなデータを収集できますか？
GripperGo Proは、把持や操作作業中の人間の動作データを様々な形で取得するように設計されています。
システムは以下の情報を収集できます。
- ビデオデータ
- 深度に関する情報
- 三次元運動軌跡
- グリッパーの開口距離
- IMU姿勢角
- IMU加速度
- IMU角速度
- オプションの触覚および圧力分布データ
データ収集装置は、双眼視と広角視覚キャプチャを組み込んで、作業環境とグリッパーと周囲の物体との関係を記録する。
A 200HzのIMUは高周波の動き情報を記録し、 128GBの内蔵ストレージはデータ収集セッション中のローカルデータ記録をサポートする。
GripperGo Proはこれらのデータタイプを組み合わせることで、単なる視覚的な記録以上のものを提供します。作業が時間とともにどのように展開していくか、そしてグリッパーが作業全体を通してどのように動き、物体とどのように相互作用するかを記述します。
グリッパーはどのようにして自然な人間のデモンストレーションをサポートするのか？
このシステムは、人間が操作する一対の収集用グリッパーを使用しており、オペレーターが操作作業を直接実演できるようになっている。
各グリッパーは0～100mmの開口範囲と最大20Nの把持力を備えており、一般的な物体の把持、取り扱い、仕分け、配置のデモンストレーションをサポートします。
2つのグリッパーを使用することで、両手操作に関するデータを収集することも可能になります。これは、多くの実際の作業は片手だけでは効果的に完了できないため重要です。片方の手で対象物を固定し、もう片方の手で調整したり、持ち上げ、組み立て、梱包、工具の使用時に両手を協調させる必要がある場合があるからです。
実証実験の可能性のある例としては、以下のようなものがある。
- 物を拾って配置する
- アイテムを種類または位置で並べ替える
- 容器を開ける
- 取り扱いツール
- 物を両手間で移動させる
- 物体を安定させながら同時に操作する
- 複数のステップからなる両手作業を完了する
- 基本的な組み立て手順を実演する
目的は、人間の動きをロボットアームの正確な構造に無理やり当てはめることではありません。そうではなく、このシステムはオペレーターの動作を構造化データとして記録し、それを後々のロボット学習研究やデータセット開発に役立てることを目指しています。
ワークフローにおいてデータキューブはどのような役割を果たすのか？
データ収集は、記録された情報が完全かつ利用可能であることをオペレーターが確認できる場合にのみ有用である。
GripperGo Proには、データ取得、同期、再生、検査、前処理をサポートするエッジサイド処理プラットフォームであるDataCubeが搭載されています。これにより、研究者は後からオフラインで検査することに完全に頼ることなく、収集プロセスをより統合的に管理できるようになります。
データ収集セッション中またはセッション後に、チームは記録されたデータを確認し、必要なセンサーストリームが正しく取得されたかどうかを検証できます。これにより、ワークフローの早い段階で、不完全なサンプル、異常なサンプル、または問題のあるサンプルを特定できます。
エッジサイド品質検査は、繰り返し実施されるデモンストレーションを伴うプロジェクトにおいて特に有効です。問題を即座に発見できれば、影響を受ける作業のみを繰り返せば済む可能性があります。一方、収集キャンペーン全体を終えてから同じ問題を発見した場合、大幅な手戻り作業が必要になる可能性があります。
エッジサイド検査は、どのようにして重複回収を削減するのか？
人手によるデータ収集には、数百回、あるいは数千回もの実演が必要となる場合がある。たとえわずかな失敗率であっても、相当量の利用不可能なデータが発生する可能性がある。
潜在的な問題点としては、以下のようなものが考えられます。
- 不完全なタスクシーケンス
- 異常な追跡データ
- センサー情報が欠落しています
- 視覚的なカバー範囲が不十分
- グリッパーの操作が間違っています
- 位置ずれしたマルチモーダルデータ
- 録音の中断
GripperGo Proは、オペレーターがエッジ側で問題のあるデータを検査し、マークするのに役立ちます。これにより、収集チームはデータセットをより大規模なトレーニングまたは処理パイプラインに転送する前に、初期品質チェックを実行できます。
このシステムは、データセットの検証、注釈付け、またはモデル固有の前処理の必要性を排除するものではありません。しかし、早期に検証を行うことで、チームは不必要な再収集を減らし、データをより効率的に整理することができます。
オプションの触覚センシングが価値を持つ理由は？
位置情報と視覚情報によってグリッパーの位置は把握できるが、グリッパーがどのように物体に接触するかを完全に説明することはできない。
把持の安定性、壊れやすい物体、変形しやすい材料、あるいは接触の多い操作に関する研究において、圧力分布は重要な追加情報を提供する。これにより、研究者は接触の開始タイミング、把持状態の変化、そして把持面全体に力がどのように分布するかを理解することができる。
GripperGo Proには、把持時の接触および圧力分布情報を取得するための、オプションの21点触覚センサーアレイを装備できます。
触覚アレイは標準装備ではありません。プロジェクトでより詳細な接触情報が必要な場合に選択できますが、視覚、軌跡、動作、グリッパーの状態を主眼とするプロジェクトでは標準構成を使用できます。
GripperGo Proは、データ収集とロボット学習をどのように連携させるのでしょうか？
データセットは最終的に、収集システムからロボット学習環境へと移行する必要がある。
GripperGo Proは現在、 LeRobot形式のデータエクスポートに対応しており、チームが取得したデモンストレーションを整理して、後続のロボット学習ワークフローに活用するのに役立ちます。これにより、生の収集結果を標準化された構造に変換する手間を軽減できます。
エクスポートされたデータは、研究チームのモデルやロボットプラットフォームに応じて、フィルタリング、注釈付け、正規化、または調整が必要になる場合があります。とはいえ、構造化されたエクスポートは、人間のデモンストレーションのキャプチャとそれに続くモデル開発との間のより明確なつながりを提供します。
一般的なワークフローには以下が含まれます。
- コレクションエリアにViveベースステーションを設置する。
- GripperGo Pro収集装置2台を準備する。
- DataCubeプラットフォームに接続し、動作確認を行っています。
- 収集環境の調整を行っています。
- 必要な作業内容と実証手順を定義する。
- 視覚データ、空間データ、動作データ、およびグリッパー操作データを記録する。
- 端面検査によって問題のあるサンプルをレビューし、マーキングする。
- 収集したデータの前処理と整理。
- データセットをLeRobot形式でエクスポートしています。
- 選択したロボット学習パイプラインに合わせてデータを調整する。
この統合されたワークフローは、研究チームが個々の人間による実証実験から、再現可能なデータセットの作成へと移行するのに役立ちます。
GripperGo Proはどのような用途に適していますか？
GripperGo Proは、標準化された環境下での高精度な人体操作のキャプチャを目的として設計されています。
潜在的な用途としては以下のようなものがある。
身体化されたAIデータ収集
このシステムは、人間と物体や作業空間との相互作用を記録することができ、身体化された知能の研究のためのマルチモーダルなデモンストレーションを提供する。
模倣学習
研究者は、人がどのようにタスクを完了するかを示す事例を収集し、構造化されたデータを使用して、実演による学習を支援することができる。
ロボットマニピュレーション訓練
グリッパーの軌跡、開口距離、動作情報、視覚的コンテキスト、およびオプションの触覚データは、物体の取り扱いと操作に関する研究を支援することができる。
両手協調運動に関する研究
一対の収集装置を用いることで、研究者は両手の協調的な使用を必要とする作業を研究し、記録することができる。
器用さと人との接触が多い作業
オプションの触覚センサーアレイを装備すると、システムはより詳細な把持研究のために、追加の接触情報と圧力情報を提供できます。
標準化データセットの開発
大学、研究室、データ収集チームは、このシステムを利用して、制御された空間的および手順的条件下で繰り返し行われるデモンストレーションを記録することができる。
産業作業デモンストレーション
このシステムは、産業用ロボットの学習研究のために、構造化された取り扱い、仕分け、工具の使用、および基本的な組み立て手順の記録をサポートできます。
GripperGo Proはどのようなユーザー向けに設計されていますか？
GripperGo Proは、以下のような正確で再現性のある人体デモンストレーションデータを必要とする組織向けに設計されています。
- 身体化されたAI研究チーム
- ロボット工学研究所
- 大学および職業訓練機関
- 模倣学習研究者
- ロボットマニピュレーション開発者
- 器用な操作に関する研究チーム
- AIとロボット工学のスタートアップ企業
- データセット収集および注釈チーム
- 汎用ロボットを開発している企業
- 産業研究および研修施設
これは、既に明確なデータ収集領域があり、繰り返し行われる作業、オペレーター、または実験セッション間で一貫したデータが必要なチームに特に適しています。
顧客はどのような場合にGripperGo Proを選ぶべきでしょうか？
GripperGo Proは、空間精度、同期性、再現性、およびエッジサイドデータ管理が最優先事項である場合に最適な選択肢です。
チームは、以下のような場合にプロシステムを検討すべきです。
- 1mmレベルの空間位置決め
- 両手を使った人間の操作の捕捉
- 1ミリ秒のマルチモーダルハードウェア同期
- 標準化された固定収集環境
- エッジサイドのデータ再生と品質検査
- 統合された前処理サポート
- LeRobot形式のデータエクスポート
- オプションの触覚および圧力分布データ
主に住宅、工場、スーパーマーケット、屋外エリア、その他の開放的で構造化されていない環境での可搬式データ収集を必要とするプロジェクトには、基地局不要のソリューションがより適している場合があります。GripperGo Proは、自由度の高い移動よりも高精度かつ再現性の高いデータ収集が重要な、管理された環境向けに特化して最適化されています。
システムには何が同梱されていますか？
標準のGripperGo Proパッケージには以下が含まれます。
- GripperGo Proデータ収集装置2台
- 1つのDataCubeエッジサイド処理プラットフォーム
- One Viveベースステーションシステム
2台のデバイス構成は、両手操作によるデータ収集を標準でサポートしています。接触および圧力分布情報が必要な場合は、オプションの21点触覚センサーアレイを別途選択できます。
より一貫性のある人間による実証データセットの構築
GripperGo Proの発売により、AIおよびロボット工学チームは、高精度な人間の操作データをより統合的に取得できる方法を手に入れることができる。
1 mmレベルのViveポジショニング、1 msのマルチモーダル同期、両手グリッパーによるデータ収集、両眼視と広角視、200 HzのIMU、DataCubeエッジサイド処理、およびLeRobotフォーマットのエクスポートを組み合わせることで、このシステムは人間のデモンストレーションキャプチャと下流のロボット学習ワークフローを接続します。
その主な価値は、個々のデータストリームをより多く収集することにあるのではなく、それらのストリームが空間的に正確で、時間的に整合しており、検査可能で、整理しやすい状態を維持できるようにすることにある。
操作ポリシー、模倣学習モデル、両手操作ロボット、または具現化されたAIデータセットを開発する研究チームにとって、GripperGo Proは人間の操作を構造化され再現可能なトレーニングデータに変換するための実用的なプラットフォームを提供します。
