Foxtech menyediakan solusi drone industri & Sistem Payload UAV.
Memperkenalkan GripperGo Pro: Sistem Pengumpulan Data Manusia Presisi Tinggi untuk AI Berbasis Tubuh dan Pembelajaran Robot
Data demonstrasi manusia berkualitas tinggi menjadi fondasi penting bagi penelitian AI yang terwujud, pembelajaran imitasi, dan manipulasi robot. Namun, merekam seseorang yang menyelesaikan suatu tugas hanyalah permulaan. Tim peneliti juga membutuhkan informasi yang selaras secara akurat tentang gerakan tangan, status penjepit, konteks visual, kedalaman, gerakan, dan lintasan spasial.
Ketika aliran data ini ditangkap oleh perangkat yang berbeda, perbedaan dalam waktu, sistem koordinat, dan kualitas data dapat membuat kumpulan data yang dihasilkan sulit digunakan. Masalah mungkin baru terlihat setelah pengumpulan selesai, yang menyebabkan demonstrasi berulang dan pekerjaan pasca-pemrosesan tambahan.
Untuk mengatasi tantangan ini, Foxtech memperkenalkan GripperGo Pro , sebuah sistem pengumpulan data manusia profesional yang dirancang untuk pengambilan data operasi berbasis penjepit dengan presisi tinggi. Dengan menggabungkan penentuan posisi stasiun pangkalan Vive, sinkronisasi multimodal tingkat milidetik, perangkat pengumpulan data bimanual, dan pemrosesan sisi tepi DataCube, sistem ini membantu tim peneliti membangun kumpulan data yang lebih terstruktur dan konsisten untuk pembelajaran robot.
Masalah apa yang dipecahkan oleh GripperGo Pro?
Robot harus mempelajari lebih dari sekadar hasil akhir suatu operasi. Mereka membutuhkan data yang menjelaskan bagaimana tugas tersebut dilakukan.
Untuk tugas menggenggam atau memanipulasi, peneliti mungkin perlu merekam:
- Apa yang dilihat operator
- Bagaimana kedua tangan bergerak di ruang angkasa
- Saat penjepit dibuka atau ditutup
- Bagaimana orientasi perangkat tersebut
- Seberapa cepat setiap gerakan terjadi
- Bagaimana alat penjepit mendekati dan menangani objek tersebut
- Apakah kontak atau tekanan berubah selama menggenggam
Video biasa tidak dapat memberikan semua informasi ini. Membangun sistem pengumpulan data khusus dari berbagai kamera, sensor gerak, perangkat pelacak, dan komputer pemroses juga dapat menimbulkan kesulitan sinkronisasi dan kalibrasi.
GripperGo Pro menggabungkan fungsi-fungsi ini ke dalam alur kerja pengumpulan data yang terintegrasi. Aplikasi ini merekam pengoperasian gripper bersama dengan data visual, data terkait kedalaman, data gerakan, data lintasan, dan data manipulasi, membantu tim mengubah demonstrasi manusia menjadi kumpulan data terstruktur yang sesuai untuk alur kerja pembelajaran robot selanjutnya.
Mengapa Penentuan Posisi Spasial Presisi Tinggi Penting?
Perbedaan kecil dalam posisi tangan dapat secara signifikan memengaruhi tugas manipulasi.
Ketika seseorang mengambil benda kecil, memasukkan komponen, menggunakan alat, atau mengkoordinasikan kedua tangan, lintasan spasial dari setiap gerakan menjadi bagian dari data pelatihan. Jika sistem pelacakan menimbulkan penyimpangan atau inkonsistensi yang berlebihan, demonstrasi yang direkam mungkin tidak secara akurat mewakili operasi aslinya.
GripperGo Pro menggunakan sistem penentuan posisi stasiun pangkalan Vive untuk memberikan akurasi penentuan posisi spasial tingkat 1 mm dalam lingkungan pengumpulan data yang terstandarisasi.
Metode pemosisian ini sangat berguna untuk tugas-tugas yang membutuhkan:
- Demonstrasi manusia yang dapat diulang
- Trajektori bimanual yang akurat
- Koordinat spasial yang konsisten
- Analisis pemahaman dan manipulasi secara detail
- Pengumpulan data yang terstandarisasi di berbagai operator.
- Perbandingan antara rangkaian tugas yang berulang
Alih-alih berfokus pada portabilitas tanpa batasan dan tanpa stasiun pangkalan, GripperGo Pro dirancang untuk pengumpulan presisi tinggi di lingkungan terkontrol seperti laboratorium, fasilitas penelitian universitas, ruang pengumpulan standar, dan ruang pelatihan industri.
Bagaimana Sinkronisasi 1 ms Meningkatkan Kualitas Dataset?
Kumpulan data pembelajaran robot dapat mencakup gambar, informasi terkait kedalaman, pengukuran IMU, jarak bukaan penjepit, dan lintasan spasial. Bahkan ketika setiap sensor bekerja dengan benar, data dapat menjadi sulit digunakan jika aliran data tidak disinkronkan secara akurat.
Sebagai contoh, sebuah gambar mungkin menunjukkan penjepit menyentuh suatu objek sementara data lintasan atau jarak pembukaan yang sesuai mewakili momen yang sedikit lebih awal. Ketika perbedaan waktu ini terakumulasi di seluruh kumpulan data, hal itu dapat mengurangi konsistensi sampel pelatihan.
GripperGo Pro mendukung sinkronisasi perangkat keras multimodal 1 ms , membantu menyelaraskan data visual, gerakan, dan manipulasi di sepanjang garis waktu bersama.
Sinkronisasi ini memungkinkan para peneliti untuk mempelajari setiap tindakan sebagai peristiwa yang terkoordinasi. Posisi penjepit, status pembukaannya, orientasinya, dan informasi visual yang terkait dapat dicocokkan dengan lebih akurat, memberikan dasar yang lebih baik untuk pembelajaran imitasi dan pelatihan manipulasi robot.
Data apa saja yang dapat dikumpulkan oleh GripperGo Pro?
GripperGo Pro dirancang untuk menangkap berbagai bentuk data operasi manusia selama tugas menggenggam dan memanipulasi.
Sistem ini dapat mengumpulkan:
- Data video
- Informasi terkait kedalaman
- Lintasan pergerakan tiga dimensi
- Jarak bukaan penjepit
- Sudut sikap IMU
- Akselerasi IMU
- Kecepatan sudut IMU
- Data taktil dan distribusi tekanan opsional
Perangkat pengumpul data ini menggabungkan penglihatan binokular dan pengambilan gambar visual sudut lebar untuk merekam lingkungan tugas dan hubungan antara penjepit dan objek di sekitarnya.
A IMU 200 Hz merekam informasi gerakan frekuensi tinggi, sementara penyimpanan internal 128 GB mendukung perekaman data lokal selama sesi pengumpulan data.
Dengan menggabungkan tipe data ini, GripperGo Pro memberikan lebih dari sekadar catatan visual. Aplikasi ini menjelaskan bagaimana operasi berkembang dari waktu ke waktu dan bagaimana penjepit bergerak serta berinteraksi dengan objek sepanjang tugas.
Bagaimana Gripper Mendukung Demonstrasi Alami Manusia?
Sistem ini menggunakan sepasang penjepit pengumpul yang dioperasikan oleh manusia, memungkinkan operator untuk mendemonstrasikan tugas manipulasi secara langsung.
Setiap penjepit menyediakan rentang bukaan 0–100 mm dan gaya cengkeram hingga 20 N , mendukung demonstrasi pengambilan, penanganan, penyortiran, dan penempatan objek umum.
Penggunaan dua penjepit juga memungkinkan pengumpulan data operasi bimanual. Hal ini penting karena banyak tugas nyata tidak dapat diselesaikan secara efektif hanya dengan satu tangan. Satu tangan mungkin menstabilkan suatu objek sementara tangan lainnya menyesuaikannya, atau kedua tangan mungkin perlu berkoordinasi selama pengangkatan, perakitan, pengemasan, dan penggunaan alat.
Demonstrasi yang mungkin dilakukan meliputi:
- Mengambil dan menempatkan benda
- Mengurutkan item berdasarkan jenis atau posisi
- Membuka wadah
- Peralatan penanganan
- Memindahkan benda antar tangan
- Menstabilkan dan memanipulasi suatu objek secara bersamaan.
- Menyelesaikan tugas bimanual multi-langkah
- Mendemonstrasikan prosedur perakitan dasar
Tujuannya bukanlah untuk memaksakan gerakan manusia ke dalam struktur lengan robot yang persis sama. Sebaliknya, sistem ini merekam tindakan operator sebagai data terstruktur yang nantinya dapat mendukung penelitian pembelajaran robot dan pengembangan kumpulan data.
Apa Peran DataCube dalam Alur Kerja?
Pengumpulan data hanya bermanfaat jika operator dapat memastikan bahwa informasi yang direkam lengkap dan dapat digunakan.
GripperGo Pro menyertakan platform pemrosesan sisi tepi DataCube , yang mendukung akuisisi data, sinkronisasi, pemutaran ulang, inspeksi, dan pra-pemrosesan. Platform ini memberikan peneliti cara yang lebih terintegrasi untuk mengelola proses pengumpulan data tanpa sepenuhnya bergantung pada inspeksi offline di kemudian hari.
Selama atau setelah sesi pengumpulan data, tim dapat meninjau data yang direkam dan memeriksa apakah aliran sensor yang dibutuhkan telah terekam dengan benar. Hal ini membantu mengidentifikasi sampel yang tidak lengkap, abnormal, atau bermasalah lebih awal dalam alur kerja.
Inspeksi kualitas di sisi tepi sangat berharga untuk proyek yang melibatkan banyak demonstrasi berulang. Menemukan masalah segera dapat memungkinkan operator untuk mengulangi hanya tugas yang terpengaruh. Menemukan masalah yang sama setelah seluruh kampanye pengumpulan data dapat memerlukan pengerjaan ulang yang jauh lebih banyak.
Bagaimana Inspeksi Sisi Tepi Mengurangi Pengambilan Sampel Berulang?
Pengumpulan data oleh manusia dapat memerlukan ratusan atau ribuan demonstrasi. Bahkan tingkat kegagalan yang kecil pun dapat menghasilkan sejumlah besar data yang tidak dapat digunakan.
Potensi masalah yang mungkin terjadi meliputi:
- Urutan tugas yang tidak lengkap
- Data pelacakan abnormal
- Informasi sensor hilang
- Liputan visual yang buruk
- Pengoperasian penjepit yang salah
- Data multimodal yang tidak sejajar
- Rekaman terputus
GripperGo Pro membantu operator memeriksa dan menandai data bermasalah di sisi tepi jaringan. Hal ini memungkinkan tim pengumpul data untuk melakukan pemeriksaan kualitas awal sebelum mentransfer dataset ke dalam pipeline pelatihan atau pemrosesan yang lebih besar.
Sistem ini tidak menghilangkan kebutuhan akan validasi dataset, anotasi, atau pra-pemrosesan khusus model. Namun, inspeksi lebih awal dapat membantu tim mengurangi pengulangan yang tidak perlu dan mengatur data mereka dengan lebih efisien.
Mengapa Sensor Sentuh Opsional Berharga?
Posisi dan penglihatan dapat menunjukkan di mana penjepit berada, tetapi hal itu tidak sepenuhnya menjelaskan bagaimana penjepit tersebut bersentuhan dengan suatu objek.
Untuk penelitian yang melibatkan stabilitas genggaman, objek rapuh, material yang mudah berubah bentuk, atau manipulasi yang kaya akan kontak, distribusi tekanan dapat memberikan informasi tambahan yang penting. Hal ini dapat membantu peneliti memahami kapan kontak dimulai, bagaimana genggaman berubah, dan bagaimana gaya didistribusikan di seluruh permukaan genggaman.
GripperGo Pro dapat dilengkapi dengan susunan sensor taktil 21 titik opsional untuk menangkap informasi kontak dan distribusi tekanan selama proses menggenggam.
Susunan taktil tidak termasuk sebagai fitur bawaan standar. Tim dapat memilihnya ketika proyek mereka membutuhkan informasi kontak yang lebih detail, sementara proyek yang berfokus terutama pada penglihatan, lintasan, gerakan, dan status penjepit dapat menggunakan konfigurasi standar.
Bagaimana GripperGo Pro Menghubungkan Pengumpulan Data dengan Pembelajaran Robot?
Suatu kumpulan data pada akhirnya harus dipindahkan dari sistem pengumpulan ke lingkungan pembelajaran robot.
GripperGo Pro saat ini mendukung ekspor data format LeRobot , membantu tim mengatur demonstrasi yang direkam untuk alur kerja pembelajaran robot selanjutnya. Hal ini dapat mengurangi upaya yang diperlukan untuk mengubah hasil pengumpulan data mentah menjadi struktur standar sebelum diproses lebih lanjut.
Data yang diekspor mungkin masih perlu difilter, dianotasi, dinormalisasi, atau disesuaikan sesuai dengan model dan platform robot tim peneliti. Meskipun demikian, ekspor terstruktur memberikan hubungan yang lebih jelas antara pengambilan demonstrasi manusia dan pengembangan model selanjutnya.
Alur kerja tipikal dapat mencakup:
- Memasang stasiun basis Vive di area pengumpulan.
- Mempersiapkan dua perangkat pengumpul GripperGo Pro.
- Menghubungkan dan memeriksa platform DataCube.
- Melakukan kalibrasi lingkungan pengumpulan data.
- Menentukan tugas yang dibutuhkan dan prosedur demonstrasi.
- Merekam data visual, spasial, gerakan, dan pengoperasian penjepit.
- Meninjau dan menandai sampel bermasalah melalui inspeksi sisi tepi.
- Praproses dan pengorganisasian data yang telah dikumpulkan.
- Mengekspor dataset dalam format LeRobot.
- Mengadaptasi data untuk alur kerja pembelajaran robot yang dipilih.
Alur kerja terintegrasi ini membantu tim peneliti beralih dari demonstrasi individual oleh manusia menuju produksi kumpulan data yang dapat diulang.
GripperGo Pro cocok untuk aplikasi apa saja?
GripperGo Pro dirancang untuk pengambilan gambar operasi manusia dengan presisi tinggi di lingkungan yang terstandarisasi.
Aplikasi potensial meliputi:
Pengumpulan Data AI yang Terwujud
Sistem ini dapat merekam interaksi manusia dengan objek dan ruang kerja, memberikan demonstrasi multimodal untuk penelitian kecerdasan yang terwujud.
Pembelajaran Imitasi
Para peneliti dapat mengumpulkan contoh-contoh yang menunjukkan bagaimana seseorang menyelesaikan suatu tugas dan menggunakan data terstruktur tersebut untuk mendukung pembelajaran dari demonstrasi.
Pelatihan Manipulasi Robot
Lintasan penjepit, jarak pembukaan, informasi gerakan, konteks visual, dan data taktil opsional dapat mendukung penelitian tentang penanganan dan manipulasi objek.
Penelitian Koordinasi Bimanual
Perangkat pengumpul data berpasangan memungkinkan para peneliti untuk mempelajari dan merekam tugas-tugas yang membutuhkan koordinasi penggunaan kedua tangan.
Tugas yang Membutuhkan Ketangkasan dan Banyak Interaksi Langsung
Jika dilengkapi dengan susunan sensor taktil opsional, sistem ini dapat memberikan informasi kontak dan tekanan tambahan untuk penelitian penggenggaman yang lebih detail.
Pengembangan Kumpulan Data Terstandarisasi
Universitas, laboratorium, dan tim pengumpulan data dapat menggunakan sistem ini untuk merekam demonstrasi berulang dalam kondisi spasial dan prosedural yang terkontrol.
Demonstrasi Tugas Industri
Sistem ini dapat mendukung perekaman penanganan terstruktur, penyortiran, penggunaan alat, dan prosedur perakitan dasar untuk penelitian pembelajaran robot industri.
GripperGo Pro Dirancang untuk Siapa?
GripperGo Pro ditujukan untuk organisasi yang membutuhkan data demonstrasi manusia yang akurat dan dapat diulang, termasuk:
- Tim riset AI yang terwujud
- Laboratorium robotika
- Universitas dan lembaga pelatihan kejuruan
- Peneliti pembelajaran imitasi
- Pengembang manipulasi robot
- Tim peneliti manipulasi yang terampil
- Startup AI dan robotika
- Tim pengumpulan dan anotasi dataset
- Perusahaan yang mengembangkan robot serbaguna
- Fasilitas penelitian dan pelatihan industri
Sistem ini sangat cocok untuk tim yang sudah memiliki ruang pengumpulan data yang terdefinisi dan membutuhkan data yang konsisten di berbagai tugas, operator, atau sesi eksperimen yang berulang.
Kapan Pelanggan Harus Memilih GripperGo Pro?
GripperGo Pro adalah pilihan yang tepat ketika akurasi spasial, sinkronisasi, pengulangan, dan manajemen data di sisi tepi menjadi prioritas utama.
Tim-tim sebaiknya mempertimbangkan sistem Pro ketika mereka membutuhkan:
- Penentuan posisi spasial tingkat 1 mm
- Pengambilan gambar dengan pengoperasian manusia bimanual
- Sinkronisasi perangkat keras multimodal 1 ms
- Lingkungan pengumpulan data yang terstandarisasi dan tetap.
- Pemutaran ulang data sisi tepi dan inspeksi kualitas
- Dukungan pra-pemrosesan terintegrasi
- Ekspor data format LeRobot
- Data taktil dan distribusi tekanan opsional
Untuk proyek yang terutama membutuhkan pengumpulan portabel di rumah, pabrik, supermarket, area luar ruangan, atau lingkungan terbuka dan tidak terstruktur lainnya, solusi tanpa stasiun pangkalan mungkin lebih tepat. GripperGo Pro secara khusus dioptimalkan untuk lingkungan terkontrol di mana pengumpulan dengan presisi tinggi dan berulang lebih penting daripada mobilitas tanpa batasan.
Apa saja yang termasuk dalam sistem ini?
Paket GripperGo Pro standar meliputi:
- Dua perangkat pengumpulan data GripperGo Pro
- Satu platform pemrosesan sisi tepi DataCube
- Sistem stasiun pangkalan One Vive
Konfigurasi dua perangkat mendukung pengumpulan data bimanual sebagai standar. Susunan sensor taktil 21 titik opsional dapat dipilih secara terpisah ketika informasi kontak dan distribusi tekanan diperlukan.
Membangun Kumpulan Data Demonstrasi Manusia yang Lebih Konsisten
Peluncuran GripperGo Pro memberikan tim AI dan robotika yang terintegrasi cara yang lebih terpadu untuk menangkap data manipulasi manusia dengan presisi tinggi.
Dengan menggabungkan penentuan posisi Vive tingkat 1 mm, sinkronisasi multimodal 1 ms, pengumpulan berbasis penjepit bimanual, penglihatan binokular dan sudut lebar, IMU 200 Hz, pemrosesan sisi tepi DataCube, dan ekspor format LeRobot, sistem ini menghubungkan pengambilan demonstrasi manusia dengan alur kerja pembelajaran robot selanjutnya.
Nilai utamanya terletak bukan pada pengumpulan lebih banyak aliran data secara individual, tetapi pada membantu aliran data tersebut tetap akurat secara spasial, selaras secara temporal, mudah diperiksa, dan lebih mudah diorganisir.
Bagi tim peneliti yang mengembangkan kebijakan manipulasi, model pembelajaran imitasi, robot bimanual, atau kumpulan data AI yang terwujud, GripperGo Pro menawarkan platform praktis untuk mengubah operasi manusia menjadi data pelatihan yang terstruktur dan dapat diulang.
