Foxtech menyediakan solusi drone industri & Sistem Payload UAV.
Memperkenalkan HeadGo Ego: Solusi Pengumpulan Data yang Dipasang di Kepala untuk AI yang Terintegrasi dan Pembelajaran Robot
Membangun sistem AI yang mumpuni dan terintegrasi membutuhkan lebih dari sekadar merekam video biasa. Para peneliti memerlukan data terstruktur dan tersinkronisasi yang membantu robot memahami apa yang dilihat seseorang, bagaimana tangan mereka bergerak, dan bagaimana suatu operasi berkembang dari waktu ke waktu.
Untuk mengatasi tantangan ini, Foxtech memperkenalkan HeadGo Ego , perangkat pengumpulan data manusia yang dipasang di kepala yang dirancang untuk AI yang terwujud, pembelajaran robot, pembelajaran imitasi, dan pelatihan manipulasi yang cekatan.
Dengan menggabungkan pengambilan gambar visual orang pertama, pelacakan titik kunci tangan, penginderaan gerakan, pemantauan waktu nyata, dan sistem DataCube terintegrasi bergaya ransel, HeadGo Ego membantu tim peneliti mengumpulkan data operasi manusia dalam alur kerja yang mobile dan praktis.
Masalah apa yang dipecahkan oleh HeadGo Ego?
Salah satu tantangan utama dalam pengembangan AI yang melibatkan manusia adalah mengumpulkan data demonstrasi manusia berkualitas tinggi yang memadai.
Kamera konvensional dapat merekam apa yang terjadi selama suatu tugas, tetapi video saja mungkin tidak memberikan informasi terstruktur yang diperlukan untuk pembelajaran robot. Para peneliti mungkin juga perlu memahami posisi spasial tangan, titik-titik kunci masing-masing tangan, lintasan gerakan, informasi kedalaman, dan waktu pasti dari setiap tindakan.
Mengumpulkan aliran data ini dengan perangkat terpisah dapat menimbulkan kesulitan tambahan. Peralatan tersebut dapat membatasi pergerakan operator, memerlukan konfigurasi berulang, atau menyulitkan untuk menjaga agar berbagai sumber data tetap selaras.
HeadGo Ego dirancang untuk menyederhanakan proses ini dengan mengumpulkan data operasi orang pertama langsung dari perspektif operator. Ia menggabungkan informasi visual dengan posisi tangan, koordinat spasial, kedalaman, stempel waktu, dan lintasan gerakan, menyediakan fondasi data yang lebih kaya untuk pelatihan AI yang melibatkan tubuh.
Mengapa Data Sudut Pandang Orang Pertama Penting untuk Pembelajaran Robot?
Robot tidak hanya harus mempelajari seperti apa hasil akhir suatu tugas, tetapi juga bagaimana seseorang melakukannya.
Selama aktivitas seperti mengambil suatu objek, mengatur barang, mengoperasikan alat, atau menyelesaikan tugas manipulasi multi-langkah, sudut pandang operator mengandung informasi kontekstual yang berharga. Ini menunjukkan objek mana yang terlihat, bagaimana tangan mendekatinya, dan bagaimana lingkungan sekitar berubah sepanjang operasi.
Karena HeadGo Ego dikenakan di kepala, kamera mengikuti arah pandang alami operator. Hal ini memungkinkan sistem untuk merekam tugas dari perspektif yang terkait erat dengan perhatian dan tindakan operator.
Data sudut pandang orang pertama yang dihasilkan dapat mendukung penelitian tentang:
- AI yang Terwujud
- Pembelajaran robot
- Pembelajaran imitasi
- Analisis operasi manusia dari sudut pandang orang pertama.
- Manipulasi yang cekatan
- Pengembangan kumpulan data demonstrasi manusia
Data apa saja yang dapat dikumpulkan oleh sistem ini?
HeadGo Ego melampaui perekaman visual standar dengan menghasilkan berbagai bentuk data terkait pengoperasian.
Sistem ini dapat menangkap 21 titik kunci tangan , beserta posisi tangan, koordinat spasial, kedalaman, stempel waktu, dan lintasan gerakan. Data ini membantu menjelaskan di mana tangan operator berada dan bagaimana tangan tersebut bergerak selama suatu tugas.
Bagi tim peneliti, hal ini memungkinkan untuk mempelajari suatu operasi sebagai rangkaian gerakan terstruktur, bukan hanya sebagai klip video. Informasi tersebut dapat digunakan untuk membangun kumpulan data untuk melatih dan mengevaluasi model pembelajaran robot.
Sistem ini dilengkapi dengan tiga kamera:
- Dua kamera binokuler
- Satu kamera RGB
Konfigurasi ini mendukung akuisisi data visual RGB dan yang terkait dengan kedalaman. IMU 9 sumbu menyediakan penginderaan tambahan yang terkait dengan gerakan, membantu menangkap bagaimana operator bergerak saat menyelesaikan tugas.
Bagaimana Bidang Pandang yang Luas Meningkatkan Pengumpulan Data?
Manipulasi manusia tidak selalu terjadi tepat di tengah gambar kamera. Operator mungkin menjangkau objek di kedua sisi, melihat ke bawah ke permukaan kerja, atau bergerak di antara berbagai bagian lingkungan.
HeadGo Ego memberikan pandangan menyeluruh tentang:
- Diagonal 150°
- 128° horizontal
- 80° vertikal
Jangkauan pandang yang luas ini membantu menangkap lebih banyak area kerja operator dan mengurangi kemungkinan gerakan tangan penting atau objek di dekatnya berada di luar area yang terekam.
Untuk tugas yang melibatkan manipulasi dua tangan, permukaan kerja yang besar, atau perubahan arah pandang yang sering, tampilan orang pertama yang lebih luas dapat memberikan konteks visual yang lebih lengkap untuk pemrosesan data dan pelatihan model selanjutnya.
Bagaimana HeadGo Ego Mendukung Demonstrasi Alami Manusia?
Data demonstrasi manusia paling bermanfaat ketika operator dapat melakukan tugas secara alami.
Karena perangkat sensor utama dikenakan di kepala dan komponen pemrosesan serta daya terintegrasi ke dalam sistem bergaya ransel, operator dapat bergerak di lingkungan sekitar tanpa dibatasi oleh stasiun perekaman tetap.
Konfigurasi portabel ini cocok untuk mengumpulkan data di berbagai ruang kerja dan lingkungan operasional sehari-hari. Peneliti dapat mendemonstrasikan tugas menggunakan tangan mereka sendiri sementara sistem merekam sudut pandang operator, gerakan tangan, dan informasi terkait gerakan.
Ransel ini mengintegrasikan unit pemrosesan utama dan catu daya. Selain itu, ransel ini juga dilengkapi struktur tahan guncangan dan desain ventilasi aktif untuk mendukung pengumpulan data seluler.
Bagaimana Operator Dapat Memantau Proses Pengumpulan?
Masalah umum selama pengumpulan data adalah baru menyadari terlambat bahwa rekaman tidak lengkap, penyimpanan tidak mencukupi, atau sebagian dari sistem tidak beroperasi dengan benar.
HeadGo Ego mengatasi masalah ini dengan layar kontrol utama yang menyediakan pemantauan sistem secara real-time. Operator dapat memeriksa:
- Video langsung
- Suhu perangkat
- Penggunaan CPU dan memori
- Penyimpanan yang tersedia
- Kecepatan bingkai
- Kesehatan perangkat
- Kemajuan pengumpulan data
Visibilitas ini membantu operator mengidentifikasi potensi masalah saat tugas sedang direkam. Hal ini dapat mengurangi risiko menyelesaikan demonstrasi yang panjang hanya untuk menemukan bahwa data penting hilang atau tidak dapat digunakan.
Pemantauan waktu nyata sangat berharga terutama ketika tim peneliti perlu mengumpulkan banyak demonstrasi di berbagai operator, tugas, atau lingkungan.
Bagaimana Sistem Ini Mengurangi Waktu Penyiapan?
Konfigurasi jaringan yang berulang dapat memperlambat pengumpulan data, terutama saat berpindah antar lokasi atau berganti jaringan.
HeadGo Ego mendukung konfigurasi Wi-Fi berbasis kode QR. Operator dapat memindai kode QR menggunakan kamera Ego untuk mengkonfigurasi koneksi jaringan, sehingga mengurangi kebutuhan akan pengaturan manual yang memakan waktu lama.
Fitur ini dapat bermanfaat bagi tim yang mengumpulkan data di berbagai laboratorium, ruang kerja, atau lingkungan lapangan. Konfigurasi jaringan yang lebih cepat membantu para peneliti menghabiskan lebih banyak waktu untuk merekam demonstrasi dan lebih sedikit waktu untuk mempersiapkan peralatan.
Apakah HeadGo Ego Dapat Digunakan Secara Independen?
Ya. HeadGo Ego dapat beroperasi sebagai sistem pengumpulan data manusia orang pertama yang independen.
Saat digunakan secara independen, alat ini dapat mengumpulkan informasi visual, data posisi tangan, 21 titik kunci tangan, koordinat spasial, kedalaman, stempel waktu, dan lintasan gerakan. Hal ini membuatnya cocok untuk proyek-proyek yang berfokus pada visi egosentris, analisis operasi manusia, pembelajaran imitasi, dan pengembangan kumpulan data AI yang terwujud.
Sistem standar tersebut meliputi:
- Satu perangkat pengumpulan data yang dipasang di kepala (head-mounted data collection device) bernama HeadGo Ego.
- Satu sistem pengolahan data ransel DataCube
Apakah alat ini dapat digunakan dengan perangkat pengumpulan data manusia lainnya?
HeadGo Ego juga dapat digunakan bersama dengan GripperGo Pro .
Dalam alur kerja gabungan, HeadGo Ego dapat melengkapi dataset dengan informasi visual orang pertama, posisi tangan, data titik kunci, dan informasi operasi global. Hal ini memungkinkan tim peneliti untuk merekam demonstrasi manusia dari berbagai perspektif yang saling melengkapi.
Pilihan antara menggunakan HeadGo Ego secara independen atau mengintegrasikannya dengan GripperGo Pro bergantung pada kebutuhan data proyek. Tim yang terutama membutuhkan pengumpulan data orang pertama (first-person) dari perangkat seluler dapat menggunakan HeadGo Ego sendiri, sementara proyek yang membutuhkan kumpulan data operasi manusia yang lebih komprehensif dapat mempertimbangkan pengaturan gabungan.
Jenis Tugas Apa Saja yang Dapat Direkam?
HeadGo Ego dirancang untuk perekaman operasi manusia dari sudut pandang orang pertama. Alat ini dapat digunakan untuk merekam demonstrasi di mana operator berinteraksi secara alami dengan objek dan ruang kerja di sekitarnya.
Tugas penelitian potensial meliputi:
- Pemilihan dan penempatan objek
- Penyortiran dan pengorganisasian
- Manipulasi dua tangan
- Demonstrasi penggunaan alat
- Perekaman operasi multi-langkah
- Analisis lintasan tangan manusia
- Pengumpulan dataset manipulasi yang terampil
- Demonstrasi tugas sehari-hari untuk pembelajaran imitasi.
Desain tugas spesifik dan struktur dataset dapat ditentukan sesuai dengan platform robot tim peneliti, kerangka kerja pembelajaran, dan tujuan pelatihan.
HeadGo Ego Dirancang untuk Siapa?
HeadGo Ego terutama ditujukan untuk organisasi yang mengembangkan sistem kecerdasan terwujud dan pembelajaran robot, termasuk:
- Universitas dan laboratorium robotika
- Tim riset AI yang terwujud
- Para peneliti pembelajaran robot dan pembelajaran imitasi
- Pengembang manipulasi yang cekatan
- Startup AI dan robotika
- Tim pengumpulan dataset
- Perusahaan yang mengembangkan sistem robotik serbaguna.
Ini bisa sangat berguna bagi tim yang perlu mengumpulkan demonstrasi langsung dari manusia di berbagai tugas atau lingkungan tanpa harus membangun sistem perekaman tetap yang kompleks untuk setiap proyek.
Bagaimana HeadGo Ego Dapat Meningkatkan Alur Kerja Pengumpulan Data?
HeadGo Ego menyatukan penginderaan, pemrosesan, pemantauan, dan penyebaran seluler ke dalam sistem yang lebih terintegrasi.
Alih-alih merakit kamera, perangkat pelacak tangan, sensor gerak, perangkat keras pemrosesan, dan catu daya secara terpisah untuk setiap sesi pengumpulan data, tim dapat bekerja dengan konfigurasi terpadu yang dipasang di kepala dan berbasis ransel.
Alur kerja tipikal dapat mencakup:
- Mempersiapkan sistem HeadGo Ego dan DataCube.
- Terhubung ke jaringan Wi-Fi yang dibutuhkan melalui pemindaian kode QR.
- Memeriksa video, penyimpanan, kecepatan bingkai, dan status perangkat pada layar pemantauan.
- Memulai tugas demonstrasi manusia.
- Mengumpulkan data visual orang pertama, titik kunci tangan, kedalaman, cap waktu, dan lintasan.
- Memantau perkembangan pengumpulan data secara real-time.
- Mengorganisir data yang telah dikumpulkan untuk pembelajaran robot dan pengembangan model selanjutnya.
Pendekatan ini membantu membuat pengumpulan demonstrasi manusia menjadi lebih mudah diulang dan dikelola, terutama ketika suatu proyek membutuhkan sejumlah besar sampel tugas.
Cara yang Lebih Praktis untuk Membangun Kumpulan Data Demonstrasi Manusia
Peluncuran HeadGo Ego memberi pengembang AI yang terintegrasi dengan tubuh (embodied AI) pilihan baru untuk mengumpulkan data operasi manusia orang pertama yang terstruktur.
Dengan menggabungkan penglihatan binokular dan RGB, 21 titik kunci tangan, informasi posisi spasial, data terkait kedalaman, IMU 9 sumbu, pemantauan waktu nyata, dan ransel DataCube portabel, sistem ini dirancang untuk membantu para peneliti menangkap tidak hanya apa yang dilihat operator, tetapi juga bagaimana operasi tersebut dilakukan.
Baik digunakan secara independen maupun bersamaan dengan GripperGo Pro, HeadGo Ego dapat mendukung pengembangan kumpulan data yang lebih kaya untuk pembelajaran robot, pembelajaran imitasi, dan penelitian manipulasi yang cekatan.
