يوفر Foxtech حلول الطائرات بدون طيار الصناعية & أنظمة الحمولة النافعة للطائرات بدون طيار.
نقدم لكم GripperGo Pro: نظام عالي الدقة لجمع البيانات البشرية من أجل الذكاء الاصطناعي المجسد وتعلم الروبوتات
أصبحت بيانات الأداء البشري عالية الجودة أساسًا جوهريًا لأبحاث الذكاء الاصطناعي المجسد، والتعلم بالتقليد، والتحكم الروبوتي. مع ذلك، فإن تسجيل شخص يؤدي مهمة ما ليس سوى البداية. تحتاج فرق البحث أيضًا إلى معلومات دقيقة ومتوافقة حول حركة اليد، وحالة القبضة، والسياق البصري، والعمق، والحركة، والمسارات المكانية.
عندما يتم جمع هذه البيانات من أجهزة منفصلة، قد تؤدي الاختلافات في التوقيت وأنظمة الإحداثيات وجودة البيانات إلى صعوبة استخدام مجموعة البيانات الناتجة. وقد لا تظهر المشاكل إلا بعد اكتمال عملية الجمع، مما يستدعي تكرار العروض التوضيحية وإجراء عمليات معالجة لاحقة إضافية.
لمعالجة هذه التحديات، تُقدّم فوكستك نظام GripperGo Pro ، وهو نظام احترافي لجمع البيانات البشرية مصمم لالتقاط عمليات الروبوتات بدقة عالية باستخدام أذرع الإمساك. يُساعد هذا النظام فرق البحث على بناء مجموعات بيانات أكثر تنظيمًا واتساقًا لتعلم الروبوتات، وذلك من خلال الجمع بين تحديد المواقع باستخدام محطة Vive الأساسية، والمزامنة متعددة الوسائط على مستوى أجزاء من الثانية، وأجهزة جمع البيانات ثنائية اليد، ومعالجة البيانات على حافة DataCube.
ما المشكلة التي يحلها جهاز GripperGo Pro؟
يجب أن تتعلم الروبوتات أكثر من مجرد النتيجة النهائية للعملية. إنها تحتاج إلى بيانات تصف كيفية تنفيذ المهمة.
في مهمة الإمساك أو التلاعب، قد يحتاج الباحثون إلى التقاط ما يلي:
- ما رآه المشغل
- كيف تحركت كلتا اليدين عبر الفضاء
- عندما تفتح أو تغلق المقابض
- كيفية توجيه الأجهزة
- مدى سرعة حدوث كل حركة
- كيف اقتربت الأذرع من الجسم وتعاملت معه
- سواء تغير التلامس أو الضغط أثناء الإمساك
لا يمكن للفيديو العادي توفير كل هذه المعلومات. كما أن بناء نظام تجميع مخصص من كاميرات متعددة، وأجهزة استشعار الحركة، وأجهزة التتبع، وأجهزة الكمبيوتر المعالجة، قد يُسبب صعوبات في المزامنة والمعايرة.
يُدمج برنامج GripperGo Pro هذه الوظائف في سير عمل متكامل لجمع البيانات. فهو يسجل عملية تشغيل الذراع الآلية بالإضافة إلى البيانات المرئية، وبيانات العمق، وبيانات الحركة، وبيانات المسار، وبيانات التلاعب، مما يساعد الفرق على تحويل العروض التوضيحية البشرية إلى مجموعات بيانات منظمة مناسبة لسير عمل تعلم الروبوت اللاحق.
لماذا يُعد تحديد المواقع المكانية عالي الدقة أمراً مهماً؟
يمكن أن تؤثر الاختلافات الطفيفة في وضع اليد بشكل كبير على مهمة التلاعب.
عندما يلتقط شخص ما جسمًا صغيرًا، أو يُدخل مكونًا، أو يستخدم أداة، أو يُنسق بين يديه، يصبح المسار المكاني لكل حركة جزءًا من بيانات التدريب. إذا أدخل نظام التتبع انحرافًا مفرطًا أو عدم اتساق، فقد لا يُمثل العرض التوضيحي المُسجل العملية الأصلية بدقة.
يستخدم GripperGo Pro نظام تحديد المواقع في محطة Vive الأساسية لتوفير دقة تحديد المواقع المكانية بمستوى 1 مم ضمن بيئة جمع موحدة.
تُعد طريقة تحديد المواقع هذه مفيدة بشكل خاص للمهام التي تتطلب ما يلي:
- عروض بشرية قابلة للتكرار
- مسارات دقيقة ثنائية اليد
- إحداثيات مكانية متسقة
- تحليل مفصل لعمليات الإمساك والتلاعب
- جمع البيانات بشكل موحد عبر جهات تشغيل متعددة
- مقارنة بين تسلسلات المهام المتكررة
بدلاً من التركيز على قابلية النقل غير المقيدة والخالية من محطات القاعدة، تم تصميم GripperGo Pro لجمع البيانات بدقة عالية في بيئات خاضعة للرقابة مثل المختبرات ومرافق البحث الجامعية وغرف التجميع الموحدة ومساحات التدريب الصناعية.
كيف يُحسّن التزامن الذي يبلغ 1 مللي ثانية جودة مجموعة البيانات؟
قد تتضمن مجموعة بيانات تعلم الروبوت صورًا، ومعلومات متعلقة بالعمق، وقياسات وحدة القياس بالقصور الذاتي (IMU)، ومسافة فتح الملقط، والمسارات المكانية. وحتى عندما يعمل كل مستشعر بشكل صحيح، قد يصعب استخدام البيانات إذا لم تكن تدفقات البيانات متزامنة بدقة.
على سبيل المثال، قد تُظهر صورةٌ ما ذراعَ الملقط وهو يلامس جسمًا، بينما تُمثل بيانات المسار أو مسافة الفتح لحظةً سابقةً بقليل. وعندما تتراكم هذه الفروقات الزمنية عبر مجموعة البيانات، فإنها قد تُقلل من اتساق عينات التدريب.
يدعم GripperGo Pro مزامنة الأجهزة متعددة الوسائط بزمن 1 مللي ثانية ، مما يساعد على مواءمة البيانات المرئية والحركية وبيانات التلاعب على طول خط زمني مشترك.
يُمكّن هذا التزامن الباحثين من دراسة كل حركة كحدث منسق. ويمكن مطابقة موضع الملقط، وحالة فتحه، واتجاهه، والمعلومات البصرية المقابلة بدقة أكبر، مما يوفر أساسًا أفضل للتعلم بالتقليد وتدريب الروبوتات على التلاعب.
ما هي البيانات التي يمكن لجهاز GripperGo Pro جمعها؟
تم تصميم GripperGo Pro لالتقاط أشكال متعددة من بيانات العمليات البشرية أثناء مهام الإمساك والتلاعب.
يمكن للنظام جمع ما يلي:
- بيانات الفيديو
- معلومات متعلقة بالعمق
- مسارات الحركة ثلاثية الأبعاد
- مسافة فتح الماسك
- زوايا وضع وحدة القياس بالقصور الذاتي
- تسارع وحدة القياس بالقصور الذاتي (IMU)
- السرعة الزاوية لوحدة القياس بالقصور الذاتي
- بيانات اختيارية عن اللمس وتوزيع الضغط
تتضمن أجهزة التجميع رؤية ثنائية العينين والتقاط بصري بزاوية واسعة لتسجيل بيئة المهمة والعلاقة بين القابضات والأشياء المحيطة.
من خلال الجمع بين أنواع البيانات هذه، يوفر برنامج GripperGo Pro أكثر من مجرد سجل مرئي. فهو يصف كيفية تطور العملية بمرور الوقت وكيف تتحرك الأذرع وتتفاعل مع الأشياء طوال المهمة.
كيف تدعم المقابض العروض البشرية الطبيعية؟
يستخدم النظام زوجًا من أذرع التجميع التي يتم تشغيلها بواسطة الإنسان، مما يسمح للمشغل بتوضيح مهام التلاعب بشكل مباشر.
يوفر كل ماسك نطاق فتح من 0 إلى 100 مم وقوة إمساك تصل إلى 20 نيوتن ، مما يدعم عمليات الإمساك بالأشياء الشائعة والتعامل معها وفرزها ووضعها.
يُتيح استخدام ماسكَين جمع بيانات التشغيل بكلتا اليدين. وهذا أمرٌ بالغ الأهمية، إذ لا يُمكن إنجاز العديد من المهام العملية بكفاءة بيدٍ واحدة. فقد تُثبّت إحدى اليدين جسمًا ما بينما تُعدّله الأخرى، أو قد تحتاج كلتا اليدين إلى التنسيق أثناء الرفع والتجميع والتغليف واستخدام الأدوات.
تشمل العروض التوضيحية المحتملة ما يلي:
- التقاط الأشياء ووضعها
- فرز العناصر حسب النوع أو الموقع
- فتح الحاويات
- أدوات المناولة
- نقل الأشياء بين اليدين
- تثبيت جسم ما والتحكم فيه في آن واحد
- إنجاز مهام ثنائية اليد متعددة الخطوات
- شرح إجراءات التجميع الأساسية
لا يهدف النظام إلى إجبار حركة الإنسان على التوافق التام مع بنية ذراع الروبوت. بل يسجل النظام تصرفات المشغل كبيانات منظمة يمكن أن تدعم لاحقاً أبحاث تعلم الروبوت وتطوير مجموعات البيانات.
ما هو دور DataCube في سير العمل؟
لا يكون جمع البيانات مفيدًا إلا عندما يتمكن المشغلون من التأكد من أن المعلومات المسجلة كاملة وقابلة للاستخدام.
يتضمن برنامج GripperGo Pro منصة معالجة البيانات الطرفية DataCube ، التي تدعم جمع البيانات ومزامنتها وتشغيلها وفحصها ومعالجتها المسبقة. ويوفر هذا البرنامج للباحثين طريقة أكثر تكاملاً لإدارة عملية جمع البيانات دون الاعتماد كلياً على الفحص اللاحق دون اتصال بالإنترنت.
أثناء جلسة جمع البيانات أو بعدها، يمكن للفرق مراجعة البيانات المسجلة والتحقق من صحة التقاط تدفقات البيانات المطلوبة من أجهزة الاستشعار. يساعد ذلك في تحديد العينات غير المكتملة أو غير الطبيعية أو التي بها مشاكل في وقت مبكر من سير العمل.
يُعدّ فحص الجودة على الحواف ذا قيمة خاصة للمشاريع التي تتضمن العديد من العروض التوضيحية المتكررة. فاكتشاف المشكلة فورًا قد يُتيح للمشغل إعادة المهمة المتأثرة فقط. أما اكتشاف المشكلة نفسها بعد حملة جمع كاملة فقد يتطلب إعادة عمل أكثر بكثير.
كيف يساهم فحص الحواف في تقليل عمليات التجميع المتكررة؟
قد يتطلب جمع البيانات البشرية مئات أو آلاف التجارب. حتى نسبة فشل ضئيلة يمكن أن تُنتج كمية كبيرة من البيانات غير القابلة للاستخدام.
قد تشمل المشاكل المحتملة ما يلي:
- تسلسلات مهام غير مكتملة
- بيانات تتبع غير طبيعية
- معلومات المستشعر مفقودة
- تغطية بصرية ضعيفة
- تشغيل غير صحيح للملقط
- بيانات متعددة الوسائط غير متوافقة
- انقطاع التسجيلات
يساعد برنامج GripperGo Pro المشغلين على فحص البيانات وتحديد المشكلات عند نقطة التجميع. وهذا يسمح لفرق جمع البيانات بإجراء فحص أولي للجودة قبل نقل مجموعة البيانات إلى مسار تدريب أو معالجة أكبر.
لا يُغني النظام عن الحاجة إلى التحقق من صحة مجموعة البيانات، أو إضافة التعليقات التوضيحية، أو المعالجة المسبقة الخاصة بالنموذج. مع ذلك، يُمكن أن يُساعد الفحص المُبكر الفرق على تقليل عمليات التذكر غير الضرورية وتنظيم بياناتها بكفاءة أكبر.
لماذا يُعدّ الاستشعار اللمسي الاختياري ذا قيمة؟
يمكن للموقع والرؤية أن يوضحا مكان وجود أداة الإمساك، لكنهما لا يصفان بشكل كامل كيفية اتصالها بالجسم.
في الأبحاث التي تتناول ثبات القبضة، والأجسام الهشة، والمواد القابلة للتشوه، أو عمليات التلاعب التي تتطلب احتكاكًا مباشرًا، يمكن أن يوفر توزيع الضغط معلومات إضافية هامة. وقد يساعد الباحثين على فهم متى يبدأ التلامس، وكيف تتغير القبضة، وكيف تتوزع القوة على سطح الإمساك.
يمكن تجهيز GripperGo Pro بمجموعة مستشعرات لمسية اختيارية مكونة من 21 نقطة لالتقاط معلومات الاتصال وتوزيع الضغط أثناء الإمساك.
لا تُعدّ مصفوفة اللمس ميزةً قياسيةً مدمجة. يمكن للفرق اختيارها عندما تتطلب مشاريعها معلومات اتصال أكثر تفصيلاً، بينما يمكن للمشاريع التي تركز بشكل أساسي على الرؤية والمسارات والحركة وحالة الماسك استخدام التكوين القياسي.
كيف يربط برنامج GripperGo Pro بين جمع البيانات وتعلم الروبوت؟
يجب أن تنتقل مجموعة البيانات في نهاية المطاف من نظام التجميع إلى بيئة تعلم الروبوت.
يدعم برنامج GripperGo Pro حاليًا تصدير البيانات بصيغة LeRobot ، مما يساعد الفرق على تنظيم العروض التوضيحية المسجلة لتسهيل عمليات تعلم الروبوت اللاحقة. وهذا بدوره يقلل الجهد المطلوب لتحويل نتائج التجميع الخام إلى بنية موحدة قبل إجراء المزيد من المعالجة.
قد تحتاج البيانات المُصدَّرة إلى مزيد من التصفية والتعليق والتطبيع والتعديل وفقًا لنموذج فريق البحث ومنصة الروبوت. ومع ذلك، يوفر التصدير المُهيكل ربطًا أوضح بين تسجيل العروض التوضيحية البشرية وتطوير النموذج اللاحق.
قد تتضمن عملية سير العمل النموذجية ما يلي:
- إعداد محطات Vive الأساسية في منطقة التجميع.
- تجهيز جهازي تجميع GripperGo Pro.
- جارٍ الاتصال بمنصة DataCube والتحقق منها.
- معايرة بيئة التجميع.
- تحديد المهمة المطلوبة وإجراءات العرض التوضيحي.
- تسجيل البيانات المرئية والمكانية والحركية وبيانات تشغيل الملقط.
- مراجعة وتحديد العينات التي بها مشاكل من خلال فحص الحواف.
- المعالجة المسبقة وتنظيم البيانات المجمعة.
- تصدير مجموعة البيانات بتنسيق LeRobot.
- تكييف البيانات مع مسار تعلم الروبوت المحدد.
تساعد هذه الآلية المتكاملة لسير العمل فرق البحث على الانتقال من التجارب البشرية الفردية إلى إنتاج مجموعات بيانات قابلة للتكرار.
ما هي التطبيقات التي يناسبها برنامج GripperGo Pro؟
تم تصميم GripperGo Pro لالتقاط عمليات الإنسان بدقة عالية في بيئات موحدة.
تشمل التطبيقات المحتملة ما يلي:
جمع بيانات الذكاء الاصطناعي المجسد
يستطيع النظام تسجيل التفاعلات البشرية مع الأشياء وأماكن العمل، مما يوفر عروضًا توضيحية متعددة الوسائط لأبحاث الذكاء المجسد.
التعلم بالتقليد
يمكن للباحثين جمع أمثلة توضح كيفية إنجاز الشخص لمهمة ما، واستخدام البيانات المنظمة لدعم التعلم من خلال العرض التوضيحي.
التدريب على التلاعب بالروبوتات
يمكن أن تدعم مسارات المقبض، ومسافة الفتح، ومعلومات الحركة، والسياق المرئي، والبيانات اللمسية الاختيارية، البحث في التعامل مع الأشياء ومعالجتها.
بحث في التنسيق بين اليدين
تتيح أجهزة التجميع المزدوجة للباحثين دراسة وتسجيل المهام التي تتطلب استخدامًا منسقًا لكلتا اليدين.
المهام التي تتطلب مهارة عالية وتتطلب احتكاكاً جسدياً مكثفاً
عند تجهيز النظام بمجموعة مستشعرات اللمس الاختيارية، فإنه يستطيع توفير معلومات إضافية عن الاتصال والضغط لإجراء أبحاث أكثر تفصيلاً حول الإمساك.
تطوير مجموعة البيانات المعيارية
يمكن للجامعات والمختبرات وفرق جمع البيانات استخدام النظام لتسجيل العروض التوضيحية المتكررة في ظل ظروف مكانية وإجرائية مضبوطة.
عرض توضيحي للمهام الصناعية
يمكن للنظام دعم تسجيل عمليات المناولة المنظمة والفرز واستخدام الأدوات وإجراءات التجميع الأساسية لأبحاث تعلم الروبوتات الصناعية.
لمن صُمم جهاز GripperGo Pro؟
تم تصميم GripperGo Pro للمؤسسات التي تتطلب بيانات دقيقة وقابلة للتكرار لعرض الأداء البشري، بما في ذلك:
- فرق البحث في مجال الذكاء الاصطناعي المجسد
- مختبرات الروبوتات
- الجامعات ومؤسسات التدريب المهني
- باحثو التعلم بالتقليد
- مطورو تقنيات التلاعب الروبوتي
- فرق البحث في التلاعب الماهر
- الشركات الناشئة في مجال الذكاء الاصطناعي والروبوتات
- فرق جمع البيانات وتصنيفها
- الشركات التي تقوم بتطوير روبوتات متعددة الأغراض
- مرافق البحث والتدريب الصناعي
وهو مناسب بشكل خاص للفرق التي لديها بالفعل مساحة تجميع محددة وتحتاج إلى بيانات متسقة عبر المهام المتكررة أو المشغلين أو الجلسات التجريبية.
متى ينبغي على العملاء اختيار GripperGo Pro؟
يُعد GripperGo Pro الخيار الأمثل عندما تكون الدقة المكانية والتزامن والتكرار وإدارة البيانات على جانب الحافة هي الأولويات الرئيسية.
ينبغي على الفرق أن تفكر في نظام Pro عندما تحتاج إلى:
- تحديد المواقع المكانية بمستوى 1 مم
- عملية التقاط بشرية ثنائية اليد
- مزامنة الأجهزة متعددة الوسائط في 1 مللي ثانية
- بيئة تجميع موحدة وثابتة
- تشغيل البيانات من جانب الحافة وفحص الجودة
- دعم المعالجة المسبقة المتكاملة
- تصدير البيانات بتنسيق LeRobot
- بيانات اختيارية عن اللمس وتوزيع الضغط
بالنسبة للمشاريع التي تتطلب في المقام الأول جمعًا متنقلًا للمواد في المنازل أو المصانع أو المتاجر الكبرى أو المناطق الخارجية أو غيرها من البيئات المفتوحة وغير المنظمة، قد يكون الحل الذي لا يتطلب محطة أساسية أكثر ملاءمة. تم تصميم GripperGo Pro خصيصًا للبيئات الخاضعة للتحكم حيث تكون الدقة العالية والجمع المتكرر أكثر أهمية من حرية الحركة.
ما الذي يتضمنه النظام؟
تتضمن حزمة GripperGo Pro القياسية ما يلي:
- جهازان لجمع البيانات من نوع GripperGo Pro
- منصة معالجة البيانات الطرفية من نوع DataCube
- نظام محطة قاعدة One Vive
يدعم تكوين الجهازين جمع البيانات باليدين بشكل قياسي. ويمكن اختيار مصفوفة المستشعرات اللمسية الاختيارية المكونة من 21 نقطة بشكل منفصل عند الحاجة إلى معلومات التلامس وتوزيع الضغط.
بناء مجموعات بيانات أكثر اتساقًا للعروض التوضيحية البشرية
يوفر إطلاق GripperGo Pro لفرق الذكاء الاصطناعي والروبوتات المجسدة طريقة أكثر تكاملاً لالتقاط بيانات التلاعب البشري عالية الدقة.
من خلال الجمع بين تحديد المواقع بدقة 1 مم في Vive، والتزامن متعدد الوسائط لمدة 1 مللي ثانية، والتجميع القائم على المقبض ثنائي اليد، والرؤية ثنائية العينين وذات الزاوية الواسعة، ووحدة قياس القصور الذاتي بتردد 200 هرتز، ومعالجة DataCube على جانب الحافة، وتصدير بتنسيق LeRobot، يربط النظام التقاط العرض التوضيحي البشري بسير عمل تعلم الروبوت في المراحل اللاحقة.
لا تكمن قيمتها الرئيسية في جمع المزيد من تدفقات البيانات بشكل فردي، ولكن في مساعدة تلك التدفقات على البقاء دقيقة مكانيًا، ومتوافقة زمنيًا، وقابلة للفحص، وأسهل في التنظيم.
بالنسبة لفرق البحث التي تعمل على تطوير سياسات التلاعب، ونماذج التعلم بالتقليد، والروبوتات ثنائية اليد، أو مجموعات بيانات الذكاء الاصطناعي المجسدة، يوفر GripperGo Pro منصة عملية لتحويل العمليات البشرية إلى بيانات تدريب منظمة وقابلة للتكرار.
