تخطو Meta Reality Labs خطوات كبيرة في تقديم الصور الرمزية مع أحدث التطورات التي تجمع بين التعلم الآلي (ML) وبيانات المستشعر من سماعات الرأس Quest VR لإظهار جسمك بالكامل ، بما في ذلك الذراعين والساقين والجذع والرأس. والنتيجة هي تمثيل واقعي ودقيق للغاية لأوضاع وحركات شخص يرتدي سماعة الرأس Quest 2.
هذا مذهل للغاية حيث تم استخدام مواضع وتوجهات سماعة الرأس Quest VR ووحدتي التحكم الخاصة بها فقط لتقدير حركة الساق وموضعها. لا توجد أشرطة تتبع موضوعة على الأرجل ولا كاميرات خارجية مستخدمة لهذا النظام الرائع. شارك عالم أبحاث Meta Alexander Winkler العديد من مقاطع الفيديو على Twitter جنبًا إلى جنب مع روابط إلى الورقة العلمية حول arXiv وفيديو YouTube بمزيد من التفاصيل.
بالمعنى العلمي ، يُعرف هذا باسم تتبع الحركة من مستشعرات متفرقة ويكون ML بارعًا بشكل خاص في استخراج معلومات ذات مغزى من القليل جدًا ، إذا كان هناك تبعيات كافية بين ما هو معروف وما هو غير معروف. نظرًا لأننا نأرجح أذرعنا لتحقيق التوازن عند المشي والجري ، فإن حركة الذراع تعد مؤشرًا جيدًا لما تفعله الأرجل عادةً. بالاقتران مع إمالة الرأس واتجاهه ، يمكن لنظام ML التنبؤ بمعظم حركات الإنسان بدقة شديدة.
تعتمد الأساليب الأكثر تقليدية لتتبع الأطراف على أجهزة إضافية ، مثل العلامات العاكسة الموضوعة على ساقيك وجذعك والتي يتم تحديدها بواسطة الكاميرات الخارجية ، أو العصابات ذات الإشارات اللاسلكية التي يتم ارتداؤها في مواقع مختلفة على ساقيك لنقل بيانات الموقف والحركة.
أثناء عمل هذه الطرق ، يتم بيعها عادةً كعناصر ملحقة تكلف أكثر ولا يتم دعمها جيدًا في معظم التطبيقات والألعاب. إذا تمكنت Meta من تحقيق مثل هذه النتائج الجيدة باستخدام سماعة الرأس Quest 2 ، فمن المرجح أن يقوم المطورون ببناء تتبع الجسم في ألعابهم وتطبيقاتهم.
على الرغم من هذه التطورات الهامة ، تعترف Meta Reality Labs بضرورة القيام بالمزيد من العمل. إذا تحركت بسرعة كافية ، فإن نموذج ML يفشل في تحديد وضعك بشكل صحيح. يصعب على الكمبيوتر تقدير المواقف غير العادية ، وإذا كانت البيئة الافتراضية بها عوائق غير موجودة في الواقع ، فلن تتطابق الحركة. يبدو أن التأثير العام جيد جدًا ، وسيكون من الجيد أن تكون قادرًا على رؤية جسم كامل بدلاً من الجذع العائمة عند الدردشة مع الأصدقاء في الواقع الافتراضي.