فصل حركة الجسم الكاملة: تقديم نهج طبقي لحل تحدي الملاحظة المتناثرة

جدول الروابط

نبذة مختصرة و1. المقدمة

1. الأعمال ذات الصلة

   2.1. إعادة بناء الحركة من المدخلات المتفرقة

   2.2. توليد حركة الإنسان

2. SAGE: توليد الأفاتار الطبقي و3.1. بيان المشكلة والترميز

   3.2. تمثيل الحركة المنفصل

   3.3. انتشار الحركة الطبقي

   3.4. تفاصيل التنفيذ

3. التجارب ومقاييس التقييم

   4.1. مجموعة البيانات ومقاييس التقييم

   4.2. النتائج الكمية والنوعية

   4.3. دراسة الاستئصال

4. الخاتمة والمراجع

\ المواد التكميلية

أ. دراسات استئصال إضافية

ب. تفاصيل التنفيذ

2. الأعمال ذات الصلة

2.1. إعادة بناء الحركة من المدخلات المتفرقة

لقد حظيت مهمة إعادة بناء حركة الجسم البشري الكاملة من الملاحظات المتفرقة باهتمام كبير في العقود الأخيرة داخل مجتمع البحث [1، 3، 5، 7، 10، 11، 16، 18، 19، 46، 47، 49-51، 54]. على سبيل المثال، تركز الأعمال الحديثة [16، 19، 46، 50، 51] على إعادة بناء حركة الجسم الكاملة من ست وحدات قياس القصور الذاتي (IMUs). يستخدم SIP [46] طرقًا استدلالية، بينما يعد DIP [16] رائدًا في استخدام الشبكات العصبية العميقة لهذه المهمة. يعزز PIP [51] و TIP [19] الأداء بشكل أكبر من خلال دمج قيود الفيزياء. مع ظهور تطبيقات الواقع الافتراضي/المعزز، يوجه الباحثون اهتمامهم نحو إعادة بناء حركة الجسم الكاملة من أجهزة الواقع الافتراضي/المعزز، مثل الأجهزة المثبتة على الرأس (HMDs)، والتي توفر فقط معلومات حول رأس المستخدم ويديه، مما يشكل تحديات إضافية. يتعامل LoBSTr [49] و AvatarPoser [18] و AvatarJLM [54] مع هذه المهمة كمشكلة انحدار، باستخدام GRU [49] وشبكة المحول [18، 54] للتنبؤ بوضعية الجسم الكاملة من الملاحظات المتفرقة لـ HMDs. يستخدم خط آخر من الطرق نماذج توليدية [5، 7، 10، 11]. على سبيل المثال، يستخدم VAEHMD [10] و FLAG [5] التشفير التلقائي المتغير (VAE) [20] والتدفق الطبيعي [35]، على التوالي. تستفيد الأعمال الحديثة [7، 11] من نماذج الانتشار الأكثر قوة [15، 38] لتوليد الحركة، مما يؤدي إلى نتائج واعدة بسبب القدرة القوية لنماذج الانتشار في نمذجة التوزيع الاحتمالي المشروط لحركة الجسم الكاملة.

\ على النقيض من الطرق السابقة التي تنمذج حركة الجسم الكاملة في إطار شامل وموحد، يقر نهجنا بالتعقيدات التي تفرضها مثل هذه الطرق على نماذج التعلم العميق، خاصة في التقاط حركيات الحركة البشرية المعقدة. وبالتالي، نقترح نهجًا طبقيًا يفصل خط أنابيب إعادة بناء الأفاتار للجسم الكامل التقليدي، أولاً للجزء العلوي من الجسم ثم للجزء السفلي بشرط الجزء العلوي من الجسم.

\

:::info المؤلفون:

(1) هان فينغ، مساهمات متساوية، مرتبة أبجديًا من جامعة ووهان؛

(2) وينتشاو ما، مساهمات متساوية، مرتبة أبجديًا من جامعة ولاية بنسلفانيا؛

(3) كوانكاي جاو، جامعة جنوب كاليفورنيا؛

(4) شيانوي تشينغ، جامعة ووهان؛

(5) نان شوي، مجموعة آنت ([email protected])؛

(6) هويجوان شو، جامعة ولاية بنسلفانيا.

:::

:::info هذه الورقة متاحة على arxiv تحت ترخيص CC BY 4.0 DEED.

:::

\