Розділення руху всього тіла: представлення стратифікованого підходу для вирішення проблеми розріджених спостережень

Таблиця посилань

Анотація та 1. Вступ

1. Пов'язані роботи

   2.1. Реконструкція руху з розріджених вхідних даних

   2.2. Генерація руху людини

2. SAGE: Стратифікована генерація аватарів та 3.1. Формулювання проблеми та позначення

   3.2. Розділене представлення руху

   3.3. Стратифікована дифузія руху

   3.4. Деталі реалізації

3. Експерименти та метрики оцінювання

   4.1. Набір даних та метрики оцінювання

   4.2. Кількісні та якісні результати

   4.3. Дослідження абляції

4. Висновок та посилання

\ Додаткові матеріали

A. Додаткові дослідження абляції

B. Деталі реалізації

2. Пов'язані роботи

2.1. Реконструкція руху з розріджених вхідних даних

Завдання реконструкції повного руху людського тіла з розріджених спостережень отримало значну увагу в останні десятиліття в дослідницькій спільноті [1, 3, 5, 7, 10, 11, 16, 18, 19, 46, 47, 49–51, 54]. Наприклад, нещодавні роботи [16, 19, 46, 50, 51] зосереджуються на реконструкції повного руху тіла з шести інерційних вимірювальних пристроїв (IMU). SIP [46] використовує евристичні методи, тоді як DIP [16] започатковує використання глибоких нейронних мереж для цього завдання. PIP [51] і TIP [19] додатково покращують продуктивність, включаючи фізичні обмеження. З розвитком VR/AR додатків дослідники звертають увагу на реконструкцію повного руху тіла з пристроїв VR/AR, таких як пристрої, що кріпляться на голову (HMD), які надають інформацію лише про голову та руки користувача, створюючи додаткові виклики. LoBSTr [49], AvatarPoser [18] та AvatarJLM [54] підходять до цього завдання як до проблеми регресії, використовуючи GRU [49] та мережу Transformer [18, 54] для прогнозування повної пози тіла з розріджених спостережень HMD. Інший напрямок методів використовує генеративні моделі [5, 7, 10, 11]. Наприклад, VAEHMD [10] та FLAG [5] використовують варіаційний автоенкодер (VAE) [20] та нормалізуючий потік [35] відповідно. Нещодавні роботи [7, 11] використовують потужніші дифузійні моделі [15, 38] для генерації руху, що дає перспективні результати завдяки потужній здатності дифузійних моделей моделювати умовний імовірнісний розподіл руху всього тіла.

\ На відміну від попередніх методів, які моделюють рух всього тіла в комплексній, уніфікованій структурі, наш підхід визнає складності, які такі методи накладають на моделі глибокого навчання, особливо при фіксації складної кінематики руху людини. Тому ми пропонуємо стратифікований підхід, який розділяє традиційний конвеєр реконструкції аватара всього тіла, спочатку для верхньої частини тіла, а потім для нижньої частини тіла за умови верхньої частини тіла.

\

:::info Автори:

(1) Хань Фен, рівний внесок, упорядковано за алфавітом з Уханьського університету;

(2) Веньчао Ма, рівний внесок, упорядковано за алфавітом з Пенсильванського державного університету;

(3) Цюанькай Гао, Університет Південної Каліфорнії;

(4) Сяньвей Чжен, Уханьський університет;

(5) Нань Сюе, Ant Group ([email protected]);

(6) Хуйцзюань Сюй, Пенсильванський державний університет.

:::

:::info Ця стаття доступна на arxiv за ліцензією CC BY 4.0 DEED.

:::

\