Разделение движения всего тела: представление стратифицированного подхода для решения проблемы разреженных наблюдений

Таблица ссылок

Резюме и 1. Введение

1. Связанные работы

   2.1. Реконструкция движения из разреженных входных данных

   2.2. Генерация движений человека

2. SAGE: Стратифицированная генерация аватаров и 3.1. Постановка задачи и обозначения

   3.2. Разделенное представление движения

   3.3. Стратифицированная диффузия движения

   3.4. Детали реализации

3. Эксперименты и метрики оценки

   4.1. Набор данных и метрики оценки

   4.2. Количественные и качественные результаты

   4.3. Исследование абляции

4. Заключение и ссылки

\ Дополнительные материалы

A. Дополнительные исследования абляции

B. Детали реализации

2. Связанные работы

2.1. Реконструкция движения из разреженных входных данных

Задача реконструкции полного движения человеческого тела из разреженных наблюдений привлекла значительное внимание в последние десятилетия в исследовательском сообществе [1, 3, 5, 7, 10, 11, 16, 18, 19, 46, 47, 49–51, 54]. Например, недавние работы [16, 19, 46, 50, 51] сосредоточены на реконструкции движения всего тела с помощью шести инерциальных измерительных устройств (IMU). SIP [46] использует эвристические методы, в то время как DIP [16] является пионером в использовании глубоких нейронных сетей для этой задачи. PIP [51] и TIP [19] дополнительно улучшают производительность, включая физические ограничения. С ростом приложений VR/AR исследователи обращают свое внимание на реконструкцию движения всего тела с устройств VR/AR, таких как устройства с головным креплением (HMD), которые предоставляют информацию только о голове и руках пользователя, что создает дополнительные проблемы. LoBSTr [49], AvatarPoser [18] и AvatarJLM [54] подходят к этой задаче как к проблеме регрессии, используя GRU [49] и сеть Transformer [18, 54] для прогнозирования позы всего тела из разреженных наблюдений HMD. Другая линия методов использует генеративные модели [5, 7, 10, 11]. Например, VAEHMD [10] и FLAG [5] используют вариационный автоэнкодер (VAE) [20] и нормализующий поток [35] соответственно. Недавние работы [7, 11] используют более мощные диффузионные модели [15, 38] для генерации движения, что дает многообещающие результаты благодаря мощной способности диффузионных моделей моделировать условное вероятностное распределение движения всего тела.

\ В отличие от предыдущих методов, которые моделируют движение всего тела в комплексной, унифицированной структуре, наш подход признает сложности, которые такие методы накладывают на модели глубокого обучения, особенно при захвате сложной кинематики движения человека. Следовательно, мы предлагаем стратифицированный подход, который разделяет традиционный конвейер реконструкции аватара всего тела, сначала для верхней части тела, а затем для нижней части тела при условии верхней части тела.

\

:::info Авторы:

(1) Хань Фэн, равный вклад, упорядочены по алфавиту из Уханьского университета;

(2) Вэньчао Ма, равный вклад, упорядочены по алфавиту из Пенсильванского государственного университета;

(3) Цюанькай Гао, Университет Южной Калифорнии;

(4) Сяньвэй Чжэн, Уханьский университет;

(5) Нань Сюэ, Ant Group ([email protected]);

(6) Хуэйцзюань Сюй, Пенсильванский государственный университет.

:::

:::info Эта статья доступна на arxiv по лицензии CC BY 4.0 DEED.

:::

\