Memisahkan Gerakan Seluruh Tubuh: Memperkenalkan Pendekatan Bertingkat untuk Menyelesaikan Tantangan Pengamatan Jarang

Tabel Tautan

Abstrak dan 1. Pendahuluan

1. Karya Terkait

   2.1. Rekonstruksi Gerakan dari Input Jarang

   2.2. Generasi Gerakan Manusia

2. SAGE: Generasi Avatar Bertingkat dan 3.1. Pernyataan Masalah dan Notasi

   3.2. Representasi Gerakan Terpisah

   3.3. Difusi Gerakan Bertingkat

   3.4. Detail Implementasi

3. Eksperimen dan Metrik Evaluasi

   4.1. Dataset dan Metrik Evaluasi

   4.2. Hasil Kuantitatif dan Kualitatif

   4.3. Studi Ablasi

4. Kesimpulan dan Referensi

\ Materi Tambahan

A. Studi Ablasi Tambahan

B. Detail Implementasi

2. Karya Terkait

2.1. Rekonstruksi Gerakan dari Input Jarang

Tugas merekonstruksi gerakan tubuh manusia secara penuh dari pengamatan yang jarang telah mendapatkan perhatian signifikan dalam beberapa dekade terakhir di komunitas penelitian [1, 3, 5, 7, 10, 11, 16, 18, 19, 46, 47, 49–51, 54]. Misalnya, karya-karya terbaru [16, 19, 46, 50, 51] berfokus pada rekonstruksi gerakan tubuh penuh dari enam unit pengukuran inersia (IMU). SIP [46] menggunakan metode heuristik, sementara DIP [16] mempelopori penggunaan jaringan saraf dalam untuk tugas ini. PIP [51] dan TIP [19] lebih meningkatkan kinerja dengan menggabungkan batasan fisika. Dengan munculnya aplikasi VR/AR, para peneliti mengalihkan perhatian mereka pada rekonstruksi gerakan tubuh penuh dari perangkat VR/AR, seperti perangkat yang dipasang di kepala (HMD), yang hanya memberikan informasi tentang kepala dan tangan pengguna, menimbulkan tantangan tambahan. LoBSTr [49], AvatarPoser [18], dan AvatarJLM [54] mendekati tugas ini sebagai masalah regresi, menggunakan GRU [49] dan Jaringan Transformer [18, 54] untuk memprediksi pose tubuh penuh dari pengamatan jarang HMD. Lini metode lain menggunakan model generatif [5, 7, 10, 11]. Misalnya, VAEHMD [10] dan FLAG [5] masing-masing menggunakan Variational AutoEncoder (VAE) [20] dan Normalizing flow [35]. Karya-karya terbaru [7, 11] memanfaatkan model difusi yang lebih kuat [15, 38] untuk generasi gerakan, menghasilkan hasil yang menjanjikan karena kemampuan kuat model difusi dalam memodelkan distribusi probabilistik bersyarat dari gerakan tubuh penuh.

\ Berbeda dengan metode sebelumnya yang memodelkan gerakan tubuh penuh dalam kerangka kerja terpadu yang komprehensif, pendekatan kami mengakui kompleksitas yang ditimbulkan metode tersebut pada model pembelajaran mendalam, terutama dalam menangkap kinematika rumit dari gerakan manusia. Oleh karena itu, kami mengusulkan pendekatan bertingkat yang memisahkan alur rekonstruksi avatar tubuh penuh konvensional, pertama untuk tubuh bagian atas dan kemudian untuk tubuh bagian bawah dengan kondisi tubuh bagian atas.

\

:::info Penulis:

(1) Han Feng, kontribusi setara, diurutkan berdasarkan abjad dari Universitas Wuhan;

(2) Wenchao Ma, kontribusi setara, diurutkan berdasarkan abjad dari Universitas Negeri Pennsylvania;

(3) Quankai Gao, Universitas California Selatan;

(4) Xianwei Zheng, Universitas Wuhan;

(5) Nan Xue, Ant Group ([email protected]);

(6) Huijuan Xu, Universitas Negeri Pennsylvania.

:::

:::info Makalah ini tersedia di arxiv di bawah lisensi CC BY 4.0 DEED.

:::

\