Pentingnya Pemisahan: SAGE Mengungguli Baseline VQ-VAE Terpadu dalam Gerakan Tubuh Penuh

Tabel Tautan

Abstrak dan 1. Pendahuluan

1. Karya Terkait

   2.1. Rekonstruksi Gerakan dari Input Jarang

   2.2. Generasi Gerakan Manusia

2. SAGE: Generasi Avatar Berlapis dan 3.1. Pernyataan Masalah dan Notasi

   3.2. Representasi Gerakan Terpisah

   3.3. Difusi Gerakan Berlapis

   3.4. Detail Implementasi

3. Eksperimen dan Metrik Evaluasi

   4.1. Dataset dan Metrik Evaluasi

   4.2. Hasil Kuantitatif dan Kualitatif

   4.3. Studi Ablasi

4. Kesimpulan dan Referensi

\ Materi Tambahan

A. Studi Ablasi Tambahan

B. Detail Implementasi

4.3. Studi Ablasi

Kami melakukan studi ablasi di bawah S1 untuk membenarkan pilihan desain setiap komponen dalam SAGE Net kami.

\

\

\

\ Codebook Terpisah: Kami membuat baseline menggunakan representasi gerakan terpadu untuk mengevaluasi strategi pemisahan. Secara khusus, kami mengembangkan model VQ-VAE seluruh tubuh yang mengkodekan gerakan seluruh tubuh ke dalam satu codebook diskrit terpadu. Komponen lainnya sama dengan model asli. Hasil yang ditunjukkan pada baris pertama dan terakhir di Tabel 5, menunjukkan bahwa pendekatan kami yang menggunakan laten terpisah secara signifikan mengungguli baseline pada semua metrik evaluasi. Ini menunjukkan bahwa pemisahan dapat menyederhanakan proses pembelajaran dengan memungkinkan model untuk fokus pada serangkaian gerakan dan interaksi yang lebih terbatas. Selain itu, Gambar 5 menunjukkan perbandingan visualisasi antara model kami dan model baseline, memverifikasi bahwa pemisahan dapat secara signifikan meningkatkan hasil rekonstruksi untuk gerakan bawah yang paling menantang.

\

\ Strategi Pemisahan: Untuk menyelidiki strategi pemisahan optimal, kami mengeksplorasi konfigurasi pemisahan ekstrem dengan mengikuti jalur dari akar

\

\ (Pelvis) node ke setiap node daun sepanjang pohon kinematik. Secara khusus, kami membagi tubuh menjadi lima segmen: jalur dari akar ke tangan kiri (a), tangan kanan (b), kepala (c), kaki kiri (d), dan kaki kanan (e). Seperti dilaporkan dalam dua baris terakhir Tab. 5, interkoneksi sendi alami dalam tubuh bagian atas (atau bawah) terganggu ketika lebih lanjut memisahkan tubuh manusia, mengakibatkan penurunan kinerja dan memperumit desain model.

\

\ Keterbatasan: Dalam Gambar 6, baik metode state-of-the-art sebelumnya dan model kami menghadapi kesulitan dalam dua situasi utama: (1) Gerakan yang Diinduksi Gaya Eksternal (baris atas). (2) Pose Tidak Konvensional (baris bawah). Penambahan sampel yang lebih bervariasi ke dataset pelatihan berpotensi meningkatkan kinerja model di area-area ini.

\

:::info Penulis:

(1) Han Feng, kontribusi setara, diurutkan berdasarkan abjad dari Universitas Wuhan;

(2) Wenchao Ma, kontribusi setara, diurutkan berdasarkan abjad dari Universitas Negeri Pennsylvania;

(3) Quankai Gao, Universitas California Selatan;

(4) Xianwei Zheng, Universitas Wuhan;

(5) Nan Xue, Grup Ant ([email protected]);

(6) Huijuan Xu, Universitas Negeri Pennsylvania.

:::

:::info Makalah ini tersedia di arxiv di bawah lisensi CC BY 4.0 DEED.

:::

\