Mendeteksi Bias Tersembunyi dalam Sistem Rekomendasi AI

Tabel tautan

Abstrak

1 Pendahuluan

2 Karya Terkait

2.1 Keadilan dan Bias dalam Rekomendasi

2.2 Mengukur Asosiasi Gender dalam Representasi Pemrosesan Bahasa Alami

3 Pernyataan Masalah

4 Metodologi

4.1 Ruang Lingkup

4.3 Bendera

5 Studi Kasus

5.1 Ruang Lingkup

5.2 Implementasi

5.3 Bendera

6 Hasil

6.1 Visualisasi Ruang Laten

6.2 Arah Bias

6.3 Metrik Amplifikasi Bias

6.4 Skenario Klasifikasi

7 Diskusi

8 Keterbatasan & Pekerjaan Masa Depan

9 Kesimpulan dan Referensi

\

3 Pernyataan Masalah

Penelitian rekomendasi faktor laten terpisah telah menjadi semakin populer karena algoritma LFR terbukti memadukan atribut model dalam embedding pengguna dan item yang dihasilkan, menyebabkan output rekomendasi yang tidak stabil dan tidak akurat [44, 58, 62, 65]. Namun, sebagian besar penelitian ini berfokus pada hasil, menyediakan metode mitigasi untuk meningkatkan kinerja tetapi tidak mengatasi potensi bias representasi dalam ruang laten. Akibatnya, hanya sedikit teknik evaluasi yang ada yang menganalisis bagaimana atribut secara eksplisit (karena penggunaan yang berbeda sebagai atribut model) atau implisit ditangkap dalam ruang laten rekomendasi. Untuk yang ada, metrik berfokus pada evaluasi tingkat pemisahan untuk atribut model yang digunakan secara eksplisit dan independen, alih-alih menyelidiki kemungkinan asosiasi bias implisit antara vektor entitas dan atribut sensitif atau bias sistematis yang ditangkap dalam ruang laten [44]. Meskipun bias representasi laten telah menjadi fenomena yang banyak dipelajari dalam jenis pembelajaran representasi lainnya, seperti pemrosesan bahasa alami dan gambar, hal ini tetap relatif kurang diteliti dibandingkan dengan banyaknya penelitian mengenai bias eksposur dan popularitas [23].

\ Karya yang disajikan dalam makalah ini berupaya menutup kesenjangan penelitian saat ini mengenai evaluasi bias representasi dalam algoritma LFR dengan menyediakan kerangka kerja untuk mengevaluasi bias asosiasi atribut. Mengidentifikasi potensi bias asosiasi atribut yang dikodekan ke dalam embedding pengguna dan item (entitas) sangat penting ketika mereka menjadi fitur hilir dalam sistem rekomendasi multi-tahap hibrida, yang sering ditemui dalam pengaturan industri [6, 14]. Mengevaluasi keadilan komposisional dari sistem ini, atau potensi bias dari satu komponen untuk memperkuat ke komponen hilir, menjadi tantangan jika seseorang tidak memahami bagaimana jenis bias ini awalnya terjadi dalam komponen sistem [59]. Memahami keadaan bias saat ini sangat penting ketika mengaudit dan menyelidiki sistem sebelum mitigasi dalam praktik [9]. Metode yang kami usulkan berupaya menurunkan hambatan bagi praktisi dan peneliti yang ingin memahami bagaimana bias asosiasi atribut dapat menyusup ke dalam sistem rekomendasi mereka. Teknik evaluasi ini akan memungkinkan praktisi untuk lebih akurat menentukan atribut apa yang harus dipisahkan dalam mitigasi dan memberikan dasar untuk menganggap mitigasi berhasil.

\ Kami menerapkan metode ini pada studi kasus industri untuk menilai bias asosiasi atribut gender pengguna dalam model LFR untuk rekomendasi podcast. Penelitian sebelumnya terutama berfokus pada evaluasi bias gender penyedia karena kurangnya data yang tersedia untuk umum tentang bias gender pengguna; sejauh pengetahuan kami, karya kami memberikan salah satu pandangan pertama ke dalam kuantifikasi bias gender pengguna dalam rekomendasi podcast. Kami berharap pengamatan kami membantu praktisi industri lain untuk mengevaluasi gender pengguna dan bias asosiasi atribut sensitif lainnya dalam sistem mereka, memberikan wawasan kuantitatif tentang mendengarkan podcast melampaui studi pengguna kualitatif sebelumnya, dan mendorong diskusi masa depan dan transparansi yang lebih besar tentang topik sensitif dalam sistem industri.

\

:::info Penulis:

1. Lex Beattie
2. Isabel Corpus
3. Lucy H. Lin
4. Praveen Ravichandran

:::

:::info Makalah ini tersedia di arxiv di bawah lisensi CC by 4.0 Deed (Atribusi 4.0 Internasional).

:::

\