Penyelidikan layanan kesehatan Kanada semakin dalam saat kesalahan laporan Deloitte menimbulkan kekhawatiran baru tentang AI dalam pekerjaan kebijakan

Pengawasan terhadap penelitian kebijakan publik semakin intensif setelah kesalahan laporan deloitte terungkap dalam tinjauan kesehatan Kanada yang mendapat sorotan tinggi.

Bagaimana masalah terkait AI muncul dalam tinjauan kesehatan Newfoundland dan Labrador?

Analisis kesehatan yang ditugaskan pemerintah Kanada oleh Deloitte, dengan biaya hampir $1,6 juta, berisi ketidakakuratan yang tampaknya dihasilkan AI, menurut investigasi oleh The Independent. Dokumen 526 halaman, yang dirilis oleh pemerintah Newfoundland dan Labrador pada Mei, merupakan salah satu kontrak konsultasi termahal baru-baru ini di sektor kesehatan provinsi tersebut.

Laporan tersebut disiapkan untuk Departemen Kesehatan dan Layanan Masyarakat yang saat itu dipimpin Liberal. Laporan ini mengkaji perawatan virtual, insentif retensi, dan dampak pandemi COVID-19 pada pekerja kesehatan, pada saat Newfoundland dan Labrador menghadapi kekurangan perawat dan dokter yang serius. Namun, tinjauan media selanjutnya menimbulkan pertanyaan tentang keandalan bukti yang mendasari rekomendasi tersebut.

The Independent, media progresif yang berfokus pada provinsi paling timur Kanada, menemukan beberapa potensi ketidakakuratan dan anomali. Selain itu, investigasinya menunjukkan beberapa kutipan penelitian yang mendasarinya mungkin telah diproduksi atau didistorsi dengan bantuan alat kecerdasan buatan, meskipun narasi utamanya tidak ditulis oleh mesin.

Jenis kesalahan laporan kesehatan kanada apa yang ditemukan oleh para investigator?

Menurut The Independent, laporan Deloitte mencakup kutipan akademis palsu yang merujuk pada makalah ilmiah rekaan. Sumber-sumber fiktif tersebut digunakan untuk mendukung analisis efektivitas biaya, komponen penting dalam membentuk keputusan pengeluaran kesehatan. Laporan tersebut juga salah mengatribusikan peneliti nyata ke studi yang tidak pernah mereka kerjakan, menciptakan kesan bukti yang kuat padahal tidak ada.

Beberapa kutipan bahkan lebih jauh lagi, menggambarkan makalah yang diduga ditulis bersama oleh peneliti yang mengatakan mereka tidak pernah berkolaborasi. Meskipun demikian, tinjauan tersebut tidak mengklaim bahwa setiap referensi cacat. Sebaliknya, kekhawatiran berpusat pada pola masalah kutipan yang dapat merusak kepercayaan pada kesimpulan laporan tentang staf, perawatan virtual, dan reformasi sistem.

Laporan tersebut juga mengutip artikel yang seharusnya diterbitkan dalam Canadian Journal of Respiratory Therapy. Namun, para investigator tidak dapat menemukan makalah tersebut dalam database jurnal, memperdalam kekhawatiran bahwa alat generatif mungkin telah menciptakan sumber yang terdengar masuk akal tetapi tidak ada.

Bagaimana Deloitte menanggapi tuduhan kutipan yang dihasilkan AI?

Dalam pernyataan kepada Fortune, juru bicara Deloitte Kanada membela substansi pekerjaan tersebut. "Deloitte Kanada dengan tegas mendukung rekomendasi yang diajukan dalam laporan kami," kata juru bicara tersebut. "Kami sedang merevisi laporan untuk membuat sejumlah kecil koreksi kutipan, yang tidak memengaruhi temuan laporan."

Juru bicara tersebut menambahkan bahwa kecerdasan buatan tidak menghasilkan laporan tertulis itu sendiri. Sebaliknya, mereka mengatakan, AI "digunakan secara selektif untuk mendukung sejumlah kecil kutipan penelitian." Namun, mengingat skala studi kesehatan dan kepentingan finansial, kritikus berpendapat bahwa bahkan ketergantungan terbatas pada referensi yang dihasilkan mesin menuntut verifikasi dan transparansi yang jauh lebih ketat.

Selain itu, posisi perusahaan bahwa perbaikan kutipan tidak memengaruhi kesimpulan laporan telah mendapat pengawasan. Beberapa akademisi dan pembuat kebijakan mempertanyakan bagaimana penelitian yang dibuat-buat atau salah atribusi dapat diperbaiki tanpa mengevaluasi kembali model efektivitas biaya atau proyeksi tenaga kerja.

Apa kata peneliti yang terdampak tentang proses pemeriksaan fakta perusahaan konsultan?

Gail Tomblin Murphy, profesor adjunct di Sekolah Keperawatan Universitas Dalhousie di Nova Scotia, adalah salah satu yang dikutip secara tidak benar. Dia memberi tahu The Independent bahwa Deloitte telah merujuknya dalam makalah akademis yang "tidak ada." Dia mencatat bahwa dia hanya pernah bekerja dengan tiga dari enam penulis lain yang disebutkan dalam kutipan palsu, bukan seluruh kelompok yang dijelaskan.

"Kedengarannya jika Anda menghasilkan hal-hal seperti ini, mereka mungkin menggunakan AI secara intensif untuk menghasilkan pekerjaan," kata Tomblin Murphy. Komentarnya menyoroti kegelisahan yang berkembang di komunitas akademis tentang bagaimana alat generatif dapat membuat bibliografi yang meyakinkan tetapi tidak akurat, terutama ketika konsultan tidak secara ketat memverifikasi setiap referensi.

Dia lebih lanjut memperingatkan bahwa laporan yang memandu kebijakan publik harus didukung oleh bukti berkualitas tinggi yang tervalidasi. Selain itu, Tomblin Murphy menekankan bahwa pemerintah dan publik membayar jumlah yang signifikan untuk pekerjaan seperti itu, sehingga harus "akurat dan didasarkan pada bukti serta membantu untuk memajukan hal-hal." Kritiknya menekankan adanya kegagalan dalam uji tuntas daripada sekadar kesalahan teknis tunggal.

Berapa biaya laporan yang ditugaskan pemerintah, dan apa dampak politiknya?

Menurut permintaan akses informasi yang dipublikasikan dalam sebuah blogpost Rabu lalu, pemerintah Kanada membayar sedikit di bawah $1,6 juta untuk studi Deloitte, yang dikeluarkan dalam delapan angsuran. Hingga Senin, laporan tersebut masih tersedia di situs web pemerintah Newfoundland dan Labrador, meskipun ada kontroversi yang muncul mengenai referensi dan metodologinya.

Kepemimpinan politik di provinsi tersebut telah berubah sejak laporan disampaikan. Tony Wakeham, pemimpin Partai Konservatif Progresif di Newfoundland dan Labrador, dilantik sebagai premier baru provinsi tersebut pada akhir Oktober. Namun, baik kantor premier maupun Departemen Kesehatan dan Layanan Masyarakat tidak segera menanggapi pertanyaan Fortune tentang laporan Mei tersebut, dan mereka belum secara publik menangani kekhawatiran tersebut hingga saat ini.

Keheningan itu menyisakan pertanyaan terbuka tentang apakah rekomendasi laporan akan terus memandu kebijakan kesehatan. Hal ini juga menimbulkan prospek pengawasan lebih lanjut oleh legislator provinsi atau badan pengawas federal tentang bagaimana penelitian perusahaan konsultan diperiksa sebelum memengaruhi layanan publik inti.

Bagaimana kesalahan laporan deloitte ini dibandingkan dengan kasus kesejahteraan Australia?

Pengungkapan Kanada mengikuti masalah serupa di Australia. Pada Juli, Deloitte menghasilkan laporan senilai $290.000 untuk membantu pemerintah Australia memperketat kepatuhan kesejahteraan. Studi 237 halaman tersebut juga mengandalkan teknologi generatif dan kemudian ditemukan mengandung "halusinasi," termasuk referensi ke penelitian akademis yang tidak ada dan kutipan palsu dari putusan pengadilan federal.

Setelah seorang peneliti menandai masalah tersebut, Deloitte mengeluarkan versi revisi dari studi Australia. Laporan yang diperbarui, yang diunggah secara diam-diam bulan lalu ke situs web pemerintah, mengakui bahwa perusahaan telah menggunakan sistem bahasa generatif Azure OpenAI untuk membantu membuat dokumen awal. Pengakuan itu datang hanya setelah pengawasan eksternal mengungkap kutipan yang cacat.

Dalam laporan Australia yang diperbarui, Deloitte menulis bahwa "pembaruan yang dilakukan sama sekali tidak berdampak atau memengaruhi konten substantif, temuan, dan rekomendasi dalam laporan." Namun, kritikus berpendapat bahwa sumber yang dibuat-buat secara inheren menimbulkan keraguan pada integritas rekomendasi berbasis bukti apa pun, bukan hanya detail kosmetik. Selain itu, episode kedua ini telah mengintensifkan perdebatan tentang halusinasi ai deloitte dan kekokohan pemeriksaan fakta internal perusahaan.

Konsekuensi finansial apa yang dihadapi Deloitte, dan apa yang masih belum terselesaikan untuk Kanada?

Sebagai bagian dari kasus Australia, firma anggota lokal Deloitte diminta untuk memberikan pengembalian dana sebagian kepada pemerintah federal untuk laporan kesejahteraan yang cacat. Penalti finansial itu menandakan bahwa pejabat menganggap ketidakakuratan terkait AI cukup serius untuk memerlukan kompensasi.

Sebaliknya, belum ada informasi yang dipublikasikan tentang potensi pengembalian dana atau perbaikan kontraktual terkait laporan kesehatan Kanada. Meskipun demikian, tekanan mungkin bertambah karena pembuat kebijakan, pekerja kesehatan, dan pembayar pajak bertanya apakah mereka menerima nilai penuh untuk studi yang sekarang membutuhkan koreksi pasca-publikasi pada basis buktinya.

Secara lebih luas, kedua episode menyoroti risiko yang meningkat ketika pemerintah mengandalkan konsultan besar yang menggunakan teknologi generatif tanpa perlindungan yang ketat. Mereka juga menunjukkan bahwa institusi publik akan membutuhkan standar yang lebih kuat untuk memverifikasi sumber, terutama dalam laporan kebijakan yang panjang dan kompleks yang dapat membentuk layanan penting selama bertahun-tahun.

Singkatnya, pengawasan yang berkembang terhadap tinjauan kesehatan Kanada oleh Deloitte dan studi kesejahteraan Australia menggarisbawahi kebutuhan mendesak akan bukti yang andal, metodologi yang transparan, dan pengawasan yang kuat setiap kali penelitian berbantuan AI menginformasikan keputusan kebijakan publik.