Risiko Nyata AI dalam Pengujian: Kepercayaan Palsu, Bukan Bug

Dasbor menyala hijau. Semua smoke test berhasil. Asisten AI menghasilkan kasus uji baru, membersihkan yang lama, dan bahkan melaporkan dalam hitungan menit bagaimana cakupan pengujian telah meningkat. Tim bergerak menuju peluncuran dengan percaya diri pada hari Jumat.

Sekarang, ini hari Senin pagi.

Ada tiket di dukungan. Pelanggan yang alamat tersimpannya tidak bisa checkout. Bagaimana alamat tersimpan mereka rusak? UI terlihat benar-benar rusak pada perangkat mobile biasa. API penting tidak memiliki penanganan edge case yang kuat. Jika diambil secara keseluruhan, semua masalah ini menunjukkan ancaman yang lebih besar: kesediaan tim untuk secara membabi buta mengandalkan input eksternal, dengan asumsi semuanya benar.

Itulah bahaya nyata yang dibawa AI ke QA.

Bukan berarti AI akan memperkenalkan bug ke pengujian kita. Semua perangkat lunak memiliki bug. Semua tim QA pandai mengidentifikasi dan menyelesaikannya. Namun, ancaman yang lebih besar dari AI adalah dapat membuat tim percaya pengujian mereka menyeluruh padahal sebenarnya tidak. Dengan AI dalam pengujian, tim QA dapat memperoleh rasa nyaman yang salah bahwa semuanya akurat.

Kepercayaan palsu ini bisa sangat mahal. Kepercayaan diri berlebihan ini dapat menyebabkan kewajiban finansial yang besar. Bahkan sistem AI yang diuji sepenuhnya terkadang dapat gagal ketika dihadapkan dengan kompleksitas dunia nyata. McDonald's baru-baru ini menutup sistem AI IBM yang sedang diuji di konter drive-thru-nya setelah berulang kali membuat kesalahan dalam pesanan. Ini adalah pengingat bahwa bahkan teknologi yang dapat diandalkan dapat memiliki cacat serius.

Apa Arti Sebenarnya Kepercayaan Palsu dalam QA

Masalah sebenarnya terjadi ketika tim yakin bahwa pengujian telah cukup menguji sistem tertentu. Rasa aman yang salah ini berasal dari fakta bahwa risiko keamanan yang relevan tidak ditemukan atau tidak diuji secara ketat.

Ini telah lama menjadi masalah dalam metode otomasi tradisional. Dalam metode ini, sejumlah besar pengujian mungkin dijalankan, tetapi tidak ada banyak kedalaman dalam pengujian. Fakta bahwa laporan pipeline mengatakan semua pemeriksaan telah lulus (semua hijau) tidak berarti bahwa sistem itu sendiri akan tentu beroperasi dengan sempurna.

Otomasi menjadi lebih kompleks saat menerapkan AI. Satu hal yang perlu diketahui tentang model bahasa AI adalah bahwa mereka dapat menyajikan informasi dengan cara yang tampak menarik tetapi sebenarnya menyesatkan. 

Kita mungkin melihat pengujian berjalan dan bahkan cakupan pengujian yang lebih baik, karena AI membantu dengan konstruksi pengujian dan analisis hasil dari setiap pengujian yang dijalankan. Semua ini bermanfaat.

Tetapi tidak semua manfaat dapat diandalkan sepenuhnya.

Pengujian yang dibangun oleh AI mungkin melewatkan beberapa bagian penting dari logika bisnis. Atau, mungkin dirancang hanya untuk menguji skenario umum. Pengujian seperti itu akan tampak sepenuhnya memadai. Jika hasilnya bersih dan diungkapkan dengan jelas, tim kemungkinan akan melihat pengujian sebagai memadai, meninggalkan cacat serius yang tidak ditemukan.

Itulah mengapa pengujian sering dapat menciptakan peluang bagi tim untuk membuat asumsi yang salah.

Pertanyaan yang lebih penting hari ini, bagi siapa pun yang terlibat dalam pengujian perangkat lunak otomatis menggunakan kecerdasan buatan, seharusnya bukan "Apakah AI membangun pengujian lebih efisien?" Tetapi, seharusnya "Apakah pengujian yang dibangun oleh AI benar-benar dapat diandalkan?"

Mengapa AI Membuat Masalah Lebih Sulit Diperhatikan

Pengujian manual yang buruk dapat dengan cepat diidentifikasi. Pengujian terskrip yang tidak ditulis dengan benar sering membuat kesalahan.

​Tetapi ketika pengujian yang dibangun oleh kecerdasan buatan (AI) gagal, sulit untuk mengetahui sekilas. Mereka mungkin membuat pernyataan yang tampak sangat akurat, dan nama dan skenario yang tampak realistis. Tetapi mereka mungkin secara diam-diam menghilangkan faktor-faktor yang paling penting. Mereka mungkin salah menafsirkan tujuan sebenarnya dari sebuah fitur. Mereka mungkin menyajikan ide yang sama dengan cara yang berbeda. AI juga dapat membuat laporan yang terlalu percaya diri tentang rilis perangkat lunak tanpa bukti yang cukup.

​Ini menciptakan kesenjangan berbahaya antara kelancaran yang tampak di luar dan kualitas yang ada di dalam.

​Dalam jaminan kualitas (QA), kepercayaan kita harus berasal dari ketertelusuran pengujian, kedalaman cakupan, penilaian risiko, dan hasil yang dapat diamati. Bukan dari seberapa cantik data yang dihasilkan oleh AI untuk dilihat.

Lima Cara AI Menciptakan Kepercayaan Palsu dalam QA Modern

Pengujian Berlebihan pada Skenario Umum

AI unggul di mana ada pola reguler. Oleh karena itu, mudah tertarik pada aliran normal, input yang diharapkan, dan perilaku pengguna umum.

Tetapi cacat perangkat lunak serius sering bersembunyi di tempat lain:

• Transisi status: Selama perubahan dari satu status ke status lain.
• Masalah waktu: Kesalahan dalam waktu proses.
• Percobaan ulang dan interupsi: Masalah ketika transaksi yang gagal dicoba ulang atau diinterupsi.
• Batas izin: Celah keamanan di batas izin.
• Kegagalan parsial: Ketika hanya bagian dari sistem gagal tanpa benar-benar crash.
• Input dunia nyata yang tidak konsisten: Informasi acak yang diberikan oleh pelanggan di dunia nyata. 

Jika pengujian yang dihasilkan AI hanya mengikuti skenario umum yang dibayangkan oleh desainer produk, mereka akan meninggalkan jalur berisiko tidak tersentuh. Ini hanya berfungsi untuk menciptakan ilusi bahwa pengujian lengkap.

Menciptakan Assertion yang Buruk 

Nilai sebenarnya dari pengujian adalah apa yang dibuktikannya tentang perangkat lunak. Terlalu banyak pengujian yang mengerikan mencakup cakupan tindakan yang besar pada aplikasi, tetapi tidak memeriksa dengan benar apakah tindakan ini berhasil untuk bisnis. Pengujian hanyalah gerakan di mana semua yang dilakukannya adalah mengklik tombol, mengisi bidang, mengklik lebih banyak tombol, melihat layar, dan melihat sesuatu muncul.

AI dapat menjalankan pengujian otomatis ringan seperti itu jauh lebih cepat daripada manusia. Namun, jika kondisi pengujian Anda (assertion) terlalu umum, didefinisikan dengan buruk, atau tidak relevan dengan kasus penggunaan bisnis, maka sekadar menjalankan pengujian lulus tidak memberikan banyak keamanan untuk rilis perangkat lunak. Pengujian lulus dalam checkout mungkin hanya menampilkan banner sukses dan tidak memastikan bahwa pesanan diproses dengan benar (pajak, total, dll.), bahwa email dikirim, atau bahwa inventaris dikurangi.

Lebih Banyak Jumlah Kasus Uji & Lebih Banyak Cacat

Tim mungkin memeriksa 40 kasus uji yang ditulis dengan tangan. Tetapi mereka mungkin tidak mengambil pendekatan yang sama untuk 400 yang dibuat dengan cepat menggunakan AI. Ini adalah salah satu jebakan terbesar dari jaminan kualitas (QA) berbasis AI: pengujian yang cermat secara alami menurun seiring jumlah meningkat.

Memiliki lebih banyak kasus uji dapat memberi kita semacam kepercayaan psikologis. Ketika jumlah meningkat, kita merasa bahwa rangkaian pengujian sangat luas dan laporannya sempurna. Tetapi meningkatkan jumlah kasus uji tidak pernah menjadi pengganti kualitas mereka.

Tanpa pemetaan risiko yang tepat dan ketertelusuran persyaratan, AI hanya akan membantu mencatat tebakan daripada memeriksa kualitas sebenarnya dari sistem.

Menciptakan Kepercayaan Buta pada Lampu Hijau

Ketika laporan pipeline selalu menunjukkan hijau, ini memberi tim rasa percaya diri yang kuat dan mendorong keputusan cepat. Ini menghilangkan hambatan untuk menyelesaikan pekerjaan, sehingga perasaan aman ini menyebar dengan mudah saat tim mulai membangun, memperbaiki, dan memprioritaskan pengujian mereka sendiri menggunakan AI. Insting mereka bergeser dari memeriksa dan memverifikasi hasil menjadi hanya mempercayai sistem secara membabi buta. Di permukaan, tampaknya kecil, tetapi dapat mengubah budaya QA selamanya. Pertanyaan berhenti menjadi "risiko apa yang dicakup pengujian ini?" dan menjadi "apakah AI menjalankan pengujian untuk ini?" Pada titik ini, orang cenderung menganggap semuanya baik-baik saja dan berhenti mempertanyakan kualitas.

Membuat Bahkan Kesalahan Buta yang Tampak Cerdas

Salah satu fitur paling berbahaya dari sistem AI modern adalah bahwa mereka dapat menyajikan bahkan kesalahan yang paling jelas dengan keaslian yang besar. Ini sangat penting dalam jaminan kualitas (QA).

Bahkan jika pengujian AI ditulis dengan kesalahpahaman tentang persyaratan atau informasi yang tidak lengkap, outputnya akan sangat akurat dan dipoles untuk terlihat seperti ditulis dengan benar. Pengujian biasa tidak akan dapat dengan cepat menemukan kesalahan. Bahaya di sini tidak hanya pada kesalahan itu sendiri, tetapi juga pada seberapa mudah kesalahan itu dapat dipercaya.

Kesalahan yang jelas mungkin dapat dengan cepat diperbaiki. Tetapi kesimpulan palsu yang tampak dapat dipercaya kemungkinan akan dirilis tanpa diuji.

Apa yang Dilakukan Tim QA Cerdas Secara Berbeda

Ini tidak berarti bahwa AI harus sepenuhnya dihindari.

Solusinya adalah menggunakannya tanpa menyerahkan penilaian Anda kepada AI. Tim jaminan kualitas (QA) terbaik melihat AI sebagai asisten, bukan sesuatu yang harus dipercaya secara membabi buta. Sementara mereka menggunakannya untuk meningkatkan kecepatan, mereka tidak memberikan kepercayaan akhir. Artinya, mereka mengikuti gaya kerja di mana mereka hanya mempercayai output yang diberikan oleh AI setelah memverifikasinya.

Mari kita lihat bagaimana itu bekerja dalam praktik.

Pahami Risiko Sebelum Membangun Pengujian

Sebelum membuat kasus uji, Anda harus dengan jelas mendefinisikan masalah utama yang dapat mempengaruhi bisnis atau pengguna.

Area yang terkait dengan transaksi keuangan, masalah hukum (kepatuhan), identitas, izin, dan kepercayaan pelanggan harus menjadi yang pertama diperhatikan. Apa kesalahan yang terjadi sangat jarang tetapi menyebabkan banyak kerugian? Di mana kesalahan mudah tidak diperhatikan?

AI dapat memberikan ide baru di area tersebut. Tetapi terserah pada manusia untuk memutuskan di mana lebih banyak risiko berada.

Periksa Apa yang Diassert Pengujian, Bukan Hanya Langkah-langkahnya

Setiap langkah dalam kasus uji yang dihasilkan AI mungkin tampak benar pada pandangan pertama. Tetapi pertanyaan sebenarnya adalah apakah pengujian sebenarnya menguji hasil yang benar.

Adalah ide yang baik untuk mengembangkan kebiasaan sederhana saat menguji: fokus lebih pada apa yang dibuktikan pengujian daripada bagaimana cara kerjanya.

Pertahankan Cakupan Pengujian Berlapis

Satu lapisan pengujian saja tidak dapat menjamin bahwa sistem lengkap. Unit testing, API, integrasi, end-to-end (E2E), exploratory testing, dan umpan balik produksi semuanya mengekspos berbagai jenis risiko.

Jika AI menguji hanya satu lapisan, tim tidak boleh menganggap bahwa sistem mereka sepenuhnya aman. Setiap lapisan harus diuji dengan kepentingannya sendiri.

Masa Depan QA Bukan Lebih Sedikit Manusia

Banyak yang takut bahwa AI dalam pengujian akan menjadi usaha tanpa manusia. Tetapi pada kenyataannya, yang terjadi adalah sebaliknya.

Saat AI mengambil alih tugas berulang, intervensi manusia menjadi lebih berharga. Mengidentifikasi risiko, menghilangkan ambiguitas, mempertanyakan asumsi, menguji edge case yang kompleks, dan bertanya "Apakah sistem aman karena pengujian lulus?" Semua ini memerlukan kecerdasan manusia.

Ini bukan tentang lebih sedikit pekerjaan, tetapi tentang kualitas yang lebih baik. Tim terbaik di masa depan bukan mereka yang membangun pengujian yang tak terhitung jumlahnya. Mereka adalah mereka yang dapat bekerja dengan cepat dan hati-hati, tetapi mempertanyakan di mana perlu.

Karena bug dalam sistem selalu terlihat. Tetapi kepercayaan diri yang berlebihan sering membuat kita mengabaikannya.

Pelajaran untuk Langkah Selanjutnya

AI tentu dapat mempercepat proses QA. Ini dapat membantu tim membangun pengujian, mengurangi tugas berulang, dan merespons perubahan lebih cepat.

Tetapi kecepatan tanpa pengawasan ini dapat menyebabkan jenis masalah kualitas baru. Ketika pengujian yang dihasilkan AI membuat kita merasa lengkap, ketika dasbor mengkilap membuat kita percaya padanya, ketika laporan mewah lebih diutamakan daripada evaluasi yang ketat, QA tidak benar-benar kuat. Sebaliknya, menjadi mudah tertipu.

Tim paling aman adalah mereka yang mengingat fakta sederhana bahwa hanya karena pengujian lulus, itu bukan bukti mutlak bahwa sistem aman. Itu hanya indikasi, dan kecerdasan manusia masih perlu digunakan untuk mengevaluasi indikasi itu.

Jadi, ancaman nyata yang ditimbulkan AI pada QA bukanlah bug. Melainkan, kepercayaan palsu yang diberikannya.