Studi Replikasi tentang Persepsi vs Efektivitas Pengujian Perangkat Lunak

Daftar Tautan

Abstrak

1 Pendahuluan

2 Studi Asli: Pertanyaan Penelitian dan Metodologi

3 Studi Asli: Ancaman Validitas

4 Studi Asli: Hasil

5 Studi Replikasi: Pertanyaan Penelitian dan Metodologi

6 Studi Replikasi: Ancaman Validitas

7 Studi Replikasi: Hasil

8 Diskusi

9 Karya Terkait

10 Kesimpulan Dan Referensi

\

5 Studi Replikasi: Pertanyaan Penelitian Dan Metodologi

Kami memutuskan untuk menyelidiki lebih lanjut hasil studi asli dalam mencari kemungkinan pendorong di balik mispersepsi. Psikologi menganggap bahwa persepsi orang dapat dipengaruhi oleh karakteristik pribadi seperti sikap, minat pribadi dan ekspektasi. Oleh karena itu, kami memutuskan untuk memeriksa pendapat peserta dengan melakukan replikasi yang berbeda dari studi asli [47] yang memperluas tujuannya sebagai berikut:

1. Survei persepsi efektivitas diperluas untuk menyertakan pertanyaan tentang program.

2. Kami ingin mengetahui apakah persepsi peserta mungkin dikondisikan oleh pendapat mereka. Lebih tepatnya: preferensi mereka (teknik favorit), kinerja mereka (teknik yang mereka pikir paling baik diterapkan) dan kompleksitas teknik atau program (teknik yang mereka pikir paling mudah diterapkan, atau program paling sederhana untuk diuji).

   \ Oleh karena itu, studi replikasi memeriksa kembali RQ1 yang dinyatakan dalam studi asli (kali ini survei yang diambil oleh peserta juga mencakup pertanyaan mengenai program), dan membahas pertanyaan penelitian baru berikut:

   – RQ1.6: Apakah persepsi peserta terkait dengan jumlah cacat yang dilaporkan oleh peserta? Kami ingin menilai apakah peserta memandang sebagai teknik yang paling efektif adalah teknik yang dengannya mereka telah melaporkan lebih banyak cacat.

   – RQ2: Dapatkah pendapat peserta digunakan sebagai prediktor untuk efektivitas pengujian?

   – RQ2.1: Apa pendapat peserta tentang teknik dan program? Kami ingin mengetahui apakah peserta memiliki pendapat yang berbeda tentang teknik atau program.

   – RQ2.2: Apakah pendapat peserta memprediksi efektivitas mereka? Kami ingin menilai apakah pendapat yang dimiliki peserta tentang teknik (atau program) memprediksi mana yang paling efektif bagi mereka.

   – RQ3: Apakah ada hubungan antara persepsi dan pendapat peserta?

   – RQ3.1: Apakah ada hubungan antara persepsi dan pendapat peserta? Kami ingin menilai apakah pendapat yang dimiliki peserta tentang teknik (atau program) terkait dengan persepsi mereka.

   – RQ3.2: Apakah ada hubungan antara pendapat peserta? Kami ingin menilai apakah pendapat tertentu yang dimiliki peserta tentang teknik terkait dengan pendapat lain.

   \ Untuk menjawab pertanyaan-pertanyaan ini, kami mereplikasi studi asli dengan siswa dari kursus yang sama pada tahun akademik berikutnya. Kali ini kami memiliki 46 siswa. Perubahan yang dibuat pada replikasi eksperimen adalah sebagai berikut: – Kuesioner yang harus diselesaikan oleh peserta di akhir eksperimen diperluas untuk menyertakan pertanyaan baru. Informasi yang ingin kami tangkap dengan pertanyaan pendapat adalah: – Kinerja peserta pada teknik. Dengan pertanyaan ini kami merujuk pada kesesuaian proses. Teknik yang diterapkan paling baik adalah teknik yang menurut setiap peserta dia terapkan lebih menyeluruh. Ini sesuai dengan OT1: Teknik mana yang Anda terapkan paling baik?

   \ – Preferensi peserta. Kami ingin mengetahui teknik favorit dari setiap peserta. Yang dia rasa paling nyaman saat diterapkan. Ini sesuai dengan OT2: Teknik mana yang paling Anda sukai?

   – Kompleksitas teknik. Kami ingin mengetahui teknik yang menurut setiap peserta paling mudah untuk mendapatkan kesesuaian proses. Ini sesuai dengan OT3: Teknik mana yang paling mudah diterapkan?

   \ – Kemudahan pengujian program. Kami ingin mengetahui program yang lebih mudah untuk diuji. Yaitu, program di mana kesesuaian proses dapat diperoleh dengan lebih mudah. Ini sesuai dengan OP1: Program mana yang paling sederhana? Tabel 16 merangkum pertanyaan survei. Kami memilih pertanyaan-pertanyaan ini karena kami perlu mengajukan pertanyaan sederhana, yang dapat dengan mudah dipahami oleh peserta, sekaligus bermakna. Kami tidak ingin membebani peserta dengan pertanyaan kompleks yang memiliki banyak penjelasan. Kuesioner yang kompleks mungkin membuat siswa enggan untuk mengirimkannya.

   \ – Kesalahan program diubah. Studi asli dirancang agar semua teknik efektif dalam menemukan semua cacat yang diinjeksikan. Kami memilih kesalahan yang dapat dideteksi oleh semua teknik sehingga teknik dapat dibandingkan secara adil. Studi replikasi dirancang untuk mencakup situasi di mana beberapa kesalahan tidak dapat dideteksi oleh semua teknik. Oleh karena itu, kami menginjeksikan beberapa kesalahan yang tidak efektif dideteksi oleh teknik. Misalnya, BT tidak dapat mendeteksi fitur yang tidak diimplementasikan (karena peserta diharuskan menghasilkan kasus uji hanya dari kode sumber). Demikian pula,

EP tidak dapat menemukan kesalahan yang deteksinya bergantung pada kombinasi dua kelas ekuivalensi yang tidak valid. Oleh karena itu, dalam studi replikasi, kami menginjeksikan beberapa kesalahan yang dapat dideteksi oleh BT tetapi tidak oleh EP dan beberapa kesalahan yang dapat dideteksi oleh EP tetapi tidak oleh BT ke dalam setiap program (setiap program disemai dengan enam kesalahan). Perhatikan bahwa desainnya seimbang: kami menginjeksikan jumlah kesalahan yang sama yang dapat dideteksi oleh BT, tetapi tidak EP, dengan kebalikannya –EP dapat mendeteksi, tetapi tidak BT). Perubahan ini diharapkan mempengaruhi efektivitas EP dan BT, yang mungkin lebih rendah dari studi asli. Ini seharusnya tidak mempengaruhi efektivitas CR.

– Kami mengubah urutan aplikasi program untuk mempelajari lebih lanjut masalah maturasi. Urutannya sekarang: cmdline, ntree, nametbl. Perubahan ini seharusnya tidak mempengaruhi hasil.

– Peserta menjalankan kasus uji mereka sendiri. Bisa jadi mispersepsi yang diperoleh dalam studi asli disebabkan oleh fakta bahwa peserta tidak menjalankan kasus uji mereka sendiri.

– Tidak ada dua versi lagi tetapi satu. Kesalahan dan kegagalan bukan tujuan dari studi ini. Ini membantu menyederhanakan eksperimen. Tabel 17 menunjukkan ringkasan perubahan yang dibuat pada studi.

Untuk mengukur efektivitas teknik kami melanjutkan dengan cara yang sama seperti dalam studi asli. Kami tidak mengandalkan kegagalan yang dilaporkan, karena peserta dapat:

1. Melaporkan positif palsu (kegagalan yang tidak nyata).
2. Melaporkan kegagalan yang sama lebih dari sekali (meskipun mereka diminta untuk tidak melakukannya).
3. Melewatkan kegagalan yang sesuai dengan kesalahan yang telah dilakukan oleh teknik, tetapi karena alasan tertentu tidak terlihat.

Kami mengukur variabel respons baru (cacat yang dilaporkan) dengan menghitung jumlah kesalahan/kegagalan yang dilaporkan oleh setiap peserta. Kami menganalisis RQ2.1 dengan cara yang sama seperti RQ1.1, dan RQ1.6, RQ2.2, RQ3.1 dan RQ3.2 seperti RQ1.2. Tabel 18 merangkum uji statistik yang digunakan untuk menjawab setiap pertanyaan penelitian.

\

6 Studi Replikasi: Ancaman Validitas

Ancaman terhadap validitas yang tercantum dalam studi asli berlaku untuk studi replikasi ini. Selain itu, kami telah mengidentifikasi yang berikut:

6.1 Validitas Kesimpulan

1. Keandalan implementasi perlakuan. Eksperimen replikasi dijalankan oleh peneliti yang sama yang melakukan eksperimen asli. Ini memastikan bahwa kedua kelompok peserta tidak mengimplementasikan perlakuan secara berbeda.

   6.2 Validitas Internal

   1. Kekhawatiran Evaluasi. Penggunaan siswa dan mengaitkan kinerja mereka dalam eksperimen dengan nilai mereka dalam kursus mungkin menjelaskan bahwa peserta menganggap bahwa kinerja mereka dan bukan kelemahan teknik menjelaskan efektivitas suatu teknik.

6.3 Validitas Konstruk

1. Penjelasan preoperasional yang tidak memadai tentang konstruk efek. Karena pendapat adalah konstruk yang sulit dioperasionalkan, ada kemungkinan bahwa pertanyaan yang muncul dalam kuesioner tidak diinterpretasikan oleh peserta dengan cara yang kami maksudkan. 6.4 Validitas Eksternal

2. Reproduktibilitas hasil. Tidak jelas sejauh mana hasil yang diperoleh di sini dapat direproduksi. Oleh karena itu, lebih banyak replikasi studi diperlukan.

   \ Langkah-langkah yang harus diikuti adalah:

   (a) Mereplikasi studi dengan menangkap alasan untuk jawaban yang diberikan oleh peserta.

   (b) Melakukan studi dengan praktisi dengan karakteristik yang sama dengan siswa yang digunakan dalam studi ini (orang dengan sedikit atau tanpa pengalaman dalam pengujian perangkat lunak).

   (c) Mengeksplorasi dan mendefinisikan jenis pengalaman apa yang dapat mempengaruhi hasil (akademik, profesional, pemrograman, pengujian, dll.).

   (d) Menjalankan studi baru dengan mempertimbangkan peningkatan tingkat pengalaman.

   \ Sekali lagi, dari semua ancaman yang mempengaruhi studi replikasi, satu-satunya yang dapat mempengaruhi validitas hasil studi ini dalam konteks industri adalah yang terkait dengan generalisasi untuk jenis subjek lain.

\

:::info Penulis:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info Makalah ini tersedia di arxiv di bawah lisensi CC BY-NC-ND 4.0.

:::

\