Kajian Replikasi mengenai Persepsi vs Keberkesanan Pengujian Perisian

Jadual Pautan

Abstrak

1 Pengenalan

2 Kajian Asal: Soalan Penyelidikan dan Metodologi

3 Kajian Asal: Ancaman Kesahihan

4 Kajian Asal: Keputusan

5 Kajian Replikasi: Soalan Penyelidikan dan Metodologi

6 Kajian Replikasi: Ancaman Kesahihan

7 Kajian Replikasi: Keputusan

8 Perbincangan

9 Kerja Berkaitan

10 Kesimpulan Dan Rujukan

\

5 Kajian Replikasi: Soalan Penyelidikan Dan Metodologi

Kami memutuskan untuk menyiasat lebih lanjut keputusan kajian asal dalam mencari pemacu yang mungkin di sebalik salah tanggapan. Psikologi menganggap bahawa persepsi orang boleh dipengaruhi oleh ciri-ciri peribadi seperti sikap, minat peribadi dan jangkaan. Oleh itu, kami memutuskan untuk mengkaji pendapat peserta dengan menjalankan replikasi berbeza kajian asal [47] yang memperluaskan matlamatnya seperti berikut:

1. Tinjauan persepsi keberkesanan diperluaskan untuk memasukkan soalan mengenai program.

2. Kami ingin mengetahui sama ada persepsi peserta mungkin dikondisikan oleh pendapat mereka. Lebih tepat lagi: keutamaan mereka (teknik kegemaran), prestasi mereka (teknik yang mereka fikir mereka aplikasikan dengan terbaik) dan kerumitan teknik atau program (teknik yang mereka fikir paling mudah untuk diaplikasikan, atau program yang paling mudah untuk diuji).

   \ Oleh itu, kajian replikasi mengkaji semula RQ1 yang dinyatakan dalam kajian asal (kali ini tinjauan yang diambil oleh peserta juga memasukkan soalan mengenai program), dan menangani soalan penyelidikan baru berikut:

   – RQ1.6: Adakah persepsi peserta berkaitan dengan bilangan kecacatan yang dilaporkan oleh peserta? Kami ingin menilai jika peserta menganggap sebagai teknik paling berkesan yang mana mereka telah melaporkan lebih banyak kecacatan.

   – RQ2: Bolehkah pendapat peserta digunakan sebagai peramal untuk keberkesanan ujian?

   – RQ2.1: Apakah pendapat peserta tentang teknik dan program? Kami ingin tahu jika peserta mempunyai pendapat yang berbeza tentang teknik atau program.

   – RQ2.2: Adakah pendapat peserta meramalkan keberkesanan mereka? Kami ingin menilai jika pendapat yang dimiliki peserta tentang teknik (atau program) meramalkan yang mana paling berkesan untuk mereka.

   – RQ3: Adakah terdapat hubungan antara persepsi dan pendapat peserta?

   – RQ3.1: Adakah terdapat hubungan antara persepsi dan pendapat peserta? Kami ingin menilai jika pendapat yang dimiliki peserta tentang teknik (atau program) berkaitan dengan persepsi mereka.

   – RQ3.2: Adakah terdapat hubungan antara pendapat peserta? Kami ingin menilai jika pendapat tertentu yang dimiliki peserta tentang teknik berkaitan dengan pendapat lain.

   \ Untuk menjawab soalan-soalan ini, kami mereplikasi kajian asal dengan pelajar kursus yang sama pada tahun akademik berikutnya. Kali ini kami mempunyai 46 pelajar. Perubahan yang dibuat kepada replikasi eksperimen adalah seperti berikut: – Soal selidik yang akan dilengkapkan oleh peserta pada akhir eksperimen diperluaskan untuk memasukkan soalan baru. Maklumat yang kami ingin tangkap dengan soalan pendapat ialah: – Prestasi peserta pada teknik. Dengan soalan ini kami merujuk kepada pematuhan proses. Teknik yang diaplikasikan terbaik adalah teknik yang setiap peserta fikir dia aplikasikan dengan lebih menyeluruh. Ia sepadan dengan OT1: Teknik mana yang anda aplikasikan dengan terbaik?

   \ – Keutamaan peserta. Kami ingin tahu teknik kegemaran setiap peserta. Yang mana dia rasa lebih selesa apabila diaplikasikan. Ia sepadan dengan OT2: Teknik mana yang anda paling suka?

   – Kerumitan teknik. Kami ingin tahu teknik yang setiap peserta fikir paling mudah untuk mendapat pematuhan proses. Ia sepadan dengan OT3: Teknik mana yang paling mudah untuk diaplikasikan?

   \ – Kebolehujian program. Kami ingin tahu program yang lebih mudah untuk diuji. Ini adalah, program di mana pematuhan proses boleh diperolehi dengan lebih mudah. Ia sepadan dengan OP1: Program mana yang paling mudah? Jadual 16 merumuskan soalan tinjauan. Kami telah memilih soalan-soalan ini kerana kami perlu bertanya soalan mudah, yang boleh difahami dengan mudah oleh peserta, sambil pada masa yang sama bermakna. Kami tidak mahu membebankan peserta dengan soalan kompleks yang mempunyai banyak penjelasan. Soal selidik yang kompleks mungkin menghalang pelajar untuk menghantarnya.

   \ – Kecacatan program diubah. Kajian asal direka supaya semua teknik berkesan untuk mencari semua kecacatan yang disuntik. Kami memilih kecacatan yang boleh dikesan oleh semua teknik supaya teknik boleh dibandingkan secara adil. Kajian replikasi direka untuk merangkumi situasi di mana beberapa kecacatan tidak dapat dikesan oleh semua teknik. Oleh itu, kami menyuntik beberapa kecacatan yang teknik tidak berkesan untuk mengesan. Sebagai contoh, BT tidak dapat mengesan ciri yang tidak dilaksanakan (kerana peserta dikehendaki menjana kes ujian dari kod sumber sahaja). Begitu juga,

EP tidak dapat mencari kecacatan yang pengesanannya bergantung kepada gabungan dua kelas kesetaraan yang tidak sah. Oleh itu, dalam kajian replikasi, kami menyuntik beberapa kecacatan yang boleh dikesan oleh BT tetapi tidak oleh EP dan beberapa kecacatan yang boleh dikesan oleh EP tetapi tidak oleh BT ke dalam setiap program (setiap program disemai dengan enam kecacatan). Perhatikan bahawa reka bentuk adalah seimbang: kami menyuntik bilangan kecacatan yang sama yang BT boleh kesan, tetapi tidak EP, bahawa sebaliknya –EP boleh kesan, tetapi tidak BT). Perubahan ini dijangka mempengaruhi keberkesanan EP dan BT, yang mungkin lebih rendah daripada dalam kajian asal. Ia tidak sepatutnya mempengaruhi keberkesanan CR.

– Kami mengubah susunan aplikasi program untuk mengkaji lagi isu kematangan. Susunannya sekarang: cmdline, ntree, nametbl. Perubahan ini tidak sepatutnya mempengaruhi keputusan.

– Peserta menjalankan kes ujian mereka sendiri. Mungkin salah tanggapan yang diperolehi dalam kajian asal adalah disebabkan oleh fakta bahawa peserta tidak menjalankan kes ujian mereka sendiri.

– Tidak ada dua versi lagi tetapi satu. Kecacatan dan kegagalan bukan matlamat kajian ini. Ini membantu memudahkan eksperimen. Jadual 17 menunjukkan ringkasan perubahan yang dibuat kepada kajian.

Untuk mengukur keberkesanan teknik kami meneruskan dengan cara yang sama seperti dalam kajian asal. Kami tidak bergantung pada kegagalan yang dilaporkan, kerana peserta boleh:

1. Melaporkan positif palsu (kegagalan bukan sebenar).
2. Melaporkan kegagalan yang sama lebih daripada sekali (walaupun mereka diminta untuk tidak berbuat demikian).
3. Terlepas kegagalan yang sepadan dengan kecacatan yang telah dilaksanakan oleh teknik, tetapi atas sebab tertentu tidak dilihat.

Kami mengukur pembolehubah respons baru (kecacatan yang dilaporkan) dengan mengira bilangan kecacatan/kegagalan yang dilaporkan oleh setiap peserta. Kami menganalisis RQ2.1 dengan cara yang sama seperti RQ1.1, dan RQ1.6, RQ2.2, RQ3.1 dan RQ3.2 seperti RQ1.2. Jadual 18 merumuskan ujian statistik yang digunakan untuk menjawab setiap soalan penyelidikan.

\

6 Kajian Replikasi: Ancaman Kesahihan

Ancaman kepada kesahihan yang disenaraikan dalam kajian asal terpakai kepada kajian replikasi ini. Selain itu, kami telah mengenal pasti yang berikut:

6.1 Kesahihan Kesimpulan

1. Kebolehpercayaan pelaksanaan rawatan. Eksperimen replikasi dijalankan oleh penyelidik yang sama yang melakukan eksperimen asal. Ini memastikan bahawa kedua-dua kumpulan peserta tidak melaksanakan rawatan secara berbeza.

   6.2 Kesahihan Dalaman

   1. Kebimbangan Penilaian. Penggunaan pelajar dan mengaitkan prestasi mereka dalam eksperimen dengan gred mereka dalam kursus mungkin menjelaskan bahawa peserta menganggap bahawa prestasi mereka dan bukan kelemahan teknik menjelaskan keberkesanan sesuatu teknik.

6.3 Kesahihan Konstruk

1. Penjelasan praoperasi yang tidak mencukupi tentang konstruk kesan. Memandangkan pendapat adalah konstruk yang sukar untuk dioperasionalkan, terdapat kemungkinan bahawa soalan yang muncul dalam soal selidik tidak ditafsirkan oleh peserta dengan cara yang kami maksudkan. 6.4 Kesahihan Luaran

2. Kebolehulangan keputusan. Tidak jelas sejauh mana keputusan yang diperolehi di sini boleh dihasilkan semula. Oleh itu, lebih banyak replikasi kajian diperlukan.

   \ Langkah-langkah yang harus diikuti adalah:

   (a) Replikasi kajian menangkap sebab untuk jawapan yang diberikan oleh peserta.

   (b) Melakukan kajian dengan pengamal dengan ciri-ciri yang sama seperti pelajar yang digunakan dalam kajian ini (orang yang mempunyai sedikit atau tiada pengalaman dalam ujian perisian).

   (c) Meneroka dan menentukan jenis pengalaman yang mungkin mempengaruhi keputusan (akademik, profesional, pengaturcaraan, ujian, dll.).

   (d) Menjalankan kajian baru dengan mengambil kira tahap pengalaman yang meningkat.

   \ Sekali lagi, daripada semua ancaman yang mempengaruhi kajian replikasi, satu-satunya yang boleh mempengaruhi kesahihan keputusan kajian ini dalam konteks industri adalah yang berkaitan dengan generalisasi kepada jenis subjek lain.

\

:::info Pengarang:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info Kertas kerja ini tersedia di arxiv di bawah lesen CC BY-NC-ND 4.0.

:::

\