دراسة تكرارية حول إدراك اختبار البرمجيات مقابل الفعالية

جدول الروابط

نبذة مختصرة

1 المقدمة

2 الدراسة الأصلية: أسئلة البحث والمنهجية

3 الدراسة الأصلية: تهديدات الصحة

4 الدراسة الأصلية: النتائج

5 الدراسة المكررة: أسئلة البحث والمنهجية

6 الدراسة المكررة: تهديدات الصحة

7 الدراسة المكررة: النتائج

8 المناقشة

9 الأعمال ذات الصلة

10 الاستنتاجات والمراجع

\

5 الدراسة المكررة: أسئلة البحث والمنهجية

قررنا مواصلة التحقيق في نتائج الدراسة الأصلية بحثًا عن العوامل المحتملة وراء المفاهيم الخاطئة. يعتبر علم النفس أن تصورات الناس يمكن أن تتأثر بالخصائص الشخصية مثل المواقف والاهتمامات الشخصية والتوقعات. لذلك، قررنا فحص آراء المشاركين من خلال إجراء استئناف متمايز للدراسة الأصلية [47] الذي يوسع هدفها على النحو التالي:

1. تم توسيع مسح إدراك الفعالية ليشمل أسئلة حول البرامج.

2. نريد معرفة ما إذا كانت تصورات المشاركين قد تكون مشروطة بآرائهم. وبشكل أكثر دقة: التفضيلات الخاصة بهم (التقنية المفضلة)، وأدائهم (التقنية التي يعتقدون أنهم طبقوها بشكل أفضل) وتعقيد التقنية أو البرنامج (التقنية التي يعتقدون أنها الأسهل في التطبيق، أو البرنامج الأبسط الذي سيتم اختباره).

   \ لذلك، تعيد الدراسة المكررة فحص RQ1 المذكور في الدراسة الأصلية (هذه المرة يتضمن المسح الذي يجريه المشاركون أيضًا أسئلة تتعلق بالبرامج)، ويتناول أسئلة البحث الجديدة التالية:

   – RQ1.6: هل ترتبط تصورات المشاركين بعدد العيوب التي أبلغ عنها المشاركون؟ نريد تقييم ما إذا كان المشاركون يدركون التقنية الأكثر فعالية على أنها التقنية التي أبلغوا عن المزيد من العيوب بها.

   – RQ2: هل يمكن استخدام آراء المشاركين كمؤشرات للفعالية في الاختبار؟

   – RQ2.1: ما هي آراء المشاركين حول التقنيات والبرامج؟ نريد أن نعرف ما إذا كان لدى المشاركين آراء مختلفة حول التقنيات أو البرامج.

   – RQ2.2: هل تتنبأ آراء المشاركين بفعاليتهم؟ نريد تقييم ما إذا كانت الآراء التي يحملها المشاركون حول التقنيات (أو البرامج) تتنبأ بأيها الأكثر فعالية بالنسبة لهم.

   – RQ3: هل هناك علاقة بين تصورات وآراء المشاركين؟

   – RQ3.1: هل هناك علاقة بين تصورات وآراء المشاركين؟ نريد تقييم ما إذا كانت الآراء التي يحملها المشاركون حول التقنيات (أو البرامج) مرتبطة بتصوراتهم.

   – RQ3.2: هل هناك علاقة بين آراء المشاركين؟ نريد تقييم ما إذا كان رأي معين لدى المشاركين حول التقنيات مرتبطًا بآراء أخرى.

   \ للإجابة على هذه الأسئلة، نكرر الدراسة الأصلية مع طلاب نفس الدورة في العام الدراسي التالي. هذه المرة لدينا 46 طالبًا. التغييرات التي تم إجراؤها على استئناف التجربة هي كما يلي: – تم توسيع الاستبيان الذي سيكمله المشاركون في نهاية التجربة ليشمل أسئلة جديدة. المعلومات التي نريد التقاطها بأسئلة الرأي هي: – أداء المشاركين على التقنيات. بهذا السؤال نشير إلى مطابقة العملية. التقنية الأفضل تطبيقًا هي التقنية التي يعتقد كل مشارك أنه طبقها بشكل أكثر شمولاً. وهي تتوافق مع OT1: ما هي التقنية التي طبقتها بشكل أفضل؟

   \ – التفضيلات الخاصة بالمشاركين. نريد معرفة التقنية المفضلة لكل مشارك. تلك التي شعر بها بمزيد من الراحة عند تطبيقها. وهي تتوافق مع OT2: ما هي التقنية التي تفضلها؟

   – تعقيد التقنية. نريد معرفة التقنية التي يعتقد كل مشارك أنها الأسهل للحصول على مطابقة العملية. وهي تتوافق مع OT3: ما هي التقنية الأسهل في التطبيق؟

   \ – قابلية اختبار البرنامج. نريد معرفة البرنامج الذي كان أسهل في الاختبار. أي البرنامج الذي يمكن الحصول على مطابقة العملية فيه بسهولة أكبر. وهو يتوافق مع OP1: ما هو البرنامج الأبسط؟ يلخص الجدول 16 أسئلة المسح. لقد اخترنا هذه الأسئلة لأننا بحاجة إلى طرح أسئلة بسيطة، يمكن فهمها بسهولة من قبل المشاركين، مع كونها ذات مغزى في نفس الوقت. لا نريد إرباك المشاركين بأسئلة معقدة تحتوي على الكثير من التفسيرات. قد يثني الاستبيان المعقد الطلاب عن تقديمه.

   \ – تم تغيير أخطاء البرنامج. تم تصميم الدراسة الأصلية بحيث تكون جميع التقنيات فعالة في العثور على جميع العيوب المُدخلة. نختار الأخطاء القابلة للكشف بواسطة جميع التقنيات حتى يمكن مقارنة التقنيات بشكل عادل. تم تصميم الدراسة المكررة لتغطية الحالة التي لا يمكن فيها اكتشاف بعض الأخطاء بواسطة جميع التقنيات. لذلك، نُدخل بعض الأخطاء التي لا تكون التقنيات فعالة في اكتشافها. على سبيل المثال، لا يمكن لـ BT اكتشاف ميزة غير منفذة (حيث يُطلب من المشاركين إنشاء حالات اختبار من الكود المصدري فقط). وبالمثل،

لا يمكن لـ EP العثور على خطأ يعتمد اكتشافه على مزيج من فئتي تكافؤ غير صالحتين. لذلك، في الدراسة المكررة، نُدخل بعض الأخطاء التي يمكن اكتشافها بواسطة BT ولكن ليس بواسطة EP وبعض الأخطاء التي يمكن اكتشافها بواسطة EP ولكن ليس بواسطة BT في كل برنامج (كل برنامج مُزوَّد بستة أخطاء). لاحظ أن التصميم متوازن: نُدخل نفس عدد الأخطاء التي يمكن لـ BT اكتشافها، ولكن ليس EP، والعكس –يمكن لـ EP اكتشافها، ولكن ليس BT). من المتوقع أن يؤثر هذا التغيير على فعالية EP و BT، والتي قد تكون أقل من الدراسة الأصلية. يجب ألا يؤثر على فعالية CR.

– نقوم بتغيير ترتيب تطبيق البرنامج لمزيد من دراسة قضايا النضج. الترتيب الآن: cmdline، ntree، nametbl. يجب ألا يؤثر هذا التغيير على النتائج.

– يقوم المشاركون بتشغيل حالات الاختبار الخاصة بهم. قد يكون المفاهيم الخاطئة التي تم الحصول عليها في الدراسة الأصلية بسبب حقيقة أن المشاركين لا يقومون بتشغيل حالات الاختبار الخاصة بهم.

– لا توجد نسختان بعد الآن بل نسخة واحدة. الأخطاء والإخفاقات ليست هدف هذه الدراسة. هذا يساعد على تبسيط التجربة. يوضح الجدول 17 ملخصًا للتغييرات التي تم إجراؤها على الدراسة.

لقياس فعالية التقنية نتبع نفس الطريقة المتبعة في الدراسة الأصلية. نحن لا نعتمد على الإخفاقات المُبلغ عنها، حيث يمكن للمشاركين:

1. الإبلاغ عن إيجابيات خاطئة (إخفاقات غير حقيقية).
2. الإبلاغ عن نفس الفشل أكثر من مرة (على الرغم من طلب عدم القيام بذلك).
3. تفويت الإخفاقات المقابلة للأخطاء التي تم ممارستها بواسطة التقنية، ولكن لسبب ما لم يتم رؤيتها.

نقيس متغير الاستجابة الجديد (العيوب المُبلغ عنها) عن طريق حساب عدد الأخطاء/الإخفاقات المُبلغ عنها من قبل كل مشارك. نحلل RQ2.1 بنفس الطريقة التي نحلل بها RQ1.1، و RQ1.6، RQ2.2، RQ3.1 و RQ3.2 مثل RQ1.2. يلخص الجدول 18 الاختبارات الإحصائية المستخدمة للإجابة على كل سؤال بحثي.

\

6 الدراسة المكررة: تهديدات الصحة

تنطبق تهديدات الصحة المدرجة في الدراسة الأصلية على هذه الدراسة المكررة. بالإضافة إلى ذلك، حددنا ما يلي:

6.1 صحة الاستنتاج

1. موثوقية تنفيذ العلاج. يتم تشغيل التجربة المكررة من قبل نفس الباحثين الذين أجروا التجربة الأصلية. يضمن ذلك أن المجموعتين من المشاركين لا تنفذان العلاجات بشكل مختلف.

   6.2 الصحة الداخلية

   1. القلق من التقييم. قد يفسر استخدام الطلاب وربط أدائهم في التجربة بدرجتهم في الدورة أن المشاركين يعتبرون أن أدائهم وليس نقاط ضعف التقنيات تفسر فعالية التقنية.

6.3 صحة البناء

1. تفسير تشغيلي غير كافٍ لبناءات التأثير. نظرًا لأن الآراء هي بناءات يصعب تشغيلها، فهناك احتمال ألا يفسر المشاركون الأسئلة التي تظهر في الاستبيان بالطريقة التي قصدناها. 6.4 الصحة الخارجية

2. إمكانية استنساخ النتائج. ليس من الواضح إلى أي مدى يمكن استنساخ النتائج التي تم الحصول عليها هنا. لذلك، هناك حاجة إلى مزيد من استئناف الدراسة.

   \ الخطوات التي يجب اتباعها هي:

   (a) استئناف الدراسة لالتقاط أسباب الإجابات التي قدمها المشاركون.

   (b) إجراء الدراسة مع الممارسين بنفس خصائص الطلاب المستخدمين في هذه الدراسة (أشخاص لديهم خبرة قليلة أو معدومة في اختبار البرمجيات).

   (c) استكشاف وتحديد أنواع الخبرة التي يمكن أن تؤثر على النتائج (الأكاديمية، المهنية، البرمجة، الاختبار، إلخ).

   (d) إجراء دراسات جديدة مع الأخذ في الاعتبار مستويات متزايدة من الخبرة.

   \ مرة أخرى، من بين جميع التهديدات التي تؤثر على الدراسة المكررة، فإن التهديد الوحيد الذي يمكن أن يؤثر على صحة نتائج هذه الدراسة في سياق صناعي هو التهديد المتعلق بالتعميم على أنواع موضوعات أخرى.

\

:::info المؤلفون:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info هذه الورقة متاحة على arxiv بموجب ترخيص CC BY-NC-ND 4.0.

:::

\