সফটওয়্যার টেস্টিং পারসেপশন বনাম কার্যকারিতার উপর একটি প্রতিলিপি অধ্যয়ন

লিঙ্কের সারণি

সারসংক্ষেপ

১ ভূমিকা

২ মূল গবেষণা: গবেষণা প্রশ্ন এবং পদ্ধতি

৩ মূল গবেষণা: বৈধতার হুমকি

৪ মূল গবেষণা: ফলাফল

৫ প্রতিলিপি গবেষণা: গবেষণা প্রশ্ন এবং পদ্ধতি

৬ প্রতিলিপি গবেষণা: বৈধতার হুমকি

৭ প্রতিলিপি গবেষণা: ফলাফল

৮ আলোচনা

৯ সংশ্লিষ্ট কাজ

১০ উপসংহার এবং তথ্যসূত্র

\

৫ প্রতিলিপি গবেষণা: গবেষণা প্রশ্ন এবং পদ্ধতি

আমরা মূল গবেষণার ফলাফলগুলি আরও তদন্ত করার সিদ্ধান্ত নিয়েছি ভুল ধারণার পেছনের সম্ভাব্য চালকগুলি খুঁজে বের করতে। মনোবিজ্ঞান বিবেচনা করে যে মানুষের উপলব্ধি ব্যক্তিগত বৈশিষ্ট্য যেমন মনোভাব, ব্যক্তিগত আগ্রহ এবং প্রত্যাশা দ্বারা প্রভাবিত হতে পারে। তাই, আমরা মূল গবেষণার একটি পৃথক প্রতিলিপি [৪৭] পরিচালনা করে অংশগ্রহণকারীদের মতামত পরীক্ষা করার সিদ্ধান্ত নিয়েছি যা নিম্নরূপ এর লক্ষ্য প্রসারিত করে:

1. কার্যকারিতা উপলব্ধির সমীক্ষা প্রোগ্রাম সম্পর্কিত প্রশ্ন অন্তর্ভুক্ত করতে প্রসারিত করা হয়েছে।

2. আমরা জানতে চাই যে অংশগ্রহণকারীদের উপলব্ধি তাদের মতামত দ্বারা প্রভাবিত হতে পারে কিনা। আরও সুনির্দিষ্টভাবে: তাদের পছন্দ (প্রিয় কৌশল), তাদের কর্মক্ষমতা (যে কৌশলটি তারা মনে করে তারা সবচেয়ে ভালভাবে প্রয়োগ করেছে) এবং কৌশল বা প্রোগ্রাম জটিলতা (যে কৌশলটি তারা মনে করে প্রয়োগ করা সবচেয়ে সহজ, অথবা পরীক্ষা করার জন্য সবচেয়ে সহজ প্রোগ্রাম)।

   \ তাই, প্রতিলিপি গবেষণা মূল গবেষণায় উল্লিখিত RQ1 পুনঃপরীক্ষা করে (এবার অংশগ্রহণকারীদের গৃহীত সমীক্ষায় প্রোগ্রাম সংক্রান্ত প্রশ্নও অন্তর্ভুক্ত রয়েছে), এবং নতুন নিম্নলিখিত গবেষণা প্রশ্নগুলি সম্বোধন করে:

   – RQ1.6: অংশগ্রহণকারীদের উপলব্ধি কি অংশগ্রহণকারীদের রিপোর্ট করা ত্রুটির সংখ্যার সাথে সম্পর্কিত? আমরা মূল্যায়ন করতে চাই যে অংশগ্রহণকারীরা সবচেয়ে কার্যকর কৌশল হিসাবে সেটি উপলব্ধি করে কিনা যার সাথে তারা বেশি ত্রুটি রিপোর্ট করেছে।

   – RQ2: অংশগ্রহণকারীদের মতামত কি পরীক্ষার কার্যকারিতার পূর্বাভাসকারী হিসাবে ব্যবহার করা যেতে পারে?

   – RQ2.1: কৌশল এবং প্রোগ্রাম সম্পর্কে অংশগ্রহণকারীদের মতামত কী? আমরা জানতে চাই যে অংশগ্রহণকারীদের কৌশল বা প্রোগ্রাম সম্পর্কে ভিন্ন মতামত আছে কিনা।

   – RQ2.2: অংশগ্রহণকারীদের মতামত কি তাদের কার্যকারিতা পূর্বাভাস দেয়? আমরা মূল্যায়ন করতে চাই যে কৌশল (বা প্রোগ্রাম) সম্পর্কে অংশগ্রহণকারীদের যে মতামত রয়েছে তা পূর্বাভাস দেয় কিনা যে কোনটি তাদের জন্য সবচেয়ে কার্যকর।

   – RQ3: অংশগ্রহণকারীদের উপলব্ধি এবং মতামতের মধ্যে কি সম্পর্ক রয়েছে?

   – RQ3.1: অংশগ্রহণকারীদের উপলব্ধি এবং মতামতের মধ্যে কি সম্পর্ক রয়েছে? আমরা মূল্যায়ন করতে চাই যে কৌশল (বা প্রোগ্রাম) সম্পর্কে অংশগ্রহণকারীদের যে মতামত রয়েছে তা তাদের উপলব্ধির সাথে সম্পর্কিত কিনা।

   – RQ3.2: অংশগ্রহণকারীদের মতামতের মধ্যে কি সম্পর্ক রয়েছে? আমরা মূল্যায়ন করতে চাই যে কৌশল সম্পর্কে অংশগ্রহণকারীদের একটি নির্দিষ্ট মতামত অন্যান্য মতামতের সাথে সম্পর্কিত কিনা।

   \ এই প্রশ্নগুলির উত্তর দিতে, আমরা পরবর্তী একাডেমিক বছরে একই কোর্সের শিক্ষার্থীদের সাথে মূল গবেষণার প্রতিলিপি তৈরি করি। এইবার আমাদের ৪৬ জন শিক্ষার্থী রয়েছে। পরীক্ষার প্রতিলিপিতে করা পরিবর্তনগুলি নিম্নরূপ: – পরীক্ষার শেষে অংশগ্রহণকারীদের দ্বারা পূরণ করা প্রশ্নাবলী নতুন প্রশ্ন অন্তর্ভুক্ত করতে প্রসারিত করা হয়েছে। মতামত প্রশ্নগুলির সাথে আমরা যে তথ্য ধরতে চাই তা হল: – কৌশলে অংশগ্রহণকারীদের কর্মক্ষমতা। এই প্রশ্নের সাথে আমরা প্রক্রিয়া সামঞ্জস্যতা উল্লেখ করছি। সবচেয়ে ভালভাবে প্রয়োগকৃত কৌশল হল সেই কৌশল যা প্রতিটি অংশগ্রহণকারী মনে করে যে তিনি আরও পুঙ্খানুপুঙ্খভাবে প্রয়োগ করেছেন। এটি OT1-এর সাথে মিলে যায়: আপনি কোন কৌশল সবচেয়ে ভালভাবে প্রয়োগ করেছেন?

   \ – অংশগ্রহণকারীদের পছন্দ। আমরা প্রতিটি অংশগ্রহণকারীর প্রিয় কৌশল জানতে চাই। যেটি প্রয়োগ করার সময় তিনি বেশি স্বাচ্ছন্দ্য বোধ করেছেন। এটি OT2-এর সাথে মিলে যায়: আপনি কোন কৌশল সবচেয়ে পছন্দ করেন?

   – কৌশল জটিলতা। আমরা জানতে চাই যে প্রতিটি অংশগ্রহণকারী মনে করে কোন কৌশলটি প্রক্রিয়া সামঞ্জস্যতা পেতে সবচেয়ে সহজ ছিল। এটি OT3-এর সাথে মিলে যায়: কোন কৌশল প্রয়োগ করা সবচেয়ে সহজ?

   \ – প্রোগ্রাম পরীক্ষাযোগ্যতা। আমরা জানতে চাই কোন প্রোগ্রামটি পরীক্ষা করা সহজ ছিল। এটি হল, যে প্রোগ্রামে প্রক্রিয়া সামঞ্জস্যতা আরও সহজে পাওয়া যেতে পারে। এটি OP1-এর সাথে মিলে যায়: কোন প্রোগ্রামটি সবচেয়ে সহজ? সারণি ১৬ সমীক্ষা প্রশ্নগুলির সারসংক্ষেপ দেয়। আমরা এই প্রশ্নগুলি বেছে নিয়েছি কারণ আমাদের সহজ প্রশ্ন জিজ্ঞাসা করতে হবে, যা অংশগ্রহণকারীরা সহজেই বুঝতে পারবে, একই সাথে অর্থবহ। আমরা প্রচুর ব্যাখ্যা সহ জটিল প্রশ্নের সাথে অংশগ্রহণকারীদের অভিভূত করতে চাই না। একটি জটিল প্রশ্নাবলী শিক্ষার্থীদের এটি জমা দিতে নিরুৎসাহিত করতে পারে।

   \ – প্রোগ্রাম ত্রুটি পরিবর্তন করা হয়েছে। মূল গবেষণা এমনভাবে ডিজাইন করা হয়েছে যাতে সমস্ত কৌশল ইনজেক্ট করা সমস্ত ত্রুটি খুঁজে পেতে কার্যকর হয়। আমরা সমস্ত কৌশল দ্বারা সনাক্তযোগ্য ত্রুটি বেছে নিয়েছি যাতে কৌশলগুলি ন্যায্যভাবে তুলনা করা যায়। প্রতিলিপি গবেষণা এমন পরিস্থিতি কভার করার জন্য ডিজাইন করা হয়েছে যেখানে কিছু ত্রুটি সমস্ত কৌশল দ্বারা সনাক্ত করা যায় না। তাই, আমরা কিছু ত্রুটি ইনজেক্ট করি যা কৌশলগুলি সনাক্ত করতে কার্যকর নয়। উদাহরণস্বরূপ, BT একটি অ-বাস্তবায়িত বৈশিষ্ট্য সনাক্ত করতে পারে না (কারণ অংশগ্রহণকারীদের শুধুমাত্র সোর্স কোড থেকে টেস্ট কেস তৈরি করতে বলা হয়)। একইভাবে,

EP এমন একটি ত্রুটি খুঁজে পেতে পারে না যার সনাক্তকরণ দুটি অবৈধ সমতুল্য শ্রেণীর সংমিশ্রণের উপর নির্ভর করে। তাই, প্রতিলিপি গবেষণায়, আমরা কিছু ত্রুটি ইনজেক্ট করি যা BT সনাক্ত করতে পারে কিন্তু EP পারে না এবং কিছু ত্রুটি যা EP সনাক্ত করতে পারে কিন্তু BT পারে না প্রতিটি প্রোগ্রামে (প্রতিটি প্রোগ্রামে ছয়টি ত্রুটি রোপণ করা হয়েছে)। লক্ষ্য করুন যে ডিজাইনটি ভারসাম্যপূর্ণ: আমরা একই সংখ্যক ত্রুটি ইনজেক্ট করি যা BT সনাক্ত করতে পারে, কিন্তু EP পারে না, যেটি বিপরীত –EP সনাক্ত করতে পারে, কিন্তু BT পারে না)। এই পরিবর্তনটি EP এবং BT-এর কার্যকারিতাকে প্রভাবিত করবে বলে আশা করা হচ্ছে, যা মূল গবেষণার চেয়ে কম হতে পারে। এটি CR-এর কার্যকারিতা প্রভাবিত করবে না।

– আমরা পরিপক্বতার সমস্যাগুলি আরও অধ্যয়ন করতে প্রোগ্রাম প্রয়োগের ক্রম পরিবর্তন করি। ক্রমটি এখন: cmdline, ntree, nametbl। এই পরিবর্তনটি ফলাফলকে প্রভাবিত করবে না।

– অংশগ্রহণকারীরা তাদের নিজস্ব টেস্ট কেস চালায়। এটা হতে পারে যে মূল গবেষণায় প্রাপ্ত ভুল ধারণাগুলি এই কারণে যে অংশগ্রহণকারীরা তাদের নিজস্ব টেস্ট কেস চালাচ্ছে না।

– দুটি সংস্করণ নেই বরং একটি। ত্রুটি এবং ব্যর্থতা এই গবেষণার লক্ষ্য নয়। এটি পরীক্ষাটি সরল করতে সাহায্য করে। সারণি ১৭ গবেষণায় করা পরিবর্তনগুলির একটি সারসংক্ষেপ দেখায়।

কৌশল কার্যকারিতা পরিমাপ করতে আমরা মূল গবেষণার মতো একইভাবে এগিয়ে যাই। আমরা রিপোর্ট করা ব্যর্থতার উপর নির্ভর করি না, কারণ অংশগ্রহণকারীরা পারে:

1. মিথ্যা ইতিবাচক (অ-বাস্তব ব্যর্থতা) রিপোর্ট করুন।
2. একই ব্যর্থতা একাধিকবার রিপোর্ট করুন (যদিও তাদের তা না করতে বলা হয়েছিল)।
3. কৌশল দ্বারা অনুশীলন করা ত্রুটির সাথে সম্পর্কিত ব্যর্থতা মিস করুন, কিন্তু কোনো কারণে দেখা হয়নি।

আমরা নতুন প্রতিক্রিয়া পরিবর্তনশীল (রিপোর্ট করা ত্রুটি) প্রতিটি অংশগ্রহণকারী দ্বারা রিপোর্ট করা ত্রুটি/ব্যর্থতার সংখ্যা গণনা করে পরিমাপ করি। আমরা RQ2.1 বিশ্লেষণ করি RQ1.1-এর মতো একইভাবে, এবং RQ1.6, RQ2.2, RQ3.1 এবং RQ3.2 RQ1.2-এর মতো। সারণি ১৮ প্রতিটি গবেষণা প্রশ্নের উত্তর দিতে ব্যবহৃত পরিসংখ্যান পরীক্ষাগুলির সারসংক্ষেপ দেয়।

\

৬ প্রতিলিপি গবেষণা: বৈধতার হুমকি

মূল গবেষণায় তালিকাভুক্ত বৈধতার হুমকিগুলি এই প্রতিলিপি গবেষণায় প্রযোজ্য। অতিরিক্তভাবে, আমরা নিম্নলিখিতগুলি চিহ্নিত করেছি:

৬.১ উপসংহার বৈধতা

1. চিকিৎসা বাস্তবায়নের নির্ভরযোগ্যতা। প্রতিলিপি পরীক্ষা একই গবেষকদের দ্বারা পরিচালিত হয় যারা মূল পরীক্ষা সম্পাদন করেছিলেন। এটি নিশ্চিত করে যে অংশগ্রহণকারীদের দুটি দল চিকিৎসা ভিন্নভাবে বাস্তবায়ন করে না।

   ৬.২ অভ্যন্তরীণ বৈধতা

   ১. মূল্যায়ন আশঙ্কা। শিক্ষার্থীদের ব্যবহার এবং পরীক্ষায় তাদের কর্মক্ষমতা কোর্সে তাদের গ্রেডের সাথে সংযুক্ত করা ব্যাখ্যা করতে পারে যে অংশগ্রহণকারীরা বিবেচনা করে যে তাদের কর্মক্ষমতা এবং কৌশলের দুর্বলতা নয় একটি কৌশলের কার্যকারিতা ব্যাখ্যা করে।

৬.৩ নির্মাণ বৈধতা

1. প্রভাব নির্মাণের অপর্যাপ্ত পূর্ব-অপারেশনাল ব্যাখ্যা। যেহেতু মতামত অপারেশনালাইজ করা কঠিন নির্মাণ, সেখানে সম্ভাবনা রয়েছে যে প্রশ্নাবলীতে উপস্থিত প্রশ্নগুলি অংশগ্রহণকারীরা আমাদের উদ্দেশ্যের মতো ব্যাখ্যা করছে না। ৬.৪ বাহ্যিক বৈধতা

2. ফলাফলের পুনরুৎপাদনযোগ্যতা। এখানে প্রাপ্ত ফলাফল কতটা পুনরুৎপাদনযোগ্য তা স্পষ্ট নয়। তাই, গবেষণার আরও প্রতিলিপি প্রয়োজন।

   \ যে পদক্ষেপগুলি অনুসরণ করা উচিত সেগুলি হল:

   (a) অংশগ্রহণকারীদের দেওয়া উত্তরের কারণগুলি ক্যাপচার করে গবেষণার প্রতিলিপি তৈরি করুন।

   (b) এই গবেষণায় ব্যবহৃত শিক্ষার্থীদের মতো একই বৈশিষ্ট্য সহ অনুশীলনকারীদের সাথে গবেষণা সম্পাদন করুন (সফ্টওয়্যার পরীক্ষায় সামান্য বা কোন অভিজ্ঞতা নেই এমন লোকেরা)।

   (c) কোন ধরনের অভিজ্ঞতা ফলাফলকে প্রভাবিত করতে পারে তা অন্বেষণ এবং সংজ্ঞায়িত করুন (একাডেমিক, পেশাদার, প্রোগ্রামিং, পরীক্ষা, ইত্যাদি)।

   (d) অভিজ্ঞতার ক্রমবর্ধমান স্তর বিবেচনায় নিয়ে নতুন গবেষণা চালান।

   \ আবার, প্রতিলিপি গবেষণাকে প্রভাবিত করা সমস্ত হুমকির মধ্যে, একমাত্র যেটি একটি শিল্প প্রেক্ষাপটে এই গবেষণার ফলাফলের বৈধতাকে প্রভাবিত করতে পারে তা হল অন্যান্য বিষয় প্রকারের সাধারণীকরণের সাথে সম্পর্কিত।

\

:::info লেখকগণ:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info এই গবেষণাপত্র arxiv-এ উপলব্ধ CC BY-NC-ND 4.0 লাইসেন্সের অধীনে।

:::

\