Tại sao các nhà phát triển Game liên tục chọn sai kỹ thuật kiểm thử

:::info Tác giả:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

Mục Lục

Tóm tắt

1 Giới thiệu

2 Nghiên cứu gốc: Câu hỏi nghiên cứu và Phương pháp

3 Nghiên cứu gốc: Các mối đe dọa tính hợp lệ

4 Nghiên cứu gốc: Kết quả

5 Nghiên cứu lặp lại: Câu hỏi nghiên cứu và Phương pháp

6 Nghiên cứu lặp lại: Các mối đe dọa tính hợp lệ

7 Nghiên cứu lặp lại: Kết quả

8 Thảo luận

9 Các nghiên cứu liên quan

10 Kết luận và Tài liệu tham khảo

Tóm tắt

Một vấn đề thường xuyên trong phát triển phần mềm là việc ra quyết định không chính xác về các kỹ thuật, phương pháp và công cụ được sử dụng. Phần lớn, những quyết định này dựa trên nhận thức của nhà phát triển về chúng. Một yếu tố ảnh hưởng đến nhận thức của con người là kinh nghiệm trong quá khứ, nhưng đó không phải là yếu tố duy nhất. Trong nghiên cứu này, chúng tôi nhằm khám phá mức độ phù hợp giữa nhận thức về hiệu quả phát hiện lỗi của các kỹ thuật khác nhau với hiệu quả thực tế của chúng khi không có kinh nghiệm trước đó.

\ Để làm điều này, chúng tôi tiến hành một nghiên cứu thực nghiệm cùng với một bản sao. Trong nghiên cứu ban đầu, chúng tôi tiến hành một thí nghiệm có kiểm soát với sinh viên áp dụng hai kỹ thuật kiểm thử và một kỹ thuật đánh giá mã. Vào cuối thí nghiệm, họ tham gia một cuộc khảo sát để tìm ra kỹ thuật nào họ cho là hiệu quả nhất. Kết quả cho thấy nhận thức của người tham gia là sai và sự không phù hợp này tốn kém về mặt chất lượng.

\ Để có thêm hiểu biết sâu sắc về kết quả, chúng tôi lặp lại thí nghiệm có kiểm soát và mở rộng cuộc khảo sát để bao gồm các câu hỏi về ý kiến của người tham gia về các kỹ thuật và chương trình. Kết quả của nghiên cứu lặp lại xác nhận các phát hiện của nghiên cứu ban đầu và cho thấy rằng nhận thức của người tham gia có thể không dựa trên ý kiến của họ về độ phức tạp hoặc sở thích đối với các kỹ thuật mà dựa trên mức độ họ nghĩ rằng họ đã áp dụng tốt các kỹ thuật.

1. Giới thiệu

Một thực tiễn ngày càng phổ biến hiện nay là các công ty phát triển phần mềm để các nhà phát triển tự chọn môi trường công nghệ của họ. Điều này có nghĩa là các nhà phát triển khác nhau có thể sử dụng các công cụ năng suất khác nhau (ngôn ngữ lập trình, IDE, v.v.). Tuy nhiên, kỹ thuật phần mềm (SE) là một ngành đòi hỏi nhiều về con người, nơi các quyết định sai lầm có thể làm ảnh hưởng đến chất lượng của phần mềm kết quả. Trong SE, các quyết định về phương pháp, kỹ thuật và công cụ nào sử dụng trong phát triển phần mềm thường dựa trên nhận thức và/hoặc ý kiến của nhà phát triển hơn là bằng chứng, như được đề xuất bởi Dyb˚a et al. [19] và Zelkowitz et al. [55].

\ Tuy nhiên, bằng chứng thực nghiệm có thể không có sẵn, vì một số phương pháp, kỹ thuật hoặc công cụ nhất định có thể chưa được nghiên cứu trong một bối cảnh cụ thể hoặc thậm chí là hoàn toàn. Ngoài ra, các nhà phát triển có thể đơn giản là không quen thuộc với các nghiên cứu như vậy, theo Vegas & Basili [49]. Trên cơ sở này, điều quan trọng là phải khám phá mức độ phù hợp giữa nhận thức của nhà phát triển (niềm tin) với thực tế và, nếu không, tìm ra nguyên nhân đằng sau sự không phù hợp này, như được ghi nhận bởi Devanbu et al.[14]. Theo Tâm lý học, kinh nghiệm đóng một vai trò trong nhận thức của con người. Điều này cũng đã được quan sát bởi Devanbu et al. [14] trong SE.

\ Tuy nhiên, nghiên cứu này đặt ra để khám phá mức độ phù hợp giữa nhận thức với thực tế khi không có kinh nghiệm trước đó trong công nghệ đang được sử dụng. Điều này có ý nghĩa vì một số lý do: 1) kinh nghiệm không phải là yếu tố duy nhất ảnh hưởng đến nhận thức của nhà phát triển; 2) các nhóm phát triển thường bao gồm sự kết hợp của những người có và không có kinh nghiệm; và 3) không rõ loại kinh nghiệm nào ảnh hưởng đến nhận thức. Ví dụ, Dieste et al. [17] kết luận rằng kinh nghiệm học thuật hơn là kinh nghiệm chuyên nghiệp có thể ảnh hưởng đến chất lượng bên ngoài của mã được tạo ra bởi các nhà phát triển khi áp dụng Phát triển hướng kiểm thử.

\ Chúng tôi nhằm nghiên cứu liệu nhận thức về hiệu quả của ba kỹ thuật phát hiện lỗi có phù hợp với thực tế hay không, và nếu không, điều gì đằng sau những nhận thức này. Theo hiểu biết tốt nhất của chúng tôi, đây là bài báo đầu tiên đánh giá thực nghiệm vấn đề này. Để đạt được mục tiêu này, chúng tôi đã tiến hành một nghiên cứu thực nghiệm cùng với một bản sao với sinh viên. Trong nghiên cứu ban đầu, chúng tôi đã đo lường (như một phần của một thí nghiệm có kiểm soát) hiệu quả của hai kỹ thuật kiểm thử và một kỹ thuật đánh giá mã khi được áp dụng bởi người tham gia. Sau đó, chúng tôi kiểm tra kỹ thuật được cho là hiệu quả nhất (thu thập bằng cách khảo sát) so với kỹ thuật thực tế.

\ Ngoài ra, chúng tôi đã phân tích chi phí của sự không phù hợp giữa nhận thức và thực tế về mặt mất hiệu quả. Các phát hiện chính bao gồm:

– Những người khác nhau nhận thức các kỹ thuật khác nhau là hiệu quả hơn. Không có kỹ thuật nào được coi là hiệu quả hơn các kỹ thuật khác. – Nhận thức của 50% người tham gia (11 trong số 23) là sai.

– Nhận thức sai về kỹ thuật có thể làm giảm hiệu quả 31pp (điểm phần trăm) trung bình.

\ Những phát hiện này đã dẫn chúng tôi đến việc mở rộng mục tiêu của nghiên cứu trong một bản sao để điều tra điều gì có thể đằng sau nhận thức của người tham gia. Để làm điều này, chúng tôi đã kiểm tra ý kiến của họ về các kỹ thuật họ áp dụng và các chương trình họ kiểm tra trong một bản sao của thí nghiệm có kiểm soát. Các phát hiện chính bao gồm:

– Kết quả của bản sao xác nhận các phát hiện của nghiên cứu ban đầu.

– Người tham gia nghĩ rằng hiệu quả của kỹ thuật phụ thuộc hoàn toàn vào hiệu suất của họ và không phải vào những điểm yếu có thể có của chính kỹ thuật. – Ý kiến về độ phức tạp của kỹ thuật và sở thích đối với các kỹ thuật dường như không đóng vai trò trong hiệu quả được nhận thức. Những kết quả này hữu ích cho các nhà phát triển và nhà nghiên cứu. Chúng gợi ý:

– Các nhà phát triển nên nhận thức được những hạn chế trong phán đoán của họ.

– Nên thiết kế các công cụ cung cấp phản hồi cho các nhà phát triển về mức độ hiệu quả của các kỹ thuật.

– Nên xác định sự kết hợp tốt nhất của các kỹ thuật để áp dụng vừa dễ áp dụng vừa hiệu quả. – Nên phát triển các công cụ để cung cấp kết quả thực nghiệm cho các nhà phát triển.

\ Tài liệu liên quan đến các nghiên cứu được trình bày ở đây có thể được tìm thấy tại https://github.com/GRISE-UPM/Misperceptions. Bài viết được tổ chức như sau. Phần 2 mô tả nghiên cứu ban đầu. Phần 3 trình bày các mối đe dọa tính hợp lệ của nó. Phần 4 thảo luận về kết quả. Phần 5 mô tả nghiên cứu lặp lại dựa trên các sửa đổi được thực hiện đối với nghiên cứu ban đầu. Phần 6 trình bày các mối đe dọa tính hợp lệ của nó. Phần 7 báo cáo kết quả của nghiên cứu lặp lại này. Phần 8 thảo luận về các phát hiện của chúng tôi và ý nghĩa của chúng. Phần 9 cho thấy các công trình liên quan. Cuối cùng, Phần 10 phác thảo các kết luận của công trình này.

\ \

:::info Bài báo này có sẵn trên arxiv theo giấy phép CC BY-NC-ND 4.0.

:::

\