뮤테이션 기반의 오류 위치 추정 기법에서의 테스트 스위트 크기를 줄이는 방법에 대한 실험적 연구

Abstract

오류 위치 추정은 프로그램 속 오류의 정확한 위치를 찾는 활동이다. 이것은 프로그램의 오류를 고치기 위한 중요한 과정이지만, 많은 비용과 시간을 소모하는 문제를 안고 있다. 이러한 문제를 해결하기 위하여, 다양한 오류 위치 추정 기법들이 계속해서 개발되었다. 뮤테이션 기반의 오류 위치 추정 기법(MBFL)은 최근에 등장한 오류 위치 추정 기법으로써, 실제 오류와 유사한 행위를 보이는 뮤턴트(인공적인 오류)의 위치를 바탕으로 실제 오류의 위치를 찾는다. 이러한 뮤턴트의 행위는 테스트 스위트의 실행 결과로써 나타낼 수 있으며, 따라서 테스트 스위트의 변화에 따라 MBFL이 결과도 달라질 수 있다. 본 논문에서는 테스트 스위트 크기 축소에 따른 오류 위치 추정 효과성의 변화를 실험적으로 알아보았다. 우리는 각 테스트의 뮤턴트 제거 정보를 바탕으로 테스트 스위트 축소 기법을 정의하였고(i.e., mutant kill vector, more mutant kill, less mutant kill, random), 원본 테스트 스위트와 기법을 적용하여 축소된 테스트 스위트 간의 오류 위치 추정 효과성 차이를 분석하였다. 본 논문의 실험을 바탕으로 축소된 테스트 스위트는 원본 테스트 스위트와 통계적으로 유의하게 다르지 않은 결과를 보임으로써 전반적으로 더 나은 효과성 보이지는 못했지만, 성공한 테스트의 개수를 전체의 90%까지 줄였음에도 원본 테스트 스위트의 오류 위치 추정 효과성과 동일한 수준의 효과성을 보였다. 또한 각각의 축소 기법들에 대하여 MMK 기법은 LMK 기법의 결과보다 더 좋거나 같은 수준을 보임으로써 더 나은 효과성을 보였으나, RND 기법과 비교했을 때는 통계적으로 유의하게 다른 결과를 보이지 않았다. 또한 MMK 기법이 RND 기법 보다 월등한 결과를 가지는 일부 특수한 경우 등에 대한 추가적인 실험을 진행 및 분석하였다.