명령어 특성을 이용한 가상화 난독화 도구 식별

Abstract

본 연구에서는 주어진 바이너리 실행파일을 어떤 가상화 난독화 도구를 적용하여 만들었는지 여부를 구분할 수 있는 기법을 제시하였다. 가상화 난독화가 적용된 프로그램의 경우 내부 인터프리터 구조로 인해서 레지스터 점프 등의 특성이 나타난다. 또한 프로그램의 변환 과정에서 추가적 난독화 기법을 적용하게 되어 실행되지 않을 명령어(dead code), 항상 같은 값으로 계산되는 논리식(opaque predicate), 상수 확산(constant propagation) 등과 같은 불필요한 명령어들이 많이 삽입된다. 이외에도 다양한 패턴의 쓰레기 코드를 넣어서 분석을 복잡하게 한다. 이런 패턴은 가상화 난독화 도구마다 서로 다르다.

본 논문에서는 가상화 난독화 기법이 적용된 프로그램 코드의 여러 가지 특성을 찾고, 이들 여러 가지 특성을 이용해서 베이지안 분류 기법을 이용해서 가상화 난독화된 바이너리를 식별하고 가상화 난독화 도구의 종류를 알아낼 수 있는 분류 기법을 제안하였다. 이 기법을 여러가지 도구로 난독화한 실험 자료에 적용하여 실험한 결과 여러 대상 샘플에 대해서 매우 높은 정확도로 사용된 가상화 난독화 도구를 식별할 수 있었다.