Improving mapReduce performance by collaborating with page cache

Abstract

매일 생산되는 많은 양의 데이터를 처리하기 위해서 맵리듀스 프로그래밍 기법이 널리 사용되고 있다. 맵리듀스 프로그램의 성능은 디스크 입출력에 많은 영향을 받고 있기 때문에 운영체제의 페이지 캐시의 역할이 중요하다고 할 수 있다. 본 연구에서는 맵리듀스 프로그램을 위해서 운영체제의 페이지 캐시가 할 수 있는 역할과, 맵리듀스 프로그램이 운영체제의 페이지 캐시와 협력해서 디스크 입출력 성능을 높이는 방법을 탐구하는 것이 목적이다. 페이지 캐시는 다양한 프로그램들과 동작하도록 만들어 졌기 때문에, 각각 프로그램의 특성에 맞춰서 설계되지 않았다. 이 때문에 맵리듀스 프로그램이 만들어내는 많은 양의 임시 데이터들이 불필요하게 디스크 입출력 성능에 방해를 하면서, 전체 프로그램의 성능이 떨어지고 있다. 따라서, 맵리듀스 프로그램이 페이지 캐시에게 데이터의 수명이 임시적인지 영구적인지 알려주어서, 페이지 캐시에서 효율적으로 디스크 입출력을 수행하는 것을 제안하였다. 이렇게 데이터의 수명을 고려해서 디스크 입출력을 함으로써, 전체 디스크 입출력의 양이 약 10% 정도 감소하였고, 전체 실행 시간은 9\% 정도 감소하였다. 다음으로는, 페이지 캐시의 디스크 입출력 상황을 고려한 맵리듀스 프로그램의 스케쥴링 알고리즘을 제안하였다. 맵리듀스 프로그램의 특성상, 많은 양의 데이터를 처리하는 프로그램은 디스크 입출력으로 인한 피해가 적고, 적은 양의 데이터를 처리하는 프로그램은 그 피해가 크다. 따라서, 피해가 적은 프로그램을 우선적으로 스케쥴링하는 방법을 제안하였다. 그 결과, 많은 양의 데이터를 처리하는 프로그램의 피해를 최소화하면서, 적은 양의 데이터를 처리하는 프로그램의 성능을 많이 향상시킬 수 있었다. 이렇게 운영체제의 페이지 캐시와 맵리듀스 프로그램이 서로 협력하여 동작함으로써 불필요한 디스크 입출력의 양을 줄이고, 전체 성능 시간을 약 12\% 정도 감소를 이루었다.