오디세우스/Parallel-OOSQL 병렬 DBMS/검색엔진을 위한 멀티프로세스/멀티쓰레드 모델의 설계 및 구현

Abstract

인터넷 상의 데이터의 양이 폭발적으로 증가함에 따라 정보 검색 기술의 중요성이 대두되고 있다. Google, Yahoo!와 같은 대형 검색 엔진은 수백억 건의 웹 페이지를 색인하고 있으며, 이러한 대량의 데이터에 대하여 많은 사용자의 질의를 처리하기 위해서 여러 대의 머신에서 병렬로 질의를 처리한다. 병렬 정보 검색 엔진은 데이터 양의 증가와 사용자 수의 증가에 유연하게 대응할 수 있어야 하기 때문에 확장성이 높아야 한다. 그러나 멀티프로세스/단일쓰레드 모델을 따르는 병렬 검색 엔진은 여러 대의 머신에서 여러 개의 질의를 동시에 처리하기 위해서 다수의 프로세스가 필요하기 때문에 메모리 자원이 많이 소모되어서 확장성이 낮다. 따라서 병렬 검색 엔진에 멀티프로세스/멀티쓰레드 모델을 사용함으로써 머신 내부에 생성되는 프로세스의 개수를 감소시킬 필요가 있다. 멀티프로세스/멀티쓰레드 모델은 하나의 프로세스에 다수의 쓰레드를 사용하기 때문에 멀티프로세스/단일쓰레드 모델에 비해 확장성이 높다. 그러나 병렬 검색 엔진에 대한 멀티프로세스/멀티쓰레드 아키텍처를 세부적으로 설계하고 구현한 문헌은 잘 알려진 바가 없다. 본 논문에서는 한국과학기술원 전산학과 데이터베이스 및 멀티미디어 연구실에서 개발한 대형 병렬 검색 엔진인 오디세우스/Parallel-OOSQL을 확장하여 멀티프로세스/멀티쓰레드 모델로 설계하고 구현한다. 오디세우스/Parallel-OOSQL 내부에 생성되는 프로세스의 개수를 감소시킴으로써 메모리 사용량과 컨텍스트 스위칭 비용을 감소시킨다. 또한, 생성된 프로세스/쓰레드를 효과적으로 관리하는 방법을 제안하여 질의 처리 속도를 향상시킨다. 마지막으로 실험을 통해 멀티프로세스/멀티쓰레드 모델이 멀티프로세스/단일쓰레드 모델에 비하여 확장성이 향상됨을 보인다. 실험 결과, 메모리 사용량이 최대 69% 감소하며, 질의 처리 시간은 최대 19% 감소함을 보인다.