Hadoop 분산 파일 시스템의 효과적인 저장 공간 절약 기법

Abstract

분산 파일시스템은 서로 분산된 여러 서버들을 가지고 파일 시스템을 구성함으로써 높은 확장성과 고가용성을 지원한다. 현재의 분산 파일시스템들은 내고장성을 위해 주로 데이터 복제 기법에 의존한다. 그러나 이 방법은 저장 공간을 추가로 필요로 하는 단점을 가진다. 이 논문에서는 이 추가 저장 공간의 문제점을 해결하고자 erasure coding을 이용한 패리티 블록의 작성을 통해 데이터 복제본을 대체함으로써 동일 수준의 내고장성을 유지하면서도 저장 공간을 보다 절약하는 방법을 제안한다. 특히, 동일 노드 상의 서로 다른 파일의 블록들을 하나의 스트라이프로 구성하여 패리티 블록을 생성함으로써 인코딩, 디코딩 시의 I/O 효율을 향상한다. 또한, erasure coding 적용 이후에도 신뢰성이 유지되는 블록 배치 기법을 제안하고 구현하였다.