분산 파일 시스템에서 저장 공간 절약을 위한 효과적인 블록 인코딩 및 블록 배치 방법

Abstract

본 발명은 데이터 복제에 기반을 두어 내고장성을 지원하는 블록 단위 분산 파일 시스템에서 복제본의 저장에 따라 추가적으로 요구되는 저장 공간을 감소시키면서 동일 수준의 내고장성을 지원하는 공간 효율성을 개선하는 방법에 관한 것이다. 분산 파일 시스템의 데이터 노드들은 상기 적어도 하나의 파일을 구성하는 원본 데이터 블록들과 상기 원본 데이터 블록들이 복제된 복제 블록들을 저장한다. 저장 공간을 감소하기 위해 네임 노드는 상기 데이터 노드들의 블록 정보를 스캔하여 상기 데이터 노드들 각각에 저장된 데이터 블록들로 구성되는 적어도 하나의 스트라이프를 구성하고, 상기 데이터 노드들 각각은 상기 네임 노드에서 전달된 인코딩 명령을 실행하기 위하여 상기 데이터 블록들의 로컬 스토리지에서의 경로를 추출하고, 소거 코딩으로 인코딩하여 패리티 블록들을 생성하고, 상기 생성된 패리티 블록들 중 하나만을 자신의 데이터 노드에 저장하고 나머지 패리티 블록들은 다른 데이터 노드들에 시스템의 가용성을 보장하는 규칙에 따라 이동시켜 저장하고, 저장된 데이터 블록에 결함이 발생하는 경우, 상기 네임 노드로부터 상기 결함이 발생한 블록이 포함되는 스트라이프의 구성 정보를 수신하고 디코딩하여 상기 결함이 발생한 데이터 블록을 복구한다.