패치기반 최소 랭크 블락 한켈 행렬을 이용한 영상 채우기

Abstract

GMRF(Gaussian Markov random field)와 PDE(partial differential equation) 기반 영상모델에 따르면 영상의 국소영역(패치, patch)은 자기자신의 픽셀값들로부터 본래의 값을 다시 피팅해주는 필터를 갖고 있으며 이는 소멸필터(Annihilating filter)라고 명명된다. 이러한 소멸필터는 패치에서 컨볼루션 관계로 픽셀값들을 본래의 값들로 피팅해주며 이는 컨볼루션을 통해 값을 0으로 만들어주는 역할과 동일하게 된다. 컨볼루션은 교환법칙을 갖고 있으며, 이러한 교환법칙을 이용하면 손실된 데이터로 이뤄진 컨볼루션 행렬을 얻을 수 있으며, 이러한 컨볼루션 행렬은 블락 한켈 행렬(block Hankel matrix)의 구조를 갖는다. 이 블락 한켈 행렬은 0이 아닌 소멸필터에 의해서 패치의 값들을 0으로 만드는데, 이는 블락 한켈 행렬이 랭크 부족 행렬임을 의미한다. 이러한 랭크 부족 행렬은 최소 행렬 완성화(Low rank matrix completion) 알고리듬을 통해 손실된 정보를 복원할 수 있게 된다. 복원은 데이터 도메인에서 이뤄지고 손실된 블락 한켈 행렬을 본래의 블락 한켈 행렬에 가깝게 복원하며, 복원된 블락 한켈 행렬은 역한켈 변환 방식을 통해 본래의 패치로 복원되며, 이렇게 복원된 패치들을 본래의 위치에 넣음으로써 영상을 복원한다. 복원할 패치들은 겹쳐서 슬라이딩 되며 이렇게 겹쳐지는 부분은 평균화를 통해 가장자리 artifact들을 제거한다.본 특허의 장점은 손실된 영상의 정보를 복원하는 것뿐만이 아니라, 블락 한켈 행렬로 변환된 패치의 dominant한 특이 벡터(singular vector)들을 추출하여 다시 패치로 변환 하였을 때, 우리는 국소 영역의 dictionary 요소들을 손쉽게 구할 수 있었다. 이러한 dictionary들은 overcomplete한 특성을 가지며, 본래의 표준영상에서 별도의 피팅과정이나 알고리듬없이 단순한 한켈 행렬 변환과 SVD(singular value decomposition) 변환의 결합으로 구현되며, 손실된 영상 복원 과정 내에서도 초기 복원시에 이러한 dictionary 요소들을 얻을 수 있다.