Bi-DCT: fast DCT-based binary visual metric for multiple view stereo

Abstract

다중시점 영상으로부터 3차원 복원은 컴퓨터 비전에서 핵심 연구 중 하나로 가상현실, 로봇 안내, 문화 유적지 디지털 보존 등 많은 분야에서 사용되고 있다. 이를 증명하듯, 지난 십 여 년간 다중시점 3차원 복원에 관한 많은 연구들이 진행되어 왔다. 그러나 대부분의 연구는 최적화와 정규화 기법 개발이었고, 이 때 사용하는 정합 매칭 기법으로는 정규 상관 기법(NCC)이 거의 유일하였다. 이는 특징점 매칭(salient feature matching) 분야에서 정합 매칭 연구가 많은 주목 받고 발전을 이룩한 것과 사뭇 대조적이다. 본 논문에서는 다중시점 3차원 복원에서의 정합 매칭, 즉 시각 매칭 기법,에 관해 다룬다. 먼저 다중시점 3차원 복원의 선행 연구들로부터 시각 매칭을 위한 핵심 디자인 파라미터를 정의하고, 그것들의 성능을 평가한다. 구체적으로, 정의한 핵심 파라미터들(자유도, 비닝, 영상조합)을 기반으로 전체 요인 설계(full factorial study)를 수행하고, 다중시점 3차원 복원을 위한 시각 매칭기법들을 분류하고 성능을 평가한다. 이 연구를 통해, 다중시점 3차원 복원을 위한 시각 매칭 구성 방법에 영감을 얻고, 권고 사항을 제안한다. 주요 결론은 비닝이 가장 중요한 디자인 파라미터이고, 텍스쳐가 풍부한 영역에서는 모든 시각 매칭기법의 성능이 비슷하나, 도전적인 영역 (예를 들어, 반사도가 존재하는 영역)에서는 새로운 조합인 M_2를 권장 한다는 것이다. 조사과정의 한 부분으로 현재 사용 가능한 어느 데이터 셋들보다 다양한 반사도, 질감, 복잡도를 가지는 장면들로 구성된 새로운 데이터셋을 소개한다. 다음으로는, 앞선 조사 결과를 바탕으로, 기존 기법들이 다루고 있지 않은 두가지 사항 (즉, 비특징 영역에서의 강인한 매칭 그리고 많은 화소들의 빠른 매칭)을 고려한 새로운 시각 매칭 기법 Bi-DCT를 제안한다. DAISY의 비닝 과정이 기하 왜곡을 완화하는 장점을 가지고 있지만, 그것을 이루는 기본 표현 기법 (즉, HOG)은 여전히 비특징 영역에서 구분력을 제공하는데 한계가 있다. 제안하는 Bi-DCT는 2D DCT에 기반한 주파수 정보를 활용하여 비특징 영역에서도 높은 매칭 성능을 가지도록 한다. 또한 제안 시각 매칭 기법은 방대한 계산량과 많은 메모리 공간 등 계산과 관련된 어려움을 해결하기 위해 이진 표현법을 채택한다. 마지막으로 이진화된 표현의 구분력을 더욱 향상시키기 위해 공간-주파수 풀링 기법을 제안한다. 제안하는 풀링 기법은 기존 기법들에 비해 주파수 공간에서의 간단한 필터링 처리를 활용하여 연산량이 작은 장점이 있다. 이와 같이 제안하는 Bi-DCT는 비특징 영역에서도 높은 구분력을 유지하면서도, 이진 표현법으로 메모리 공간의 축소는 물론 수백배 향상된 매칭 속도를 보인다. 본 연구에서는 기준 데이터 셋 그리고 제안한 데이터 셋에서의 다양한 실험을 통하여, 최신 기법들에 비해 제안 기법의 우수성을 증명한다. 마지막으로 제안 시각 매칭 기법은 현재 많은 관심을 받고 있는 대규모 다중시점 3차원 복원 연구 발전에 견인 역할을 할 것으로 기대된다.