Photometric approaches for image enhancement and editing

Abstract

광도 특성은 영상의 시각적 모습을 특징짓는 중요한 역할을 한다. 따라서 장면의 조명, 표면의 반사도, 카메라 특성 함수와 같은 광도 특성을 추정하는 것은 컴퓨터 비전과 그래픽스 분야의 근본적인 문제이다. 이는 또한 고명암비 영상 취득, 광도 형태 개선, 영상 양식화와 같은 다양한 응용을 가진다. 본 학위 논문에서는 장면의 광도 특성을 분석하여 영상을 개선하는 것과 영상의 시각적 모습을 변화시켜서 영상을 편집하는 두 문제에 집중한다. 첫번째로, 랭크 최소화에 의한 방사 보정을 제시하였다. 방사 보정은 카메라 센서의 방사조도와 저장된 밝기값의 관계를 결정하는 카메라 반응 함수를 추정하는 문제이다. 이는 방사조도와 관측된 영상 밝기값 간의 선형 관계를 가정하는 많은 광도 기반 방법들을 위한 중요한 첫 단계다. 제안된 방법은 고정된 장면을 다양한 노출 시간으로 찍은 방사조도나 경계선 주변에서 보여지는 방사조도 혼합 색상의 선형 구조와 같은 다양한 형태의 관측 밝기값에서 나타나는 저랭크 구조를 활용하는 것으로, 다양한 방사 보정 문제들이 랭크 최적화에 기반한 하나의 통합된 프레임워크로 다뤄질 수 있다는 것을 보였다. 따라서 제안된 방법은 다양한 설정의 방사 보정 문제들을 푸는 원리적 방식을 제공한다. 두번째로, 단일 RGB-D 영상으로부터 균일 알베도를 가진 확산 표면 물체의 상세한 형태를 복원하는 새로운 방법을 제시하였다. 먼저 자연 조명 환경을 정확히 표현하기 위하여 전체 모델과 지역 모델로 이뤄진 일반 조명 모델을 도입하였다. 전체 모델은 멀리 떨어진 조명을 표현하고, 확산 표면이 갖는 저차원 특성을 이용하여 추정된다. 지역 모델은 전체 모델로 표현할 수 없는 지역적으로 변하는 조명을 표현한다. 제안된 방법은 새로운 일반 조명 모델을 이용해 자연 조명 환경의 복잡한 조명 변화를 정확히 추정하고, 명암 기반 형태 복원 방법을 이용해 고품질의 상세한 형태를 복원한다. 세번째로, 사진의 다양하고 시각적으로 흥미로운 양식화를 자동으로 생성하기 위한 기술을 제안하였다. 이는 대규모 사진 모음을 이용해 주어진 입력에 맞는 양식의 순위를 학습하고, 최종 양식화 변환을 위한 어울리는 양식들의 다양한 부분집합을 선택함으로 이뤄진다. 또한 기존 양식화 변환에서 나타나는 일반적인 시각적 결함을 방지하면서 선택된 모범 양식의 전체 색상과 색조를 입력 사진으로 옮기는 새로운 기술을 제안하였다. 제안된 양식화 선택 기술과 양식화 변환 기술을 통해 다양한 종류의 입력 사진에 대해 흥미롭고 결함으로부터 자유로운 결과를 얻을 수 있었고, 이용자 연구를 통해 제안된 방법에 다른 방법들에 비해 선호된다는 것을 보였다. 마지막으로, 확산절점보간 방법에 기반한 색상 변환 방법을 제안하였다. 제안된 방법은 이동최소자승 방법을 도입함으로써 3차원 색공간에서의 완전한 비선형 색상 대응 문제를 해결하였다. 색공간에서의 색상 전달 확률 모델링을 통해 영상 간의 어긋남이나 영상 잡음으로 인한 문제에 강인한 색상 변환 결과를 얻었다. 제안된 방법은 서로 다른 카메라 모델, 카메라 설정, 조명 환경, 그리고 비디오의 색상 변환과 같은 다양한 종류의 색상 변환 문제에 적용될 수 있다.