Perceptual disambiguation by multimodal information processing with predictive coding approach

Abstract

최근 증강현실기술의 발전을 통해 구글 글래스 혹은 오큘러스 리프트와 같은 체험형 장치가 개발되었으며, 이는 개발자들에게 실감형 가상현실 제작의 새로운 플랫폼과 도구를 제공하였다. 그러나 다양한 감각정보를 혼합한 통합적인 디지털 콘텐츠를 제작할 때의 설계 방식은 종종 인간의 다중감각정보처리가 아닌 개발자의 직관이나 관례에 의존하여 왔다. 본 연구에서는 인지적 모호성 상태에서의 시청각 상호작용을 통해 다중감각정보처리의 원칙에 대해 알아보고자 하였다. 실험 환경에서 인지적 모호성을 유발하기 위하여 시각 방위가 큰 자극에서의 양안경쟁을 활용하였다. 또한, 상호작용을 알아볼 자극은 인간의 정보처리이론인 상향식과 하향식에 근거하여 단순물리적 (physical) 자극과 의미적 (semantic) 자극을 선택하였다. 양안경쟁 상태에 머물러 있는 피험자들에게 각각의 자극에 부합하는 다중감각환경을 유도한 뒤 그들의 양안경쟁 양태변화를 통해 시청각 정보의 상호작용에 의한 주관적 경험 변화 여부를 조사하였다. 실험 결과, 단순물리적 자극은 시청각 상호작용을 보이지 않았으나 의미적 자극은 시청각 상호작용을 통해 피험자의 인지 향상과 모호성 해소 효과를 나타낼 수 있음을 확인하였다.