3차원 음향 인텐시티를 사용한 심층신경망 기반 음성 잔향 제거 기법

Abstract

객체 기반 오디오 시스템은 마이크로폰 어레이로 녹음된 신호에서 개별 음원에 대한 정보와 공간에 대한 정보를 따로 분리하여 저장한 후 렌더링 시에 음장을 현장과 유사하게 재현하는 시스템이다. 이를 구현하기 위해 녹음된 신호에서 잔향을 제거할 필요가 있다. 최근에 심층신경망이 멀티채널 신호를 입력으로 받아 잔향을 제거하는 기법이 좋은 성능을 보였다. 그러나 그러한 학습 기반 기법은 훈련에 사용되지 않은 방에서 잔향 제거 성능이 떨어지는 문제가 있다. 본 연구에서는 그러한 문제를 완화하고 일반화 성능이 좋은 심층신경망을 훈련하기 위해 방향 특징을 입력으로 사용할 것을 제안한다. 방향 특징은 3차원 음향 인텐시티와 관련된 값이며, 잔향의 양이나 직접파와 반사파의 방향을 판단하는 데에 유용한 정보이다. 방향 특징을 입력으로 훈련된 심층신경망은 멀티채널 신호로 훈련된 심층신경망보다 더 좋은 품질과 명료도, 신호 대 잡음비를 갖는 음성을 출력한다. 특히, 훈련에 사용되지 않은 방에서 성능 하락이 발생하는 정도가 작아서 다양한 환경에 일반화될 수 있다.