어텐션과 합성곱 오디오 분리망을 이용한 엔드투엔드 다채널 음향 향상 기법

Abstract

최근 심층학습(deep learning)이 다양한 분야에서 성공적으로 적용되면서 잡음 제거를 위한 심층신경망이 큰 주목을 받고 있다. 최신 심층신경망 기법은 잡음이 포함된 시간 영역 신호 입력을 이용해 잡음이 제거된 시간 영역 신호를 추정하는 엔드투엔드(end-to-end) 학습을 이용한다. 또한 완전 합성곱 신경망(fully convolutional network)을 사용하여 파라미터 사이즈가 작은 효율적인 모델을 만들기 위한 연구가 이루어지고 있다. 최근, Conv-TasNet (fully convolutional time-domain audio separation network)은 엔드투엔드 학습과 완전 합성곱 신경망을 이용하여 단일 채널 음향 신호 분리에서 성공적인 성과를 거뒀다. 본 연구는 Conv-TasNet을 잡음 제거를 위한 다채널 모델로 확장하고, 어텐션(attention) 기법의 영향을 실험하였다. FSD50k 데이터 셋을 기반으로 시뮬레이션을 통해 데이터 셋을 합성하였고, 합성된 데이터 셋은 다양한 종류의 음원을 포함하고 있다. 10채널 음향 신호에 대해 변형된 다채널 모델을 적용한 결과, 기초 모델(baseline)인 Conv-TasNet과 빔 형성 기법보다 잡음 제거 성능이 크게 향상되었으며, 어텐션 기법 사용으로 인한 잡음 제거 성능 향상을 확인하였다.