가속도 센서를 이용한 지휘 동작 인식 시스템

Abstract

음악은 ‘소리를 즐긴다’라는 뜻을 담고 있다. 감상자에게 단순한 청각적 자극을 넘어 즐거움을 주기 위해선 음악적인 경험이 뒷받침되어야 한다. 가상 현실을 이용한 사용자와 시스템 간의 상호작용을 음악 경험 제공에 접목하려는 시도는, 새로운 경험을 통해 일반인들이 보다 쉽게 음악을 접하고 체험함으로써 음악을 통해 즐거움을 얻을 수 있도록 도움을 주는 데에 그 목적이 있다. 가상 오케스트라를 구현하고 지휘 동작을 재현하는 것은 이러한 가능성을 극대화하는 연구이다. 본 논문에서는 가상 오케스트라를 구현하기 위해 필수적인 중간 단계로, 사용자의 지휘 동작을 감지하여 연주의 박자(속도)를 제어하는 지휘 시뮬레이션 시스템을 제시한다. 실제의 지휘 동작을 분석하고, 동작의 변화를 인식하기 위하여 가속도 센서를 이용, 공간상에서 지휘봉의 움직임을 가속도 정보로 수집하여 이에 상응하는 박자의 제어를 구현한다. 사용자의 박자 명시에 따라 변화하는 상하 방향의 가속도를 센서를 통해 전압 신호로 입력 받고, DSP의 A/D conversion 모듈에서 디지털 신호로 변환, 일정 수준 이상의 신호를 박자 정보로 직렬통신을 통해 컴퓨터에 전달한다. 컴퓨터에서는 Max/MSP를 이용하여 각 박자 사이의 시간 간격을 측정하고 상응하는 MIDI음악을 재생하는 방식으로 시스템이 구현된다. 기존 연구에서 사용된 CCD카메라에 의한 Motion Tracking을 보완하여 동작의 크기에 따라 음량을 조절한다. 본 논문에서 제시되는 시스템은 지휘 동작에서 가장 특징적으로 나타나는 상하 방향의 급격한 가속도 변화를 직접 입력 받기 때문에 기존 시스템에 비해 지휘 동작의 인식 성공률을 높일 수 있으며, 화상 처리 및 계산에 의한 지연을 최소화할 수 있다. 또한, 장치의 규모를 소형화하여 보다 지휘봉의 형태에 가까운 인터페이스를 제공하며, 적합한 응용 콘텐츠를 접목할 경우 게임 컨트롤러로의 발전 가능성이 있다.