해부학적인 구조에 근거한 손가락 관절 위치 추정 기법

Abstract

기술의 발전으로 인해 컴퓨터와 사람 간의 상호 소통이 가능해지고, 센서와 물체 간의 거리 값을 얻는 각종 깊이 센서가 개발됨에 따라, 손의 직관적인 명령 전달이 가능해져 휴먼 컴퓨터 인터렉션 (Human Computer Interaction) 관련 기술 개발이 현재도 진행이 되고 있다. 그리고 하드웨어가 발전함에 따라 모바일 기기에서도 물체의 깊이를 측정하는 센서가 개발이 되어, 물리적으로 기기에 접촉하지 않고 떨어진 거리에서도 손 끝 좌표를 인식하는 기술인 호버링 터치 기술도 연구가 되었다. 그러나 손 끝의 위치 만으로는 본래 손이 표현할 수 있는 정도보다 제한이 될 수가 있다. 그러므로 더 다양한 명령어 전달의 위해 손 관절 추정 연구가 되어야 하지만, 관절의 자기 가림으로 인해 추정이 쉽지가 않으므로 이를 해결하기 위한 연구가 필요하다. 본 연구는 모바일 기기에서의 손의 관절의 위치를 추정하는 것을 목적으로 한다. 호버링 터치에서의 손 끝 위치로 표현될 수 있는 표현의 자유도를 손의 관절까지 찾음으로써 더 다양한 명령 전달이 가능하도록 한다. 제안하는 기법에서 우선 주어진 손의 깊이 영상에 대해 손가락의 길이 및 너비를 측정한다. 그 후에 손 끝과 손가락과 손바닥을 이어주는 관절 (이하 RP라고 함) 의 위치를 찾는다. 그리고 손의 해부학적 논리를 적용함으로써, 손 끝과 RP의 위치로부터 손가락 관절의 각도를 파악한다. 그리고 손가락은 꺾을 때 한 평면을 지나가므로 손가락 관절을 이 손가락 평면에 위치하게 함으로써 관절의 위치를 추정한다. 그리고 부정확하게 찾은 RP로 인한 관절이 부정확함을 보정을 해주는 단계도 추가를 해준다. 성능 평가를 위해 손의 다양한 자세를 포함한 데이터 영상을 사용하였고, 이 영상에서 제안한 기법으로 찾은 관절의 위치의 정확도를 확인하기 위해 Ground Truth와 비교를 한다. 손 끝과 RP의 Ground Truth를 GMM(Gaussian mixture model)과 수동으로 찾음으로써 본 논문의 기법으로 관절의 Ground Truth를 찾았다. 보정 단계를 추가한 기법이 보정 단계를 제외한 기법보다 성능이 좋은 것을 확인하였고, 엄지를 제외한 다른 손가락의 관절은 Ground Truth와 약 10~15mm의 차이를 보이는 것으로 확인하였다.