3D 아바타의 자연스러운 수화 동작 표현 방법

Abstract

본 논문에서는 실제 수화자의 관점에서 기존 수화 아바타의 한계와 문제점을 지적한다. 이를 해결하기 위하여 손 모양, 손 방향, 손 운동을 비롯하여 입술 움직임, 얼굴 표정, 안색, 눈동자 움직임, 몸동작 등을 통해 수화를 보다 자연스럽게 표현할 수 있는 수화 아바타를 개발하였다. 또한, 데이터베이스의 성능을 높이기 위해 손의 움직임과 함께 다른 신체 요소들의 움직임을 구조적으로 같이 기술할 수 있는 하이퍼 수화 문 장을 제안한다. 개발된 시스템의 우수성을 보이기 위해 실제 청각 장애인을 대상으로 설문조사를 수행하여 시스템의 사용성을 평가하였다.

This paper proposes a 3D avatar which expresses sign language in a very natural way using lips, facial expression, complexion, pupil motion and body motion as well as hand shape, hand posture and hand motion to overcome the limitation of conventional sign language avatars from a deaf's viewpoint. To describe motion data of hand and other body components structurally and enhance the performance of databases, we introduce the concept of a hyper sign sentence. We show the superiority of the developed system by a usability test through a questionnaire survey.