본 발명은 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 레퍼런스 좌표계(Reference Coordinates)를 생성하는 과정과, 상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 이미지로부터 기설정된 오브젝트의 깊이 정보와 색공간(color space) 변환을 기반으로 상기 기설정된 오브젝트에 대응하는 영역을 분할하는 과정과, 분할된 영역의 오브젝트로부터 모션 성분을 가지는 서브 오브젝트를 분리하고, 분리된 상기 서브 오브젝트 및 상기 서브 오브젝트에 연계된 팜(palm) 영역을 기설정된 알고리즘을 기반으로 모델링하여 특징점을 검출하는 과정과, 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 관절 정보를 기반으로 상기 서브 오브젝트의 자세를 추정하여 증강현실 서비스 이용을 위한 3D객체를 제어하는 과정을 포함함을 특징으로 한다.