본 발명의 실시예에 따른 신체 트래킹 시스템은 사용자 머리 위쪽에 설치되어 사용자를 내려다 보는 화각의 신체 영상을 촬영하는 카메라 및 신체 영상으로부터 사용자의 머리 위치, 팔의 위치, 손의 위치 및 자세를 순차적으로 특정하는 트래킹 처리부를 포함할 수 있다. 카메라는 색상 정보를 제공하는 2D 카메라, 깊이 정보를 제공하는 3D 카메라 또는 색상 정보와 깊이 정보를 함께 제공하는 하이브리드 카메라 중 어느 하나일 수 있다. 트래킹 처리부는 신체 영상으로부터 사용자의 머리 위치를 특정하는 머리 탐색부, 특정된 머리 위치에 기초하여 특정된 어깨 영역의 양 끝부분에 해당하는 좌우 어깨 위치에서 픽셀들의 분포로부터 좌우 어깨 위치에서 각각 연장되는 팔 영역을 탐색함으로써 팔의 위치 또는 자세를 특정하는 팔 탐색부 및 팔 영역의 끝부분에서 특정된 손 영역의 픽셀들의 분포로부터 손의 위치 또는 자세를 특정하는 손 탐색부를 포함할 수 있다.