본 발명은 거리와 회전에 강인하게 사용자의 행동을 인식할 수 있는 행동 인식 장치 및 그의 행동 인식 방법에 관한 것이다.일례로, 사용자의 관절 정보와 깊이 정보를 취득하는 데이터 취득 단계; 데이터 저장부에 행동 템플릿이 존재하는 지의 여부를 확인하는 행동 템플릿 확인 단계; 상기 데이터 취득 단계에서 취득한 사용자의 관절 정보와 깊이 정보로부터 입력 행동 템플릿을 생성하고, 상기 입력 행동 템플릿을 상기 데이터 저장부에 저장된 복수의 행동 템플릿과 매칭시키는 매칭 단계; 및 상기 입력 행동 템플릿과 가장 유사한 행동 템플릿을 갖는 행동을 출력하여, 사용자의 행동을 추정하는 행동 추정 단계를 포함하는 것을 특징으로 하는 행동 인식 장치의 행동 인식 방법을 개시한다.