본 발명에 의한 밝기 대소를 이용하여 표적을 추적하기 위한 장치가 개시된다.본 발명에 따른 밝기 대소를 이용하여 표적을 추적하기 위한 장치는 입력받은 영상이 첫 번째 프레임인 경우, 입력받은 영상으로부터 표적모델을 추출하는 표적모델 추출부; 입력받은 영상이 첫 번째 프레임이 아닌 경우, 입력받은 영상으로부터 표적후보 모델을 추출하는 표적후보모델 추출부; 추출된 상기 표적모델과 상기 표적후보 모델 간의 유사도를 계산하는 유사도 계산부; 상기 계산한 결과로 상기 표적 모델과 유사도가 가장 높은 위치를 표적의 위치로 결정하는 표적위치 결정부; 및 결정된 상기 표적의 위치를 기반으로 상기 표적 모델을 갱신하는 표적모델 갱신부를 포함한다.