열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법이 제시된다. 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 방법은 열상 센서를 통해 열 영상을 획득하고 RGB 센서를 통해 RGB 영상을 획득하여 상기 열 영상과 상기 RGB 영상에서의 피사체 영역을 검출하는 단계; 상기 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 단계; 및 상기 픽셀을 다수 개 획득하여 상기 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 단계를 포함할 수 있다.