기계학습 기반의 영상 인식 방법 및 기계학습 기반의 영상 인식 시스템이 개시된다. 본 발명의 일실시예에 따른 기계학습 기반의 영상 인식 방법은, 학습용 영상을 처리하여 선정한 배경조각에 관한 데이터를 기계학습 DB에 기록하는 단계와, 입력되는 실제 영상 내에 상기 배경조각이 포함되는지 판단하는 단계, 및 상기 판단 결과 포함되는 경우 상기 기계학습 DB에서 상기 데이터를 검색하고, 검색된 상기 데이터를 이용하여 상기 실제 영상과 관련하여 인식되는 정보를 화면에 출력하는 단계를 포함한다.