본 발명은 디지털 TV 방송 환경에서 지능형 에이전트를 이용하여 시청자들이 원하는 방송 프로그램의 장면들을 필터링하는 시스템에 관한 것이다. 다채널인 디지털 TV 환경에서 시청자들은 특정 채널을 선택하여 프로그램을 시청할 때 다른 채널들에서 방영되고 있는 방송 프로그램들로부터 시청하기를 원하는 장면들이 있을 경우, 시청자 단말의 지능형 에이전트가 시청자들을 대신해서 다른 채널들에서 방영되고 있는 방송 프로그램들을 시청하고 시청자가 시청하길 원하는 장면들을 장면 특징 정보를 이용하여 검출하고 시청자들에게 실시간으로 검출된 장면들을 추천하여 제공한다.