본 발명은 캡쳐된 영상으로부터 특징을 추출하여 사용자의 의도를 파악하고 로봇장치의 행위를 제어하는 지능형 비주얼 서보잉 시스템 및 방법에 관한 것이다. 본 발명에 따른 지능형 비주얼 서보잉 시스템은, 스테레오 웹카메라로부터 좌, 우측영상 정보를 입력하는 영상입력부와; 상기 영상입력부를 통해 입력되는 좌, 우측영상으로부터 작업대상의 외적 의도 및 내적의도를 파악하는 지능형 비주얼서보잉 프로그램구동부와; 상기 지능형 비주얼서보잉 프로그램구동부에서 파악된 상기 작업대상의 외적의도 및 내적의도에 따라 로봇장치를 구동하는 로봇구동부와; 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 지능형 비주얼서보잉 프로그램구동부에게 전달하고, 상기 지능형 비주얼서보잉 프로그램구동부가 상기 작업대상의 외적의도 및 내적의도를 파악하는 전 처리과정에서의 영상과 각 처리과정에 대한 정보를 모니터에 표시하는 그래픽사용자인터페이스부를 포함한다.