본 발명에 따른 방향 동작 인식 시스템은, 입력 영상의 4방향(상/하/좌/우)의 움직임에 대한 방향 히스토그램의 비교 대상이 되는 기준 히스토그램을 생성하기 위한 기준 히스토그램 생성 모듈; 입력 영상으로부터 움직임을 인식하기 위한 분석 영상을 생성하기 위한 분석 영상 생성 모듈; 상기 분석 영상으로부터 움직임의 방향성 분포를 추출하여 벡터 정보를 추출하는 특징 추출 모듈; 상기 벡터 정보의 방향 성분으로 방향 히스토그램을 생성하기 위한 방향 히스토그램 획득 모듈; 상기 방향 히스토그램을 정규화하기 위한 히스토그램 정규화 모듈; 상기 방향 히스토그램과 상기 4방향의 기준 히스토그램을 비교하여 매칭하기 위한 히스토그램 비교 모듈; 상기 매칭된 기준 히스토그램에 대응하는 방향의 비용함수에 비용값을 누적시키기 위한 비용 함수 갱신 모듈; 및 상기 누적된 비용값을 통해 상기 움직임의 방향을 인식하기 위한 동작 인식 모듈;을 포함할 수 있다.