본 발명은 다차원 데이터 세트를 위한 하이퍼사각형 기반의 세그먼테이션, 클러스터링 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 비디오 스트림과 같이 다차원 데이터 시퀀스(Multidimensional Data Sequence)로 표현될 수 있는 데이터 세트에 대하여, 주어진 질의 시퀀스와 유사한 다차원 데이터 시퀀스를 데이터베이스에서 효율적으로 검색하기 위하여 프레임 사이의 기하학적 정보 및 의미적인 정보를 고려하여 비디오 세그먼트(Video Segment)로 나누며, 한 비디오 클립 내에서 서로 유사한 세그먼트들은 다시 비디오 클러스터(Video Cluster)로 군집화하는 장치 및 방법을 제공한다.