실시간 공간 빅데이터 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용

Abstract

최근 IoT 기술의 발달과 모바일 디바이스의 대중화로 공간 정보를 포함하는 데이터가 급격하게 증가함에 따라 공간 빅데이터 처리 기술이 많은 관심을 받고 있다. 또한, 유비쿼터스 컴퓨팅의 중요성이 널리 인식되면서 실시간 데이터 처리에 대한 수요가 증가하고 있다. 하지만, 기존의 SpatialHadoop과 같은 공간 빅데이터 처리 방법은 수집된 데이터를 일괄적으로 처리하는 배치 처리 방식으로 일정량 이상의 데이터를 수집한 후에야 분석이 가능하기 때문에 실시간 처리에는 불리하다. 또한, Esper나 Drools와 같은 복합 이벤트 처리 엔진은 수평적 확장이 불가능하기 때문에 대용량 데이터 처리에 한계가 있으며, 공간 정보 처리 능력도 결여되어있다. 마지막으로 Storm과 같은 실시간 분산 처리 시스템은 다양한 종류의 데이터들에 대한 복합적인 관계 분석 능력이 미흡하다. 본 논문에서는 공간 빅데이터의 실시간 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용에 대해 기술한다. 먼저, 대용량의 실시간 데이터 처리를 위한 수평적 확장을 위해 Storm을 분산 처리 시스템으로 도입하였다. 그리고 복합 이벤트 처리를 위해 Drools 엔진을 Storm의 논리적 단위인 볼트와 결합하였다. 또한, 공간 데이터 처리를 위해 Drools 엔진에 공간 데이터 타입과 연산자를 구현하였다. 마지막으로, 설계한 시스템을 실제 응용인 “화물차 복합 이벤트”에 적용한 결과를 제시하였다.