강화학습을 이용한 다양한 토공사 환경에서의 작업 경로 계획

Abstract

토공사는 건설 공사 대부분의 선행되는 공종으로 건설 공정 관리에서 중요한 과제 중 하나이다. 수학적 방법론에 기반을 둔 최적화 기법, 휴리스틱에 기반을 둔 최적화 기법 그리고 행위자 기반의 시뮬레이션 등의 방법론이 건설 공정 관리를 위해 적용되어왔다. 본 연구에서는 가상의 토공사 시뮬레이션 환경을 개발하고, 가상의 토공사 시뮬레이션 환경에서 강화학습을 이용하여 시뮬레이션을 통해 토공사의 최적 작업 경로를 찾는 방법을 제안하였다. 강화학습에 있어 본 연구에서는 굴삭기 에이전트에 대해 Q-learning과 딥강화학습을 사용하여 행동 정책을 학습하였다. 학습이 이루어진 토공사 시뮬레이션 환경에서 Q-learning과 딥강화학습을 사용하여 학습한 경우 모두 최적의 작업 경로 계획을 생성할 수 있음을 확인하였다. 또한, 학습된 굴삭기 에이전트를 학습에 사용하지 않은 시뮬레이션 환경에 적용하여 토공사 작업 경로를 생성하였으며, 딥강화학습으로 학습된 에이전트의 경우 생선된 작업 경로가 최적에 가까움을 확인할 수 있었다. 이 계획은 건설 자동화의 기초가 될 수 있을 것이다.