모델예측제어 모방학습과 강화학습을 보행 로봇에 적용한 연구

Abstract

최근 보행 로봇의 제어에 많이 사용되는 방법으로 모델기반제어가 있다. 모델기반제어의 경우 보행 로봇의 각 요소의 질량과 관성모멘트가 포함된 동역학 식을 통하여 제어하는 방법이다. 특히 모델기반 제어 중에서도 주목받고 있는 방법이 모델예측제어 방법이다. 모델예측제어 방법은 지정한 비용함수가 최소화되도록 일정 구간 동안의 모델의 움직임을 예측하여 최적화를 통해 제어입력을 구하는 방법이다. 모델예측제어 방법의 경우 제어주기마다 최적화 문제를 풀어야 하므로 풀고자 하는 문제가 어려울수록 제어주기를 빠르게 할 수 없다. 따라서 최근 모방학습을 통해 모델예측제어를 신경망으로 대체하고자 하는 노력이 이루어졌다. 본 논문은 기존에 사용되는 모방학습 방법 중 2가지를 결합해 더욱 표본 효율적이고 성능이 좋은 방법을 제시한다. 다음으로 이를 통해 보행 로봇의 모델예측제어기를 대체하는 신경망으로부터 강화학습을 시작해 적은 표본으로도 학습하며 제어주기를 높일 방법을 제시한다.