게임과 로봇공학에서의 모델 프리 강화학습 응용에 대한 사례 조사

Abstract

강화학습은 에이전트가 환경으로부터 현재의 상태를 인지하고 수행한 행동에 대한 피드백을 받으며 학습을 진행한다. 강화학습은 여러 응용에서 활발히 연구되고 있지만, 특히 게임과 로봇에 대한 문제는 마르코프 결정 과정으로 쉽게 표현할 수 있어 강화학습을 적용하기에 용이하다. 모델 프리 강화학습의 종류는 몬테 카를로 컨트롤, 살사, 큐러닝, 정책 경사 방법 등이 있으며, 문제 상황에 따라 알맞은 방법을 사용한다. 게임과 로봇과 관련한 문제를 풀기 위해 모델 프리 강화학습 알고리즘이 주로 사용되며, 딥 큐러닝과 정책 경사 방법이 대표적으로 사용되어왔다. 하지만 주어진 환경에 대한 정보가 충분하지 않아서 보상과 관련된 정보가 충분하지 않고, 보상이 지연되는 경우에는 강화학습이 제대로 작동하기 어려운 문제가 있다. 향후 연구에서는 이러한 단점을 보완하여야 할 것이다. 또한, 이번 연구에서 다루지 못한 게임과 로봇에 관련된 State-of-the-art를 향후 연구에서 다룰 것이다.