적대적 생성신경망을 통한 이종 행위자 스타일의 모방학습

Abstract

실생활 예시에서 쉽게 찾을 수 있는 문제들은 대개 순차적 의사 결정 문제로 모델링 될 수 있으나, 강화학습 방법론을 사용하여 해당 문제를 해결하려 할 때 reward design이 어렵다는 단점을 가진다. Imitation learning의 경우, reward가 아닌 한정된 optimal action을 활용하여 최적 행동을 모방하여 순차적 의사 결정 문제를 해결한다. 본 연구에서는 최근 제안된 deep generative model인 VAEGAN의 구조를 활용한다. MDP로 정의된 순차적 의사 결정 문제에 대해 한정된 양의 state와 이에 해당되는 optimal action이 학습 데이터로 주어졌을 때, state의 정보를 효율적으로 함축하고 해당 정보를 최적 행동으로 재생성 할 수 있는 모델에 대해 제안하였다. 또, 개체 스타일에 대한 정보를 conditional 하게 학습시켜 같은 state가 주어질 때 개체의 스타일에 맞는 행위를 생성할 수 있는 방법을 제시하였다.