두 회귀신경망을 사용한 예측 메타-강화학습 알고리즘 디자인

Abstract

사람의 강화학습은 크게 습관적 행동 패턴을 보이는 모델-자유(Model-free) 강화학습과 목적 지향적 행동 패턴을 보이는 모델-기반(Model-based) 강화학습으로 나뉜다. 모델-기반 강화학습은 환경 혹은 상대방 전략의 변화에 대처할 수 있다. 반면 모델-자유 강화학습은 요구하는 계산량이 비교적 적으며, 극단적으로 동적인 환경이나 노이즈가 큰 환경에서 더 나은 모습을 보인다. 기존 강화학습 알고리즘은 모델-자유 혹은 모델-기반 강화학습 중 한 가지만 사용하여 의사결정에 반영한다. 그러나 사람은 상황에 따라 모델-자유 강화학습과 모델-기반 강화학습 중 적절한 전략을 선택하는 메커니즘을 사용하는 것으로 알려져 있다. 본 연구에서는 회귀신경망을 사용해 사람처럼 상황에 알맞은 전략을 선택해 정책과 가치값을 계산하는 알고리즘을 제시하고, 이를 행동 데이터를 사용하여 검증한다.