강화학습에 기반한 이족보행 패턴에 대한 연구

Abstract

후쿠시마 원전 사고 이후로 사람을 대신할 로봇의 필요성이 크게 대두되었다. 이에 따라 미국 국방성 산하 방위고등연구계획국(DARPA)에서는 재난 발생시 임무를 수행할 수 있는 로봇 개발을 목표로 재난 로봇 대회를 열었다. 이 대회는 전세계 로봇공학자들과 대중들의 큰 관심을 끌었으며, 재난 로봇의 중요성이 커짐에 따라 본 연구실에서는 재난 사고 발생시 임무를 수행하기 위한 족형 로봇을 개발하고 있다. 본 연구는 개발중인 로봇의 이족 보행 패턴을 생성하는 것에 초점을 맞추고 있다. 최근 크게 각광받으며 뛰어난 성능을 보이고 있는 기계학습, 그 중에서도 사람의 학습 능력을 모방한 강화학습을 이용하여 매니퓰레이터의 장애물 회피 궤적을 생성하고, 안정한 이족 보행 패턴을 생성한다. 매니퓰레이터와 하체의 기구학 및 동역학을 분석하고 Q-learning을 이용하여 장애물과 충돌을 일으키지 않는 궤적을 생성하고 ZMP를 기반으로 안정한 둔부의 궤적을 생성한다.