GPU 메모리 초과 사용을 위한 다중 GPU간 메모리 활용 시스템 연구

Abstract

최신 GPU 시스템을 위한 통합 주소 공간은 GPU 초과 사용 시를 위한 페이지 폴트 방식을 제공한다. 만약 GPU 응용 프로그램의 크기가 GPU 메모리 용량을 초과하면, 통합 가상 메모리는 호스트와 GPU 사이 에 데이터를 자동으로 옮겨주어 응용 프로그램이 작동할 수 있도록 만들어 준다. 이러한 통합 가상 메모리의 등장은 프로그래머가 직접 명시적으로 새 페이지 할당을 위해 데이터를 이동시켜야 했던 기존 프로그래밍 방식의 부담을 많이 덜어주었다. 하지만, 현재 통합 가상 메모리 관리 체계는 심각한 성능 하락을 야기한다. 이를 위한 여러 선행 연구가 있지만, 해당 연구들은 소프트웨어 프레임워크를 수정하거나 GPU 아키텍처를 수정하여 pre-eviction과 prefetch 기술에 의존하고 있다. 이 연구는 GPU 메모리 초과 사용 상황에서 성능 하락을 줄이는 새로운 접근 방법인 계층 통합 가상 메모리 시스템(Hierarchically Unified Virtual Memory, HUVM)을 소개한다. HUVM은 NVLink와 같이 빠른 속도를 지원하는 인터커넥션(interconnection)으로 연결된 인접 GPU들의 남은 메모리 공간을 일시적 으로 활용한다. 이 연구에서는 호스트 메모리로의 접근 시간을 줄이기 위해 2단계 병렬 prefetch를 포함하는 HUVM을 위한 메모리 관리자를 설계하였다. 3개의 DNN 학습 벤치마크를 통해 실험한 결과, 머신러닝 프레임워크의 수정 없이 기존 방식 대비 약 3배 성능 향상을 보여주었다.