이기종 프로세서를 사용하는 딥러닝 모델을 위한 서빙 시스템

Abstract

딥러닝 모델 사용 서비스들은 SLO를 보장하면서 하드웨어를 효율적으로 스케줄링하기 위해 딥러닝 모델 서빙 시스템을 사용한다. 그중에서도 Clockwork 서빙 시스템은 매우 안정적으로 SLO를 보장한다. Clockwork는 높은 범용성을 가진 GPU를 사용하여 딥러닝 모델 연산이 프로세서에서 모두 처리된다고 가정한다. 하지만 낮은 범용성을 가진 인공지능 프로세서를 사용할 때는 모델 연산에 이기종 프로세서를 활용해야 한다. 이때, Clockwork를 사용하면 이기종 프로세서 활용률이 떨어지는 문제가 생긴다. 본 논문에서는 이를 해결하기 위해 Clockwork에 모델 요청 중첩 처리 기법을 적용할 것을 제안한다. 구체적으로 우리는 (1) 모델 요청 중첩 처리 구현을 위해 연산자 및 피연산자 단위 스케줄링 지원 서빙 시스템을 개발하고, (2) 프로세서 활용률을 개선하면서 SLO도 보장하는 중첩 처리 전략을 고안한다. 우리는 서빙 시스템 위에서 Clockwork를 재구현함으로써 서빙 시스템이 스케줄러를 동작시키기에 충분히 성숙함을 평가했다. 또한 우리는 Clockwork에 중첩 처리 전략을 적용했을 때 기존 Clockwork보다 평균적으로 1.5배 높은 프로세서 활용률을 보이면서 SLO 보장 수준은 높게 유지하는 것을 확인했다.