이기종 프로세서를 사용하는 딥러닝 모델을 위한 서빙 시스템Towards serving system for deep learning model using heterogeneous processors

Cited 0 time in webofscience Cited 0 time in scopus
  • Hit : 120
  • Download : 0
딥러닝 모델 사용 서비스들은 SLO를 보장하면서 하드웨어를 효율적으로 스케줄링하기 위해 딥러닝 모델 서빙 시스템을 사용한다. 그중에서도 Clockwork 서빙 시스템은 매우 안정적으로 SLO를 보장한다. Clockwork는 높은 범용성을 가진 GPU를 사용하여 딥러닝 모델 연산이 프로세서에서 모두 처리된다고 가정한다. 하지만 낮은 범용성을 가진 인공지능 프로세서를 사용할 때는 모델 연산에 이기종 프로세서를 활용해야 한다. 이때, Clockwork를 사용하면 이기종 프로세서 활용률이 떨어지는 문제가 생긴다. 본 논문에서는 이를 해결하기 위해 Clockwork에 모델 요청 중첩 처리 기법을 적용할 것을 제안한다. 구체적으로 우리는 (1) 모델 요청 중첩 처리 구현을 위해 연산자 및 피연산자 단위 스케줄링 지원 서빙 시스템을 개발하고, (2) 프로세서 활용률을 개선하면서 SLO도 보장하는 중첩 처리 전략을 고안한다. 우리는 서빙 시스템 위에서 Clockwork를 재구현함으로써 서빙 시스템이 스케줄러를 동작시키기에 충분히 성숙함을 평가했다. 또한 우리는 Clockwork에 중첩 처리 전략을 적용했을 때 기존 Clockwork보다 평균적으로 1.5배 높은 프로세서 활용률을 보이면서 SLO 보장 수준은 높게 유지하는 것을 확인했다.
Advisors
강지훈researcherKang, Jeehoonresearcher
Description
한국과학기술원 :전산학부,
Publisher
한국과학기술원
Issue Date
2021
Identifier
325007
Language
kor
Description

학위논문(석사) - 한국과학기술원 : 전산학부, 2021.8,[iii, 19 p. :]

Keywords

딥러닝 모델▼a서빙 시스템▼a인공지능 프로세서▼a이기종 프로세서▼a자원 활용률; Deep learning model▼aServing system▼aAI processor▼aHeterogeneous processors▼aResource utilization

URI
http://hdl.handle.net/10203/296089
Link
http://library.kaist.ac.kr/search/detail/view.do?bibCtrlNo=963363&flag=dissertation
Appears in Collection
CS-Theses_Master(석사논문)
Files in This Item
There are no files associated with this item.

qr_code

  • mendeley

    citeulike


rss_1.0 rss_2.0 atom_1.0