다중 신경망 가속을 위한 확장가능 벡터-어레이 이종 가속기 구조 및 스케쥴링 기법

Abstract

다중 신경망을 위한 확장 가능한 벡터 어레이 이종 가속 장치가 제공된다. 다중 신경망을 위한 확장 가능한 벡터 어레이 이종 가속 장치는, 복수의 벡터-어레이 클러스터; 및 외부로부터 수신한 신경망 요청을 상기 복수의 벡터-어레이 클러스터에 분배하는 신경망 요청 분배기를 포함하되, 상기 복수의 벡터-어레이 클러스터 각각은, 복수의 벡터 레인을 포함하여 벡터 연산을 수행하는 복수의 벡터 프로세서; 어레이 구조로 배열된 복수의 프로세싱 유닛을 포함하여 어레이 연산을 수행하는 복수의 어레이 프로세서; 및 분배된 신경망 요청을 테스크로 분리하고, 테스크 정보 및 스케쥴링 상태 정보에 기초하여 상기 테스크를 상기 복수의 어레이 프로세서 또는 벡터 프로세서에 할당하는 테스크 컨트롤러 프로세서를 포함한다.