컨볼루션 신경망 훈련의 다차원 병렬화 방법과 이를 수행하는 장치 사이의 재구성 가능한 연결 구조

Abstract

컨볼루션 신경망 훈련의 다차원 병렬화 방법과 이를 수행하는 장치 사이의 재구성 가능한 연결 구조가 제시된다. 일 실시예에 따르면, 위노그라드(Winograd) 변환 컨볼루션을 위한 다차원 병렬 학습(Multi-dimensional Parallel Training) 방법은 입력 특성 맵을 포함하는 입력 데이터를 복수의 타일로 변환하는 단계, 복수의 클러스터와 복수의 그룹에 의해 2차원으로 배치된 복수의 작업자들에게 상기 변환된 복수의 타일들을 분산 전달하되, 상기 변환된 복수의 타일들을 상기 복수의 클러스터별로 분산하여 전달하는 단계, 상기 복수의 클러스터 각각의 작업자들을 통해, 상기 분산 전달된 입력 데이터에 대한 데이터 병렬 처리(data parallelism)를 수행하는 단계 및 상기 복수의 그룹 각각의 작업자들을 통해, 상기 분산 전달된 입력 데이터 중 상기 복수의 그룹 각각에 적용되는 상기 복수의 타일들의 요소 단위에 대한 인트라-타일 병렬 처리(intra-tile parallelism)를 수행하는 단계를 포함할 수 있다.