인 메모리 컴퓨팅을 통해 컨벌루션 뉴럴 네트워크 연산을 수행하는 방법

Abstract

인 메모리 컴퓨팅(In-memory Computing)을 통해 컨벌루션 뉴럴 네트워크(Convolution Neural Network) 연산을 수행하는 방법에 있어서, (a) 컨벌루션 인풋 데이터 - 상기 컨벌루션 인풋 데이터는 컨벌루션 대상이 되는 텐서임 - 와 각각 (2n+1) x (2n+1) x CH 볼륨을 가지는 복수의 컨벌루션 필터 - 상기 n은 1 이상의 정수임 - 가 외부 메모리에 저장되거나 상기 컨벌루션 인풋 데이터 및 상기 (2n+1) x (2n+1) x CH 볼륨을 가지는 복수의 컨벌루션 필터 각각에 포함된 각각의 컨벌루션 웨이트가 각각 2^k 비트 데이터 - 상기 k 는 1 이상의 정수임 - 로 변환되어 상기 외부 메모리에 저장된 상태에서, 인 메모리 컴퓨팅 프로세서가, 상기 복수의 컨벌루션 필터에 포함된 각 채널의 지정 위치에 위치한 지정 컨벌루션 웨이트를 제외한 각각의 4n(n+1) x CH x 2^k 개의 웨이트 바이너리 값을 2^m 단위 - 상기 m 은 1 이상의 정수임 - 의 웨이트 비트 데이터로 DRAM에 전송하고, 상기 컨벌루션 인풋 데이터에 대한 인풋 바이너리 값을 2^m 단위의 인풋 비트 데이터로 상기 DRAM에 전송하여, (i) 상기 복수의 컨벌루션 필터에 포함된 각 채널의 상기 지정 컨벌루션 웨이트를 제외한 각각의 4n(n+1) x CH x 2^k 개의 상기 웨이트 바이너리 값에 따라 결정되는 DRAM 뱅크 상의 적어도 하나의 제1 비트라인 및 상기 웨이트 바이너리 값을 저장하고자 하는 상기 DRAM 뱅크 상의 일부 영역에 대응되는 제1 워드라인을 선택하여, 상기 웨이트 바이너리 값을 상기 제1 비트라인 및 상기 제1 워드라인에 대응되는 제1 셀들에 저장하고, (ii) 상기 인풋 바이너리 값에 따라 결정되는 상기 DRAM 뱅크 상의 적어도 하나의 제2 비트라인 및 상기 인풋 바이너리 값을 저장하고자 하는 상기 DRAM 뱅크 상의 다른 일부 영역에 대응되는 제2 워드라인을 선택하여, 상기 인풋 바이너리 값을 상기 제2 비트라인 및 상기 제2 워드라인에 대응되는 제2 셀들에 저장함으로써, 상기 DRAM 뱅크 상의 전체 워드라인 중 일부인 적어도 하나의 상기 제1 워드라인에 대응하는 상기 제1 셀들에는 상기 웨이트 바이너리 값을 저장하고, 상기 전체 워드라인 중 일부인 적어도 하나의 상기 제2 워드라인에 대응하는 상기 제2 셀들에는 상기 인풋 바이너리 값을 저장하는 단계; 및 (b) 상기 인 메모리 컴퓨팅 프로세서가, 상기 DRAM 에 저장된 4n(n+1) x CH x 2^k 개의 상기 웨이트 바이너리 값 중, 특정 채널의 4n(n+1) x 2^k 개의 웨이트 바이너리 값과, 상기 특정 채널의 컨벌루션 웨이트를 사용하여 컨벌루션 연산을 수행하기 위한 수용 필드에 대응되는 상기 컨벌루션 인풋 데이터의 소정 영역에 대한 소정 인풋 바이너리 값 중, 상기 지정 컨벌루션 웨이트에 대응되는 위치의 지정 컨벌루션 인풋 데이터를 제외한 4n(n+1) x 2^k 개의 나머지 인풋 바이너리 값을 사용하여 컨벌루션 연산을 수행하는 단계;를 포함하는 연산 방법이 개시된다.