인공 신경망 모델에서 메모리 효율성 및 학습 속도 향상을 위한 드롭아웃 방법과 이를 이용한 학습 방법DROPOUT METHOD FOR IMPROVING TRAINING SPEED AND MEMORY EFFICIENCY ON ARTIFICIAL NEURAL NETWORK AND LEARNING METHOD BASED ON THE SAME
인공 신경망 모델에서 메모리 효율성 및 학습 속도 향상을 위한 제어된 드롭아웃(controlled dropout) 방법은 레이어를 포함하는 인공 신경망 모델에서 수행될 수 있다. 제어된 드롭아웃 방법은 드롭아웃 비율(dropout rate)에 따라 열 단위 또는 행 단위로 레이어의 행렬에서 활성화될 행렬 요소들을 선택할 수 있다. 제어된 드롭아웃 방법은 행렬에서 비활성화된 행렬 요소들을 열 단위 또는 행 단위로 탈락시켜, 행렬을 선택된 열 또는 행의 활성화될 행렬 요소들로만 구성되는 축소된 크기의 행렬로 변환하여 축소된 인공 신경망 모델을 구성할 수 있다. 제어된 드롭아웃 방법은 이전 단계에서 형성한 축소된 신경망 모델을 이용하여 전방 전파(forward propagation)를 진행하여 신경망 모델 학습을 수행할 수 있다. 또한, 이전 단계에서 형성한 축소된 신경망 모델을 이용하여 역 전파(back propagation)를 통해 신경망 모델 학습을 수행할 수 있다. 축소된 인공 신경망 모델의 역전파 진행 과정에서 산출된 가중치 행렬과 바이어스 벡터 값을 원래의 인공 신경망 모델의 가중치 행렬과 바이어스 벡터에서의 원래의 자리에 갱신할 수 있다.