A novel stochastic multiple pooling method for regularization in deep convolutional nueral networks

Abstract

본 논문에서는 학습기간 동안 각 풀링(Pooling) 영역에서 임의로 풀링 연산을 선택하는 새로운 풀링 방법을 제안한다. 기존의 컨볼루션 신경망(CNNs: Convolutional neural networks)에서는 교차 검증(Cross-validation)을 통해 각 계층에서의 풀링 연산이 수동적으로 정해졌다. 게다가 컨볼루션 신경망은 학습데이터에 과도하게 맞추는 과 적합 문제를 가지고 있다. 이것은 성능 저하를 야기한다. 제안된 방법은 풀링 계층에 확률적인 개념을 도입함으로써 위의 두 가지 문제를 해결한다. 기존의 풀링 전략은 각 풀링 계층에서 하나의 풀링 연산이 적용되며, 이는 최고의 풀링 연산의 조합을 찾기 위해 여러 번의 학습 시도를 통해 풀링 연산을 결정한다. 하지만, 제안된 방법은 각 계층에서 하나의 풀링 연산을 선택하지 않는다. 학습기간 동안 각 풀링 영역에서 여러 풀링 연산 중 하나를 임의로 선택한다. 이것은 각 풀링 영역에서 다른 풀링 연산을 사용하는 다양한 구조를 대략적으로 평균을 취하는 것으로 볼 수 있다. 제안된 풀링 전략은 최고의 풀링 연산을 찾기 위한 학습 횟수를 줄일 수 있을 뿐 아니라 일반화 성능을 향상 시킨다. 게다가 다른 정규화(Regularization) 방법과 결합 가능 하며, 더 좋은 성능을 낼 수 있다. 실험 결과를 통해, 제안된 방법은 학습 시도 횟수의 감소와 일반화 성능 향상을 이루었다. 제안된 방법은 기존의 최고 성능을 내는 방법보다, CIFAR-10, CIFAR-100 데이터에서 0.61%, 0.58%의 성능 향상을 이루었다. 결론적으로, 확률적 복합 풀링(Stochastic multiple pooling)은 정규화에 있어서 매우 간단하고 효율적인 방법이며, 다른 정규화 방법과 쉽게 결합 가능하며, 학습 시도 횟수를 줄일 수 있다.