시계열 예측을 위한 하이브리드 학습 알고리즘을 갖는 신경회로망

Abstract

다층구조 신경회로망은 복잡한 패턴 분류나 함수 근사화문제에 성공적으로 적용되어 왔다. 그러나 학습해야할 데이터의 크기, 문제 복잡도와 네트워크 복잡도는 문제에 따라 적절하게 정해주어야 한다. 크기가 작은 네트워크는 문제를 제대로 나타낼 수 없고, 시냅스가 너무 많은 네트워크는 오버피팅 현상을 일으켜 일반화 성능이 떨어지게 된다. 본 논문에서는 오버피팅이 일어나지 않도록 하는 새로운 학습 알고리즘을 제안한다. 각 층에서 일차미분과 이차 미분을 이용하여 부가적인 오차 함수를 정의한다. 부가적인 함수는 입출력 사상 민감도를 줄이고, 학습 데이터에 섞여 있는 고주파 잡음 성분을 제거해준다. 기울기 감소법을 통해 학습 법칙을 유도하면 오차 역전파 학습과 헵의 학습 법칙이 포함된 하이브리드 학습 알고리즘을 얻을 수 있다. 또한 시냅스의 가중치 감소 알고리즘이 이차 미분을 이용한 경우에 추가된다. 기존의 오차 역전파 학습 알고리즘에 약간의 수정만 하면 되고, 부가적인 계산량의 증가는 미미하다. 제안된 학습 알고리즘의 성능을 검증하기 위해 시계열 예측문제에 적용하였다. 태양의 흑점 데이터와 카오스 특성을 나타내는 레이저 데이터를 통한 모의 실험 결과에 의하면 하이브리드 알고리즘으로 보다 효율적인 예측이 가능한 것을 알 수 있다.