멀티모달 데이터 학습 방법 및 장치

Abstract

본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 특히, 본 개시는 인공지능 시스템 및 그 응용에 따라 멀티모달 데이터 학습 방법으로, 제 1 학습 네트워크 모델을 이용하여, 제1 신호의 특성을 대표하는 제1 맥락(Context) 정보와 제2 신호의 특성을 대표하는 제2 맥락 정보를 획득하고, 제 2 학습 네트워크 모델을 이용하여, 제1 맥락 정보와 제2 맥락 정보를 기초로 은닉층 정보를 획득하며, 제 2 학습 네트워크 모델을 이용하여, 은닉층 정보 간의 관련 정도를 나타내는 상관관계 값 (Correlation Value)을 획득하고, 상관관계 값이 최댓값으로 도출되는 은닉층 정보를 학습할 수 있다.