뉴로스케이프 : 심층 신경망의 멀티모달 커넥션 기반 사운드스케이프 디자인 = Neuroscape : soundscape design based on multimodal connections of deep neural networks심층 신경망의 멀티모달 커넥션 기반 사운드스케이프 디자인

Cited 0 time in webofscience Cited 0 time in scopus
  • Hit : 304
  • Download : 0
녹음기술의 등장을 통해 소리를 재현하는 것이 가능해짐에 따라 환경적 소리를 음악의 주 재료로 활용하는 움직임이 일어나기 시작했다. 이후 녹음 기술의 보편화를 통해 전문가 뿐만 아니라 일반인도 일상적인 소리를 녹음 또는 영상 기록물 등을 웹상에 업로드 함에 따라 대량의 오디오 데이터가 축적되었다. 이러한 대량 오디오 데이터를 계층적으로 분류하고 검색을 용이하게 하기 위하여 컴퓨터 비전이나 오디오 정보 분석 분야에서 다루는 기계학습 또는 심층신경망 알고리즘을 이용한 분류 및 검색 방식이 제안되고 있다. 본 논문에서는 심층 신경망의 멀티모달을 기반한 인공적 사운드스케이프 구성을 위하여 ‘뉴로스케이프’ 시스템을 제안한다. '뉴로스케이프’는 도시나 자연의 풍경 이미지를 입력하여 관련된 요소를 레이블 디텍션 알고리즘을 통해 단어로 검출한다. 검출된 단어들은 527개의 카테고리로 구분된 오디오 데이터셋 키워드와 GloVe알고리즘을 통해 단어간 유사도를 연산하여 가장 연관성이 높은 단어를 검출한다. 검출된 키워드는 사운드 태깅 알고리즘을 통해 최종 사운드 라이브러리에서 가장 연관성이 높은 오디오 및 이미지를 불러온다. 본 시스템을 통해 인공적 사운드스케이프, 혼합형 인스톨레이션, 그리고 음악과 안무를 결합한 퍼포먼스 작품을 제작하여 총 3개의 포맷을 제안하였다. 첫째, 인천과 카셀, 뮌스터에서 채집한 풍경 영상을 바탕으로 해당 영상을 뉴로스케이프로 검출한 오디오로 다시 매핑하여 실제 사운드스케이프와 인공적 사운드스케이프를 구성하는 실험을 진행하였다. 둘째, 혼합형 인스톨레이션에서는 관람객이 직접 원하는 풍경의 장면을 캡쳐하고 출력되는 소리들을 조절할 수 있도록 인터랙티브 요소를 도입하였다. 셋째, 10개의 풍경 이미지에서 검출된 60개의 오디오 샘플과 음악적 오디오 샘플을 바탕으로 재구성한 실험적 음악 작품을 완성하여 안무가와 퍼포먼스를 선보였다. 본 연구에서 전시와 공연예술에 응용 가능한 3가지 형식의 작품을 제작함으로써 ‘뉴로스케이프’ 시스템이 인공적 사운드스케이프 구성 및 예술 영역에 응용 가능함을 확인하였다.
Advisors
남주한researcherNam, Juhanresearcher
Description
한국과학기술원 :문화기술대학원,
Publisher
한국과학기술원
Issue Date
2018
Identifier
325007
Language
kor
Description

학위논문(석사) - 한국과학기술원 : 문화기술대학원, 2018.2,[iv, 34 p. :]

Keywords

사운드스케이프▼a심층 신경망▼a멀티모달▼aGloVe▼a소리 예술▼a환경적 소리; soundscape▼adeep neural network▼amulti-modal▼aGloVe▼asound art▼aenvironmental sound

URI
http://hdl.handle.net/10203/266013
Link
http://library.kaist.ac.kr/search/detail/view.do?bibCtrlNo=733782&flag=dissertation
Appears in Collection
GCT-Theses_Master(석사논문)
Files in This Item
There are no files associated with this item.

qr_code

  • mendeley

    citeulike


rss_1.0 rss_2.0 atom_1.0