삼차원 스캔 데이터를 위한 의복 분석 및 활용

Abstract

삼차원 사람 스캔 데이터를 이용하여 아바타를 생성하면, 아바타의 외형은 사람과 유사하다. 하지만 하나의 메시로 이루어졌기 때문에 의복과 신체 부분별 시뮬레이션이 불가능하여, 아바타의 움직임이 부자연스러운 문제가 있다. 본 연구에서는 스캔 데이터의 의복 분석 기법 개발을 통해 스캔 데이터 메시를 여러 메시로 나누고, 소실된 메시 부분을 추정 및 추출한다. 제안하는 기법은 스캔 데이터 의복 분석과 의복 분석결과를 활용한 의복 피팅으로 나누어진다. 의복 분석과정은 세부적으로 삼차원 스캔 데이터에 대해 의복 분할, 신체 자세 및 형상 추정, 내의 텍스쳐와 피부 색상 추출로 나누어진다. 의복 분할 과정에서는 레이어드 룩을 분할을 위해, 상의를 입은 순서에 따라 계층적인 분류를 한 LIP+ 데이터셋을 바탕으로 전이학습시킨 레이어드 룩 혼합 분할기를 제안한다. 신체 자세 및 형상 추정에서는 반복법을 통해 가중치를 갱신하여, 오차가 심한 부분을 최적화하는 신체 추정 방법을 제안한다. 스캔 당시 겹쳐져 소실된 부분의 정보를 획득하기 위해 내의 텍스쳐와 피부 색상 추출 방법을 구현한다. 의복 피팅에서는 의복 분석 결과를 바탕으로 신체 모델에 의복을 피팅한다. 본 연구에서 제안하는 기법은 스캔 데이터의 외투와 내의의 분할 정확도를 증가시키고 스캔 데이터의 신체 모델 추정을 최적화시킨다.