PseudoSensor: emulation of input modality by repurposing sensors on mobile devices

Abstract

최근의 휴대기기는 사용자에게 더욱 풍부한 입력채널을 제공하기 위해 터치, 빛, 거리, 움직임, 방향 등을 인지할 수 있는 다양한 센서를 구비하고 있다. 이러한 배경에서 많은 연구자들은 다양한 센서 자원을 활용한 새로운 입력 방법을 소개하고 있으며, 입력 모달리티(modality)를 학술적으로 이해하고 사용하기 위한 방법론을 구성하고 있다. 예를 들어, 최근의 연구자들은 압력인식을 가능하게 하기 위해 휴대용 기기에 압력 센서 하드웨어를 부착시킨 다양한 압력 기반 상호작용 방법을 소개하였다. 하지만, 이러한 하드웨어 증강 방식의 경우 구현과 관리에서의 비용을 증가시키며, 일부 하드웨어의 경우 부족한 연산 능력과 작은 형태적 크기를 가지는 디바이스 (e.g., 디지털 손목시계, 안경, 반지, 및 음악 플레이어) 에 적용되기 어렵다는 단점이 있다. 이러한 배경에서 본 연구는 사용 가능한 센서들을 재목적화(repurposing)하여 존재하지 않는 입력 모달리티(modality)를 에뮬레이션(emulation)하는 방법을 제시하고자 한다. 본 논문에서 예시된 VibPress 기술은 모바일 기기 내부에 구비된 가속도센서를 이용하여 인접 오브젝트에 흡수된 진동 에너지를 측정하고, 이를 통해 압력을 유추해내는 소프트웨어 기술이다. 이 밖에 본 연구에서는 손톱의 색상변화를 내장된 카메라로 측정하여 압력을 유추해 내는 NailSense 기술, 펜촉이 터치스크린을 지나갈 때 생성되는 소리를 분석하여 압력을 인식하는 MicPen 기술, 자력의 변화를 통해 압력 상호작용을 인식하는 MagGetz 기술 등 모바일 기기에 구비되어 있는 센서를 재목적화 하여 압력 모달리티를 에뮬레이션하는 다양한 예를 소개한다. 본 연구에서는 모바일 기기와 압력 센서를 키워드로 이러한 방법을 탐구하고 있으나, 제시된 기술들과 실험으로 도출된 결과는 압력 에뮬레이션이나 모바일 컨텍스트에 한정되지는 않는다. 즉, 센서 자원이 부족한 모바일 기기 (e.g., 디지털 시계, 안경, 반지 등)나 다른 영역 (e.g., 로봇, 차량)에 적용되어 입력채널을 확장하거나 제약을 극복하는데 사용될 수 있다. 본 연구는 최종적으로 제시된 다양한 애플리케이션을 기반으로 한 통합 가이드 라인를 구성한다. 이렇게 구성된 센서 재목적화 방법론은 다양한 측면에서 디자이너와 연구자들에게 도움이 될 수 있다. 디자이너에게는 충분하지 못한 자원 환경이나 준 최적(suboptimal) 상황(context)에서 좀더 유연하고 재사용 가능한 해결책을 제공할 수 있으며 기존의 센서 방법론과 함께 사용되어 입력 성능(performance)를 향상시킬 수 있는 단서를 제공할 수 있다. 연구영역에서는 현재까지 논의되지 않은 센서 재목적화 영역을 탐구하여 새로운 가이드라인을 구성했다는 점에서 향후 HCI 분야에서 유용한 선행, 기초자료가 될 수 있을 것이다.