An RGB-D camera-based navigational assistance system for visually impaired people in a dynamic indoor environment

Abstract

3900만명의 맹인과 2억 4600만명의 저시력인을 포함하여 전세계적으로 총 2억 8500만명의 시각장애인이 있다고 추정되고 있다. 시각장애인은 보통 흰지팡이나 맹도견, 또는 두가지 모두를 사용하여 길거리를 걸을 수 있다. 흰지팡이는 가장 많이 사용되는 보조장비로 간단하고, 가볍고, 싸고, 갖고 다니기 쉽다는 장점이 있다. 하지만 검출할 수 있는 장애물의 거리가 가깝고, 오직 땅 위에 있는 장애물만 인식할 수 있으며, 장애물의 존재 외의 정보는 얻을 수 없다는 단점이 있다. 반면에, 맹도견은 가까운 장애물 외에 멀리 있는 장애물도 검출할 수 있고, 신호등과 횡단보도 등을 인식할 수 있으며, 정서적인 안정을 준다는 장점이 있으나, 맹도견과 시각장애인이 함께 훈련을 받아야 하고, 맹도견이 되기까지 훈련을 위한 비용 등의 많은 비용이 필요하다는 단점이 있다.

따라서, 이 학위 논문에서는 기존의 방법들의 장점을 극대화하고 단점을 극소화할 수 있는 동적인 실내 환경에서 시각 장애인을 위한 RGB-D 카메라 기반 항법 보조 시스템을 제안한다. 제안하는 시스템은 장애물 검출 및 추적 알고리즘, 시각 주행 거리 측정과 표식점 기반 위치 추정 입자 알고리즘을 통한 사용자 위치 추정 알고리즘, 퍼지 적분 기반 시선 제어 알고리즘, 사용자와 상호작용을 위한 진동 조끼로 구성되어 있다.

제안된 장애물 검출 및 추적 알고리즘은 동적인 환경에서 장애물을 검출하고 추적할 수 있다. RGB-D 카메라에서 얻은 RGB 이미지와 거리 정보를 사용하여 뒤틀림 함수를 계산하고 이전 상태와 다른 점들을 추출한다. 추출된 점들을 거리의 변화를 기준으로 나누므로써 장애물을 검출한다. 장애물 추적을 위해서 장애물의 중심점, 색깔, 크기 정보를 결합 우도로 사용한 최대 사후 확률을 사용하였다.

제안된 사용자 위치 추정 알고리즘은 시각 주행 거리 측정과 표식점 기반 위치 추정 입자 알고리즘을 사용한다. 사용자 위치 추정 알고리즘은 RGB-D 카메라와 IMU를 사용하여 추정된다. RGB-D 카메라의 RGB 이미지에서 speed up robust features (SURF) 특징점을 추출하고 거리 정보를 이용하여 3D 특징점을 계산한다. 그리고 계산한 모션 백터를 이용해 구분된 정적인 특징점을 사용하여 동적인 환경에서 강인한 시각 주행 거리 결과를 얻는다. 표식점 기반 위치 추정 입자 알고리즘은 표식점의 절대 좌표와 시선각, 거리 정보와 몬테카를로 방법의 개념을 이용하여 위치를 추정하는 알고리즘이다. 시각 주행 거리 측정과 표식점 기반 위치 추정 입자 알고리즘의 결과는 최종적으로 칼만필터를 통해서 통합된다.

시각장애인을 위한 보조 시스템은 사용자인 시각장애인이 거의 앞만 보고 걷기 때문에 환경 정보를 잘 얻기 위해 주위를 둘러볼 수 있어야 한다. 그래서 제안된 항법 보조 시스템은 퍼지 적분 기반 시선 제어를 이용해서 주변을 둘러볼 수 있게 하였다. 퍼지 적분은 다기준 의사 결정 방법 중 하나로 기준간의 관계를 퍼지 척도를 이용하여 계산한다. 그리고 각 후보의 전체 평가값을 퍼지 척도와 부분 평가를 이용한 퍼지 적분으로 계산한다. 시선 방향을 결정하기 위해서 장애물의 거리, 크기, 속도, 잘 모르는 지역, 위치 추정에 관련된 5가지 기준을 정의하였다.

지금까지 연구되고 있는 시각장애인을 위한 보조 시스템은 장애물 정보나 안전한 길을 사용자에게 청각이나 촉각을 이용하여 알려준다. 제안하는 시각장애인을 위한 보조 시스템은 장애물을 피하기 위해 진동 조끼를 이용하여 알려준다. 진동 조끼는 9개의 진동 모터와 AVR로 구성되어 있다. 진동 모터는 왼쪽, 가운데, 오른쪽의 세 그룹으로 나누어져 있다. 진동 조끼가 검출된 모든 장애물을 알려줄 수 없고 사용자도 모든 장애물에 대한 정보를 받을 필요가 없으므로 정말 피해야 하는 장애물의 방향만 진동 조끼로 알려 줄 수 있게 한다. 진동 조끼의 진동 부분을 선택하기 위해서 퍼지 적분을 사용하였고 장애물의 거리, 크기, 속도와 관련된 세가지 기준을 정의하였다.

제안하는 시각장애인을 위한 보조시스템의 성능을 검증하기 위해 모든 알고리즘을 하나로 통합한 뒤 동적인 실내 환경에서 실험을 수행하였다.