본 발명은 조건부 적대적 생성망(cGAN)으로 구현되는 맨손 깊이 인페인팅을 사용하여 물체와 상호작용하는 손을 3D 추적하는 손의 추적을 위한 맨손 깊이 인페인팅 방법 및 시스템에 관한 것으로, 물체와 상호작용하는 손에 대한 카메라 이미지를 수신하는 단계, 상기 카메라 이미지에서 손 및 물체를 추적하여 깊이 인페인팅(depth inpainting)을 이용한 맨손 깊이 이미지를 생성하는 단계 및 상기 맨손 깊이 이미지에서 손 포즈를 추정하는 단계를 포함한다.