본 발명은 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)를 생성하는 과정과, 생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합하는 과정과, 상기 월드 좌표계로 통합된 3차원 좌표 공간에서 선택된 3D객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 상기 선택된 3D객체를 제어하는 과정과, 증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 과정을 포함함을 특징으로 한다.