온톨로지 기술과 지식 구조의 기계적 생성을 활용한 객관식 형성 평가 문제의 자동 생성 방법 및 장치가 개시된다. 일 실시예에 따른 객관식 형성 평가 문제를 자동으로 생성하는 문제 자동 생성 장치에서 수행되는 문제 자동 생성 방법은, 도메인의 온톨로지에 존재하는 단어에 대한 정보를 포함하는 자연어 텍스트 정보를 수집하는 단계; 상기 수집된 자연어 텍스트 정보에 기초하여 지식 구조를 생성하는 단계; 상기 생성된 지식 구조에서 상기 온톨로지에 존재하는 단어와 상기 단어와 연결된 다른 단어들을 포함하는 문단을 후보 문단으로 선정하는 단계; 상기 생성된 후보 문단으로부터 선별된 문단에서 상기 온톨로지에 존재하는 단어를 상기 객관식 형성 평가 문제로 구성하는 단계; 및 서비스 이용자로부터 입력된 난이도에 기초하여 상기 구성된 객관식 형성 평가 문제를 제공하는 단계를 포함할 수 있다.