코로나바이러스로 인한 대학 비대면 수업의 확산에 따라 대학 강의의 질 관리에 대한 관심이 높아지고 있으나, 비대면 대학강의의 차별성을 고려한 강의 평가문항의 개발이 거의 이루어지지 않고 있다. 이에 본 연구에서는 비대면 대학강의의 질 관리를 위해 비대면 대학강의에 사용될 수 있는 강의평가 도구를 개발하고 이를 타당화하려는 데 목적이 있다. 이를 위해 선행연구검토와 전문가회의를 토대로 비대면 강의를 평가할 수 있는 영역들과 문항들로 13개 영역, 17개 문항을 추출하였다. 도출된 강의평가 문항은 2020년 비대면 대학강의 수강 경험이 있는 대학생 112명을 대상으로 Rasch 측정모형을 적용하여 문항 타당화를 검증하였다. 문항 적합도는 타당한 것으로 나타났으며, 평정척도 결과 4점 척도가 적합한 것으로 나타났다. 탐색적 요인분석 결과 도출된 강의평가 영역들은 한 개요의 요인으로 수렴되는 것으로 확인하였다. 본 연구에서 개발된 평가문항은 향후 비대면 대학 강의의 강의 질 개선을 위해 개별 교수자 및 대학 차원에서 적용할 수 있다는 점에서 의의가 있다.