본 연구에서는 학부교육 질 제고를 위해 신입생 대상 기초학력평가 문항 분석 및 성취수준 설정을 통해 학생들의 기초학력 도달 여부에 대한 타당화를 제고하는데 주요 목적이 있다. 이를 위하여 K 대학의 2021학년도 신입생 대상 수학교과 기초학력평가의 사례를 들어 분석하였으며, 수학 교과는 이공계 학생들의 성공적인 전공 교과 수강을 위한 필수적인 학습 역량이라 할 수 있다. 본 연구에서는 첫째 대학생 수학 기초학력평가 도구에 대한 측정학적 분석을 위해 고전검사이론과 문항반응이론으로 문항 특성 정보(난이도와 변별도)를 파악하여 문항의 적절성을 파악하였다. 둘째, 문항 특성 정보를 기반으로 대학 신입생의 수학 기초학력 도달 정도를 분석적·체계적으로 파악하고자 수준설정을 수행하였다. 수학교과 및 평가 전문가들과 기초학력 도달·미도달의 경계를 설정하기 위한 최소능력자 특성을 진술하고, 이를 기반으로 변형된 Angoff 및 Bookmark 방법을 적용하여 수준 설정을 통해 도달과 미도달의 분할점수를 산출하였다. 수학 기초학력평가의 검사정보함수 산출 결과 학생 능력의 중하 수준에 적절한 평가 도구로 파악되었으며, 수학의 기초학력 도달을 위한 최소능력자 특성으로 K대학교 수학 기초학력평가의 도출된 분할점수를 기반으로 Angoff 기준2021년 신입생의 약 8%가 기초학력수준에 도달하지 못한 것을 확인하였다. 이 연구는 해당 대학 신입생들에게 요구되는 수학에 대한 기초학력의 개념을 논의하고 수학 기초학력 진단도구의 타당성을 파악하여 향후 매년 신입생의 수준을 체계적으로 파악하고 기초학력평가 결과를 활용하여 학생들에게 피드백을 제공하고 맞춤형 학습 방안의 토대를 마련하였다.