이 논문의 목적은 전국단위 학업성취도 평가라는 동질성을 갖는 미국의 NAEP, 국제 비교연구인 TIMSS와 비교하여 국가수준 학업성취도 평가(NAEA)의 성취수준 정의와 추이 비교, 분할점수 설정의 타당성 검증에 있다. 구체적으로 NAEA 중학교 3학년 수학과 과학의 성취수준과 분할점수를 분석하였다. 연구결과로서, NAEP과 비교해서 우리나라 NAEA는 높은 '우수학력' 비율을 보이며, 매우 적은 '기초미달' 비율을 나타낸다. 또한 NAEA에서는 전반적인 학력 향상의 경향을 보이는 반면, 우리나라 중학교 전국표본을 조사한 TIMSS에서는 변동의 추이가 나타나지 않고 있다. 이러한 결과는 지식 획득 중심의 성취수준 정의, 상대적으로 높게 설정된 '우수학력'과 낮게 설정된 '기초학력' 분할점수의 상대적 위치(z점수) 등과 같은 NAEA의 특성과 연관된다. 특히. 핵심역량 중심 교육과정과 기초학력 보장에 집중하는 우리나라 교육정책을 고려할 때, NAEA 결과의 정책적 활용과 교육과정 개편, 척도점수 및 분할점수의 재설정 등의 평가 체제의 변화에 따른 성취수준의 타당화를 위한 지속적 노력이 필요할 것이다.