『한국교육종단연구2003』에서는 매년 학생들의 학년별 성취도 변화를 평가하도록 우리나라에서는 처음으로 국가수준 학업성취도 평가에서 수직척도가 개발되어 적용되었다. 이 연구는 『한국교육종단연구2005』에서 개발된 수직척도의 타당성을 검토하고자 (연구) 설계되었고, 2005년 이후 4년 간 누적된 자료를 이용하여 척도화 표본과 표준화 표본을 통합하여 분석하였다. 수직척도의 타당성을 검토하기 위해, 6가지 서로 다른 수직척도 개발 방법을 선정하여 국어, 수학, 영어 교과에 적용하였고, 다층분석 기법을 적용하여 수직척도화 방법을 비교하였다. 분석 결과, 문항반응이론을 적용하기 위한 표본의 사례 수제한과 그로 인한 모수추정의 불안정성 문제, 학년 간에 100점이라는 임의 성장 정보를 추가한 문제, 차별적으로 기능하는 문항을 학년 간 수직척도 개발을 위한 공통문항으로 사용한 문제, 문항 반응 패턴 채점 방식이 아닌 총점과 수직척도 점수 변환 방식을 사용한 문제 등은 개발된 수직척도의 타당성을 위협하는 요인이 아님을 확인할 수 있었다. 단지, 학년 내 척도 점수의 분산 수준 결정은 수직척도 개발을 통한 학교효과 분석에 영향을 주는 것으로 나타났다. 그러나 척도 변환의 미결정성은 모든 척도개발에 관련되는 사항으로, 이러한 점이 『한국교육종단연구2005』 수직척도의 타당성을 위협하는 근거로 해석되는 것은 적절하지 않을 것이다. 따라서 향후 다년간에 걸친 자료 분석과 결과 비교를 위해 개발된 수직척도를 계속 유지하는 것이 바람직할 것이다.