본 연구는 중도 입국 청소년 대상 한국어 말하기 평가에서 채점자들의 채점 경향 연구를 목적으로 한다. 한국어교육에서 말하기 평가는 학습자의 언어 수행을 채점자가 직접 평가하는 수행평가로 채점자의 역할이 매우 중요하고, 평가의 객관성과 공정성을 위해 채점자 간 신뢰도와 채점자 내 신뢰도가 요구되므로 엄격성, 일관성, 편향성 같은 채점 경향 연구가 필요하다. 현재 다문화 학습자 대상 KSL 진단·보정 도구가 개발되어 사용되고는 있으나 말하기 평가는 전적으로 교사 판단에 의존한다. 평가와 채점 관련 선행연구는 국내의 진단 평가와 해외의 숙달도 평가 연구가 대부분이고, 채점 경향 연구는 대개 성인 학습자를 대상으로 한 것이다. KSL 학습자 중에서도 중도 입국 청소년 대상 말하기 평가 채점 경향을 연구한 사례가 거의 없다는 점에서 본 연구의 필요성을 제시하였다.
우선 말하기 평가에서 채점 경향 연구에 활용되는 다국면 라쉬 모형(many-facet Rasch model)을 소개함으로써 연구 방법의 이론적 근거를 마련하였다. 그리고 한국어 강사 및 교사와의 인터뷰를 통해 실제 교육 현장에서 말하기 평가는 KSL 진단 평가를 활용한 일상적 의사소통 능력 확인을 위한 간단한 인터뷰가 전부이며 충분한 평가 자료도 매우 부족함을 확인하였다. 따라서 해외의 제2언어 평가와 교육부의 한국어 교육과정을 참고하여 본 연구의 한국어 말하기 평가 문항과 평가 척도를 구안하였고 다국면 라쉬 모형 분석 적합도를 검증하였다.
다음으로는 중도 입국 청소년 수험자 9명의 동의를 얻어 5문항의 말하기 수행평가 후 그 음성 파일을 한국어교육 경력, 한국어교육 전문성, 채점 훈련 유무 같은 채점자 특성을 고려해 선정된 12명의 채점자가 채점하였다. 채점 결과는 다국면 라쉬 모형(many-facet Rasch model)에 근거한 FACETS 프로그램으로 분석하여 엄격성(severity), 일관성(consistency), 편향성(bias) 같은 전반적 채점 경향과 교육 경력, 한국어교육 전문성, 채점 훈련 유무를 포함하는 채점자 특성에 따른 채점 경향을 알아보았다. 또 채점 후 이루어진 채점자 대상 설문조사 및 인터뷰 내용을 분석하여 과제 수행, 내용 구성, 언어 사용, 상호작용 같은 평가 준거 별 채점자 인식에 따른 채점 경향과 그 원인도 자세히 살펴보았다.
그 결과 채점자들은 상당한 엄격성의 차이를 보였으나 대부분 관대한 채점 경향을 보였고, 전체 채점자 중 약 33%가 과적합 또는 부적합을 보여 일관성 측면에 문제를 드러냈다. 전반적 과제 수행이나 내용 구성을 엄격하게 채점했을 때 세부적인 언어 사용의 정확성을 관대하게 채점하거나 혹은 그 반대의 경향을 보이는 편향성도 나타나고 있었다. 특히 교육 경력이 적은 채점자의 과적합 사례 및 한국어교육 이외 전공자의 부적합 사례에서 채점 일관성 유지의 어려움을 확인하였다. 그리고 교육 경력이 적고 한국어교육 이외의 전공자로 전문성이 부족하며 채점 훈련 경험이 없는 채점자들의 언어 사용 준거에 대한 편향성도 확인하였다.
그러므로 채점자 신뢰도 향상을 위한 바람직한 채점자 교육 방향으로 엄격성을 위한 채점 기준, 채점 준거, 채점 척도 관련 교육과 일관성 유지 및 편향성 제거를 위한 더 많은 채점 기회 제공 그리고 채점자의 자기 성찰을 돕는 채점자 경향 정보 피드백이 규칙적이고 지속적으로 이루어질 필요가 있다고 제언하였다. 본 연구가 중도 입국 청소년 대상 말하기 평가의 채점 신뢰도 향상에 기여할 수 있기를 바란다.