국내기사
컴퓨터 기반 평가 체제의 프로세스 데이터를 활용한 학생 문항 해결 특성 분석 사례 연구 = A case study on analyzing students’ item-solving characteristics using process data from a computer-based test system
본 연구에서는 국가수준 학업성취도 평가에서 활용되는 컴퓨터 기반 평가 시스템을 통해 수집된 프로세스 데이터에 대한 시퀀스 분석을 통해 문항 해결 과정에서 드러나는 학생들의 행동 특성을 확인하였다. 이를 위해 시뮬레이션과 정보 팝업 등 상호작용적 요소가포함된 5개 과학 탐구 문항을 해결하는 중학교 3학년 41명의 프로세스 데이터를 분석하였다. 학생들의 행동은 문항 이동, 자료 탐색(최초), 자료 탐색(반복), 응답으로 코딩하였으며, TraMineR를 활용한시퀀스 분석과 응집형 계층적 군집분석을 실시하였다. 군집의 타당성평가는 실루엣 지수와 Calinski–Harabasz 지표를 사용하였다. 분석결과, 학생들은 행동 패턴에 따라 네 개 군집으로 구분되었다. 군집을구분하는 핵심 요인은 문항 해결 과정에서 나타나는 행동의 비율과문항별 자료 탐색 전략의 차이로 나타났다. 일부 집단은 과제 해결에필수적이라고 판단한 정보만을 선택적으로 반복 확인하여 문항을 해결한 반면, 다른 집단은 문항 해결에 필요성이 낮은 자료를 반복적으로 탐색하거나 필수 정보를 확인하지 않은 채 응답하는 모습을 보였다. 이러한 결과는 프로세스 데이터 분석을 통해 점수나 정오 분석만으로는 포착하기 어려운 학생 군집별 문항 해결 전략과 자료 활용양상을 확인할 수 있음을 시사한다. 군집화 결과를 토대로 컴퓨터기반 평가에서 수집되는 프로세스 데이터를 활용하여 집단별 맞춤형피드백을 설계하는 데 기여할 수 있는 시사점을 제시하였다.