표제지
목차
연구요약 5
Ⅰ. 서론 14
1. 연구의 필요성 및 목적 15
가. 연구의 필요성 15
나. 연구의 목적 22
2. 연구의 내용 및 방법 23
가. 연구 내용 23
나. 연구 방법 24
Ⅱ. 컴퓨터 기반 검사의 유형 및 대규모 평가 시행 사례 분석 26
1. 컴퓨터 기반 검사의 유형 28
가. LOFT 28
나. CAT 29
다. MST 31
2. 국외 컴퓨터 기반 학업성취도 평가 시행 사례 34
가. 미국의 NAEP 34
나. 호주의 NAPLAN 36
다. PIRLS(Progress in International Reading Literacy Study) 38
라. PISA(Programme for International Student Assessment) 39
3. 국내 컴퓨터 기반 대규모 평가 시행 사례 41
가. 직업기초능력평가 41
나. 응급구조사 국가시험 44
다. Test of English Proficiency developed by Seoul national university(TEPS) 46
4. 요약 및 시사점 50
Ⅲ. 컴퓨터 기반 국가수준 학업성취도 평가 방향 탐색 54
1. 컴퓨터 기반 검사로의 전환에 따른 매체 효과 점검을 위한 설계 56
가. 대규모 성취도 검사에서의 매체 효과 분석 사례 57
나. 요약 및 시사점 69
다. 학업성취도 평가의 매체 효과 분석을 위한 검사 설계(안) 및 분석 방법(안) 72
2. 컴퓨터 기반 학업성취도 평가 설계 방향을 위한 요구 분석 75
가. 요구 조사 개요 75
나. 분석 방법 77
다. 분석 결과 78
라. 요약 및 시사점 85
3. 컴퓨터 기반 학업성취도 평가 방향 87
가. 컴퓨터 기반 학업성취도 평가의 선형 검사 설계 87
나. 컴퓨터 기반 학업성취도 평가의 적응형 검사 도입 89
다. 컴퓨터 기반 학업성취도 평가의 장기적 발전 방향 91
Ⅳ. 컴퓨터 기반 검사 설계의 측정학적 쟁점 94
1. 검사 유형 확대를 위한 응시 규모 및 가교문항 수 96
가. 연구의 개요 97
나. 연구 방법 101
다. 연구 결과 103
라. 컴퓨터 기반 학업성취도 평가의 검사 구성(안) 108
2. 문항 배점에 따른 측정의 신뢰도 111
가. 연구의 배경 111
나. 문항 배점에 따른 측정의 신뢰성 115
다. 요약 및 논의 122
3. 초기 점수 산출의 안정성 및 가교문항 조건 125
가. 연구의 개요 125
나. 연구 방법 126
다. 연구 결과 131
라. 요약 및 논의 138
Ⅴ. 컴퓨터 적응형 검사의 적용 가능성 탐색 140
1. 선형 검사와 적응형 검사의 측정의 정확성 비교 142
가. 연구 개요 142
나. 연구 방법 143
다. 연구 결과 147
2. 컴퓨터 적응형 검사의 단계구성 방안 탐색 155
가. 연구 개요 155
나. 연구 방법 155
다. 연구 결과 158
3. 요약 및 시사점 167
Ⅵ. 요약 및 제언 171
1. 요약 173
가. 컴퓨터 기반 검사 유형 및 대규모 평가 사례 분석 173
나. 컴퓨터 기반 학업성취도 평가의 검사 설계 조건 탐색 174
다. 컴퓨터 기반 학업성취도 평가 설계의 측정학적 쟁점 175
라. 컴퓨터 적응형 검사의 적용 가능성 탐색 176
2. 제언 179
참고문헌 212
ABSTRACT 223
[부록] 요구분석을 위한 질문지 227
판권기 2
〈표 Ⅰ-1-1〉 학업성취도 평가의 점수 산출용 문항 수 변화 21
〈표 Ⅰ-2-1〉 연구 주제별 세부 연구 목적 및 연구 내용과 방법 24
〈표 Ⅱ-1-1〉 컴퓨터 기반 검사 유형에 따른 장ㆍ단점 비교 33
〈표 Ⅱ-3-1〉 직업기초능력평가 검사 구성 42
〈표 Ⅱ-3-2〉 직업기초능력평가 등급 의미 43
〈표 Ⅱ-3-3〉 1급 응급구조사 국가시험(필기) 검사 구성 45
〈표 Ⅱ-3-4〉 i-TEPS 시험 구성 48
〈표 Ⅱ-3-5〉 i-TEPS 등급 체계 49
〈표 Ⅱ-4-1〉 컴퓨터 기반 학업성취도 평가 시행 사례 요약 정리 50
〈표 Ⅲ-1-1〉 검사매체 효과 선행연구 요약 70
〈표 Ⅲ-2-1〉 조사 영역 및 배경 76
〈표 Ⅲ-2-2〉 조사 응답자 특성 78
〈표 Ⅲ-2-3〉 시행 일정 선호도 79
〈표 Ⅲ-2-4〉 학업성취도 평가 검사지의 재활용에 대한 의견 80
〈표 Ⅲ-2-5〉 평가 대상 선정 방법 선호도 81
〈표 Ⅲ-2-6〉 학업성취도 평가 대상 변경 82
〈표 Ⅲ-2-7〉 학업성취도 평가 결과 산출 희망 항목 및 활용 방안 83
〈표 Ⅲ-2-8〉 학업성취도 평가에 대한 만족과 불만족 사항 84
〈표 Ⅲ-2-9〉 컴퓨터 기반 학업성취도 평가 도입 시 기대하는 사항 85
〈표 Ⅲ-3-1〉 2019년 학업성취도 평가의 교과별 서답형 문항 공백 답안 비율 90
〈표 Ⅳ-1〉 컴퓨터 기반 검사 설계 시 제기되는 측정학적 쟁점 95
〈표 Ⅳ-1-1〉 공통블럭과 비공통블럭의 특성 97
〈표 Ⅳ-1-2〉 2019년 고등학교 학업성취도 평가 '가'형의 공통블럭 및 비공통블럭 문항 수 98
〈표 Ⅳ-1-3〉 2019년 고등학교 3개 교과의 문항유형별 비율 102
〈표 Ⅳ-1-4〉 검사 유형 수 탐색을 위한 모의실험 조건 102
〈표 Ⅳ-2-1〉 1차 모의 응답자료 생성 조건 118
〈표 Ⅳ-2-2〉 모의 응답자료 재구성 방법 119
〈표 Ⅳ-2-3〉 배점 조건에 따른 진 피험자 모수와 원점수 간 상관계수 120
〈표 Ⅳ-2-4〉 배점 조건에 따른 분류일치도와 분류정확도 지수 120
〈표 Ⅳ-3-1〉 성취수준 구분을 위해 사용한 가상의 분할점수 128
〈표 Ⅳ-3-2〉 영어과 분할점수 최대정보 문항 128
〈표 Ⅳ-3-3〉 수학과 분할점수 최대정보 문항 129
〈표 Ⅳ-3-4〉 검사 유형 수 탐색을 위한 모의실험 조건(4×2×2=16개 조건) 130
〈표 Ⅳ-3-5〉 영어과 성취수준 일치 비율(피험자 수: 1,000) 132
〈표 Ⅳ-3-6〉 영어과 성취수준 일치 비율(피험자 수: 2,000) 134
〈표 Ⅳ-3-7〉 수학과 성취수준 일치 비율(피험자 수: 1,000) 135
〈표 Ⅳ-3-8〉 수학과 성취수준 일치 비율(피험자 수: 2,000) 137
〈표 Ⅴ-1-1〉 2단계 MST 설계에서 단계별 문항 수 144
〈표 Ⅴ-1-2〉 2단계 검사에서 모수 생성 시 사용한 분포 145
〈표 Ⅴ-1-3〉 2단계 검사에서 θ와 θ 간 상관 147
〈표 Ⅴ-1-4〉 2단계 검사에서 소검사 길이와 검사 유형별 전체 Bias, SEE, MAE 148
〈표 Ⅴ-1-5〉 2단계 검사에서 소검사 길이와 검사 유형별 CBias 149
〈표 Ⅴ-1-6〉 2단계 검사에서 소검사 길이와 검사 유형별 CSEE 151
〈표 Ⅴ-1-7〉 2단계 검사에서 소검사 길이와 검사 유형별 CMAE 152
〈표 Ⅴ-1-8〉 2단계 MST 설계에서 소검사 길이에 따른 CBias, CSEE, CMAE 153
〈표 Ⅴ-2-1〉 3단계 MST 설계에서 단계별 문항 수 156
〈표 Ⅴ-2-2〉 3단계 검사에서 모수 생성 시 사용한 분포 157
〈표 Ⅴ-2-3〉 2단계 및 3단계 MST 설계에서 θ와 θ 간 상관 158
〈표 Ⅴ-2-4〉 MST 설계의 단계별 특성에 따른 전체 Bias, SEE, MAE 159
〈표 Ⅴ-2-5〉 MST 설계의 단계별 특성에 따른 능력수준별 CBias 160
〈표 Ⅴ-2-6〉 MST 설계의 단계별 특성에 따른 능력수준별 CSEE 161
〈표 Ⅴ-2-7〉 MST 설계의 단계별 특성에 따른 능력수준별 CMAE 162
〈표 Ⅴ-2-8〉 2단계 MST 설계에서 관찰된 경로에 따른 피험자 능력 모수(true θ) 평균과 비율 163
〈표 Ⅴ-2-9〉 1-2-3 MST 설계에서 관찰된 경로에 따른 피험자 능력 모수(true θ) 평균과 비율 164
〈표 Ⅴ-2-10〉 1-3-3 MST 설계에서 관찰된 경로에 따른 피험자 능력 모수(true θ) 평균과 비율 164
〈표 Ⅴ-2-11〉 2단계 MST 설계에서 최적경로와 관찰경로 간 일치율 165
〈표 Ⅴ-2-12〉 3단계 MST 설계에서 최적경로와 관찰경로 간 일치율 166
〈표 Ⅵ-1-1〉 본 연구에서 수행한 모의실험 연구 개요 및 결과 요약 178
〈표 Ⅵ-2-1〉 컴퓨터 기반 검사 도입기 검사 및 시행 방안(안) 179
〈표 Ⅵ-2-2〉 수시평가 체제에서의 검사 구성과 결과 산출을 위한 추진 절차(안) 186
〈표 Ⅵ-2-3〉/〈표 Ⅵ-2-4〉 디지털 장비 현황 점검 사항 190
〈표 Ⅵ-2-4〉/〈표 Ⅵ-2-5〉 국가수준 학업성취도 평가 개선안(표집평가와 수시평가 이원 체제)에 따른 맞춤형 정보(안) 204
[그림 Ⅰ-1-1] 국가수준 학업성취도 평가 컴퓨터 기반 평가 도입 추진 계획안 16
[그림 Ⅱ-1-1] CAT 알고리즘 30
[그림 Ⅱ-1-2] MST 설계 예시 32
[그림 Ⅱ-1-3] 컴퓨터 기반 검사의 분류 33
[그림 Ⅱ-2-1] NAPLAN의 MST 설계(읽기, 수리 영역) 37
[그림 Ⅱ-2-2] PISA의 MST 설계(표준 설계) 40
[그림 Ⅱ-3-1] i-TEPS 시행 체계 47
[그림 Ⅱ-4-1] 컴퓨터 기반 검사 유형별 특징 및 개발 사례 52
[그림 Ⅲ-2-1] 현장 요구 분석을 위한 질문지 개발 절차 76
[그림 Ⅲ-2-2] 학업성취도 평가의 기간제 선택 시행 선호 이유 79
[그림 Ⅲ-2-3] 학업성취도 평가 검사문항의 재활용에 대한 장ㆍ단점 80
[그림 Ⅲ-2-4] 평가 시행 참여 독려 방안 81
[그림 Ⅲ-2-5] 학업성취도 평가 대상에 대한 의견 82
[그림 Ⅲ-2-6] 학업성취도 평가 결과 활용 방법 83
[그림 Ⅲ-2-7] 현행 학업성취도 평가의 만족 및 불만족 사항 84
[그림 Ⅲ-2-8] 컴퓨터 기반 학업성취도 평가 도입시 기대하는 사항에 대한 의견 85
[그림 Ⅲ-3-1] 컴퓨터 기반 학업성취도 평가 체제 구축을 위한 관련 과제 및 담당 영역 87
[그림 Ⅲ-3-2] 컴퓨터 기반 학업성취도 평가의 단계적 개발 방안 92
[그림 Ⅲ-3-3] 컴퓨터 기반 학업성취도 평가 체제 구축을 위한 단기 과제 92
[그림 Ⅳ-1-1] 2015 개정 교육과정을 적용한 학업성취도 평가의 통합검사(2019년 고등학교 수학) 98
[그림 Ⅳ-1-2] 검사 유형 증가에 따른 통합검사 예시 100
[그림 Ⅳ-1-3] 모의실험의 동등화 설계 101
[그림 Ⅳ-1-4] 국어 교과 동등화 점수의 bias와 표준오차: 가교문항 수 4개 104
[그림 Ⅳ-1-5] 국어 교과 동등화 점수의 bias와 표준오차: 가교문항 수 8개 105
[그림 Ⅳ-1-6] 국어 교과 동등화 점수의 bias와 표준오차: 가교문항 수 12개 105
[그림 Ⅳ-1-7] 수학 교과 동등화 점수의 bias와 표준오차: 가교문항 수 4개 106
[그림 Ⅳ-1-8] 수학 교과 동등화 점수의 bias와 표준오차: 가교문항 수 8개 107
[그림 Ⅳ-1-9] 수학 교과 동등화 점수의 bias와 표준오차: 가교문항 수 12개 107
[그림 Ⅳ-1-10] 컴퓨터 기반 평가의 검사 구성(안): 컴퓨터 기반 검사 시스템 도입기 109
[그림 Ⅳ-1-11] 컴퓨터 기반 평가의 검사 구성(안): 컴퓨터 기반 검사 시스템 안정기 110
[그림 Ⅳ-2-1] 배점이 다양하게 적용될 수 있는 컴퓨터 기반 선다형 문항 예시 114
[그림 Ⅳ-2-2] 분류일치도 산출 요소 116
[그림 Ⅳ-2-3] 모의실험 절차 118
[그림 Ⅳ-2-4] 배점 조건에 따른 분류일치도와 분류정확도 비교 121
[그림 Ⅳ-3-1] 모의자료 방법 및 단계 130
[그림 Ⅳ-3-2] 영어과 성취수준 일치 비율(피험자 수: 1,000) 132
[그림 Ⅳ-3-3] 영어과 성취수준 일치 비율(피험자 수: 2,000) 135
[그림 Ⅳ-3-4] 수학과 성취수준 일치 비율(피험자 수: 1,000) 136
[그림 Ⅳ-3-5] 수학과 성취수준 일치 비율(피험자 수: 2,000) 138
[그림 Ⅴ-1-1] 2단계 MST 설계 143
[그림 Ⅴ-1-2] 2단계 검사에서 소검사 길이와 검사 유형별 CBias 150
[그림 Ⅴ-1-3] 2단계 검사에서 소검사 길이와 검사 유형별 CSEE 151
[그림 Ⅴ-1-4] 2단계 검사에서 소검사 길이와 검사 유형별 CMAE 152
[그림 Ⅴ-1-5] 2단계 MST 설계에서 소검사 길이에 따른 CBias, CSEE, CMAE 153
[그림 Ⅴ-2-1] 단계별 소검사 수에 따른 3단계 MST 설계 156
[그림 Ⅴ-2-2] MST 설계의 단계별 특성에 따른 능력수준별 CBias 160
[그림 Ⅴ-2-3] MST 설계의 단계별 특성에 따른 능력수준별 CSEE 161
[그림 Ⅴ-2-4] MST 설계의 단계별 특성에 따른 능력수준별 CMAE 162
[그림 Ⅵ-2-1] 연구 기반 국정 목표 및 정책 지원을 위한 제언과 전략 180
[그림 Ⅵ-2-2] 국가수준 학업성취도 평가의 이원 체제 182
[그림 Ⅵ-2-3] 한국, 미국, 호주의 국가수준 학업성취도 평가 홈페이지 소속 184
[그림 Ⅵ-2-4] 학교급별 컴퓨터 보유 현황 189
[그림 Ⅵ-2-5] 컴퓨터 1대당 학생 수 189
[그림 Ⅵ-2-6] 난이도 측면에서 개인의 능력 수준을 고려한 검사 구성 예시 195
[그림 Ⅵ-2-7] 내용 영역 측면에서 개인의 필요를 고려한 검사 구성 예시 196
[그림 Ⅵ-2-8] MST 도입을 위한 로드맵(안) 197
[그림 Ⅵ-2-9] 지역 특성이 반영된 평가 결과 활용을 위한 컨소시엄 구축 202
[그림 Ⅵ-2-10] 사회과 역량별 성취율 예시 206
[그림 Ⅵ-2-11] 추이 분석을 통한 국가수준의 의사소통 역량 모니터링 사례(안) 예시 210