표제지
목차
연구요약 5
Ⅰ. 서론 18
1. 연구의 필요성 및 목적 19
2. 연구 내용 23
3. 연구 추진 방법 25
Ⅱ. 문항 특성 분석과 학생 평가의 타당도 29
1. 학생 평가 문항의 특성 분석 30
가. 학생 평가에서 문항 특성 분석의 의미 30
나. 문항 특성 분석(FA) 기법 관련 연구 33
2. 학생 평가의 타당도와 문항 특성 분석(FA) 기법의 적용 40
가. 학생 평가의 타당도에 대한 관점 40
나. 문항 특성 분석(FA)을 활용한 학생 평가의 타당도 점검 44
다. 증거기반 평가 설계와 연계한 문항 특성 분석(FA)의 활용 49
3. 학생 평가의 타당도 제고를 위한 문항 특성 분석(FA) 기법 활용 방향 53
Ⅲ. 문항 특성 국제 비교를 통한 특성 분석(FA) 기법의 국내 적용 방안 탐색 56
1. 국제 비교를 위한 분석 방법 및 절차 57
가. 분석 절차 및 방법 설계 57
나. SBA와 NAEA의 평가 방식 및 분석 대상 60
2. CRESST에서 추출한 문항 특성의 특징 분석 및 국제 비교 분석틀 개발 63
가. CRESST에서 추출한 문항 특성의 특징 분석 63
나. 국제 비교를 위한 CRESST 문항 특성 분석틀 개선 결과 71
3. 국제 비교 분석틀을 기반으로 한 미국-한국 학업성취도 평가 문항 특성 분석(FA) 결과 78
가. 문항 특성 평정 및 빈도 분석에 따른 출제 경향의 차이 분석 78
나. SBA-NAEA에 나타난 문항 특성 간 관계 및 구조적 차이 분석 94
다. 우리나라 학생 성취와 문항 특성 간 관계 분석 111
4. 문항 특성 국제 비교에 따른 국내 문항 특성 분석틀 개발을 위한 시사점 115
가. 언어/수학 교과 문항 특성 추출을 위한 시사점 115
나. 문항 특성 분석(FA) 기법을 적용한 국내 분석틀 개발을 위한 시사점 118
Ⅳ. 교과별 학생 평가 문항 특성 분석틀 개발 121
1. 국내 학생 평가를 위한 문항 특성 분석틀 개발 절차 122
2. 국어과 문항 특성 분석틀 개발 127
가. 분석틀 개발 방향 및 구성 127
나. 분석틀 초안 개발 및 검증 129
다. 최종 분석틀 개발 결과 142
3. 수학과 문항 특성 분석틀 개발 152
가. 분석틀 개발 방향 및 구성 152
나. 분석틀 초안 개발 및 검증 154
다. 최종 분석틀 개발 결과 164
Ⅴ. 학생 평가 타당도 제고를 위한 문항 특성 분석(FA) 기법 적용 172
1. NAEA 문항 특성 분석(FA) 결과 173
가. 2019년 NAEA 문항 특성 양상 분석 175
나. NAEA 문항 특성과 학생 성취 간 관계 분석 202
다. 학생의 문항 반응을 고려한 문항 특성 분석 222
2. 학교 수준 학생 평가 문항 특성 분석(FA) 사례 조사 239
가. 국어과 240
나. 수학과 248
3. 학생 평가 문항 특성 분석 프로그램 개발 266
가. 문항 특성 분석 프로그램 개발 방향 266
나. 문항 특성 분석 프로그램 개발 결과 267
다. 문항 특성 분석 프로그램 현장 적합성 검토 결과 273
Ⅵ. 요약 및 제언 277
1 . 요약 278
2. 제언 285
가. 문항 특성 분석(FA) 기법의 실제 적용 지원 방안 마련 286
나. 문항 특성 분석(FA) 기법의 적용 범위 확대 300
다. 문항 특성 분석(FA) 기법의 이론적 심화 309
참고문헌 320
ABSTRACT 334
[부록 1] 국제 분석틀에 따른 NAEA-SBA 네트워크 중심성 지수 분석 결과 339
[부록 2] 국내 문항 특성 분석틀 세부 설명 자료 353
[부록 3] 국내 분석틀에 따른 문항 특성 간 상관 분석 결과 361
[부록 4] 학생 반응 자료와 문항 특성의 연계 분석 결과 363
판권기 2
〈표 Ⅱ-1-1〉 선행 연구에서 제시된 국어/수학 관련 문항 특성 33
〈표 Ⅱ-1-2〉 G4 수학 문항 특성 중 '문제 해결 유형' 범주 특성에 대한 SBA 문항 평정 결과 36
〈표 Ⅱ-1-3〉 문항 특성 관련 데이터에 대한 통계 분석 방안 36
〈표 Ⅱ-1-4〉 대학-직업 준비도 측면에서 추출한 수학 문항 특성 39
〈표 Ⅱ-2-1〉 타당도 개념 변화와 통합적 관점에서의 타당도의 5가지 증거 42
〈표 Ⅱ-2-2〉 타당도 증거의 유형별 문항 특성 분석(FA) 적용 방안 46
〈표 Ⅲ-1-1〉 NAEA 문항 특성 평정 절차 및 일정 58
〈표 Ⅲ-1-2〉 키워드 네트워크 중심성 지수 59
〈표 Ⅲ-1-3〉 SBA와 NAEA의 평가 정보 61
〈표 Ⅲ-1-4〉 국제 비교 분석 대상 문항 정보 63
〈표 Ⅲ-2-1〉 CRESST의 문항 특성 분석틀(1차, 2차)의 구조_언어 교과 64
〈표 Ⅲ-2-2〉 CRESST의 문항 특성 분석틀에 대한 검토 기준 65
〈표 Ⅲ-2-3〉 CRESST 문항 특성 분석틀(2차)에 대한 검토 결과_언어 교과 67
〈표 Ⅲ-2-4〉 CRESST의 문항 특성 분석틀(1차, 2차)의 구조_수학 교과 68
〈표 Ⅲ-2-5〉 CRESST 문항 특성 분석틀(1, 2차)에 대한 검토 결과_수학 교과 70
〈표 Ⅲ-2-6〉 국제 비교 연구용 문항 특성 분석틀_언어 교과 71
〈표 Ⅲ-2-7〉 CRESST 문항 특성의 의미_문제 해결 유형 73
〈표 Ⅲ-2-8〉 국제 비교 연구용 문항 특성 분석틀_수학 교과 76
〈표 Ⅲ-3-1〉 언어 교과 인지적 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 79
〈표 Ⅲ-3-2〉 언어 교과 언어(학)적 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 80
〈표 Ⅲ-3-3〉 언어 교과 복잡도 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 82
〈표 Ⅲ-3-4〉 언어 교과 표현 유형 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 84
〈표 Ⅲ-3-5〉 언어 교과 문제 상호작용 유형 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 84
〈표 Ⅲ-3-6〉 수학 교과 수학 개념 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 88
〈표 Ⅲ-3-7〉 수학 교과 인지적 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 89
〈표 Ⅲ-3-8〉 수학 교과 표현 유형 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 91
〈표 Ⅲ-3-9〉 수학 교과 문제 상호작용 유형 범주의 문항 특성에 대한 평정 및 빈도 분석 결과 92
〈표 Ⅲ-3-10〉 언어 교과 인지적 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 96
〈표 Ⅲ-3-11〉 언어 교과 복잡도 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 100
〈표 Ⅲ-3-12〉 언어 교과 언어(학)적 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 103
〈표 Ⅲ-3-13〉 언어 교과 표현 유형과 문제 상호작용 유형 통합 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 103
〈표 Ⅲ-3-14〉 수학 교과 수학 개념 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 105
〈표 Ⅲ-3-15〉 수학 교과 인지적 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 107
〈표 Ⅲ-3-16〉 수학 교과 표현 유형 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 109
〈표 Ⅲ-3-17〉 수학 교과 문제 상호작용 유형 범주에 대한 NAEA 문항 특성 간 상관 분석 결과 110
〈표 Ⅲ-3-18〉 NAEA 언어 교과 문항 특성과 정답률/변별도 간 상관 분석 결과 112
〈표 Ⅲ-3-19〉 NAEA 수학 교과 문항 특성과 정답률/변별도 간 상관 분석 결과 114
〈표 Ⅲ-4-1〉 언어 교과 문항 특성 간 중복성 분석 결과 116
〈표 Ⅲ-4-2〉 수학 교과 문항 특성 간 중복성 분석 결과 117
〈표 Ⅳ-1-1〉 국내 문항 특성 분석틀 개발 절차 및 일정 125
〈표 Ⅳ-2-1〉 국어과 문항 특성 분석틀 범주별 개발 방향 128
〈표 Ⅳ-2-2〉 국어과 문항 특성 분석틀(안)의 타당성 조사 결과: 분석틀 구성 129
〈표 Ⅳ-2-3〉 국어과 문항 특성 분석틀(안)의 타당성 조사 결과: 교육과정 연계 범주 131
〈표 Ⅳ-2-4〉 국어과 문항 특성 분석틀(안)의 타당성 조사 결과: 인지 특성 범주 133
〈표 Ⅳ-2-5〉 국어과 문항 특성 분석틀(안)의 타당성 조사 결과: 지문 특성 범주 135
〈표 Ⅳ-2-6〉 국어과 문항 특성 분석틀(안)의 타당성 조사 결과: 문항 유형과 과제의 복잡도 범주 137
〈표 Ⅳ-2-7〉 국어과 문항 특성의 자카드 계수 분석 결과: 교육과정 연계 범주 138
〈표 Ⅳ-2-8〉 국어과 문항 특성의 자카드 계수 분석 결과: 인지 특성 범주 139
〈표 Ⅳ-2-9〉 국어과 문항 특성의 자카드 계수 분석 결과: 지문 특성 범주 140
〈표 Ⅳ-2-10〉 국어과 문항 특성의 자카드 계수 분석 결과: 문항 유형과 과제 복잡도 범주 141
〈표 Ⅳ-2-11〉 국어과 문항 특성 분석틀(최종) 143
〈표 Ⅳ-2-12〉 국어과 문항 특성 분석틀: 교육과정 연계 범주의 특징 144
〈표 Ⅳ-2-13〉 국어과 문항 특성 분석틀: 교육과정 연계 범주 - 범위(학습 요소) 특성 목록(일부) 145
〈표 Ⅳ-2-14〉 국어과 문항 특성 분석틀: 인지 특성 범주의 특징 146
〈표 Ⅳ-2-15〉 국어과 문항 특성 분석틀: 인지 특성 범주 - 언어 기능 특성 목록 147
〈표 Ⅳ-2-16〉 국어과 문항 특성 분석틀: 지문 특성 범주의 특징 148
〈표 Ⅳ-2-17〉 국어과 문항 특성 분석틀: 지문 특성 범주_장르 특성 목록 149
〈표 Ⅳ-2-18〉 국어과 문항 특성 분석틀: 문항 유형과 과제의 복잡도 범주의 특징 151
〈표 Ⅳ-3-1〉 수학과 문항 특성 분석틀 범주별 개발 방향 153
〈표 Ⅳ-3-2〉 수학과 문항 특성 분석틀(안)의 타당성 조사 결과: 수학 개념 범주(중학교) 156
〈표 Ⅳ-3-3〉 수학과 문항 특성 분석틀(안)의 타당성 조사 결과: 수학 개념 범주(고등학교) 157
〈표 Ⅳ-3-4〉 수학과 문항 특성 분석틀(안)의 타당성 조사 결과: 수학 역량 범주 159
〈표 Ⅳ-3-5〉 수학과 문항 특성 분석틀(안)의 타당성 조사 결과: 표현 형식 범주 160
〈표 Ⅳ-3-6〉 수학과 문항 특성 분석틀(안)의 타당성 조사 결과: 문항(과제) 유형 및 점수 체제 범주 161
〈표 Ⅳ-3-7〉 수학과 문항 특성의 자카드 계수 분석 결과: 수학 역량 범주 162
〈표 Ⅳ-3-8〉 수학과 문항 특성의 자카드 계수 분석 결과: 표현 형식 범주 163
〈표 Ⅳ-3-9〉 수학과 문항 특성 분석틀(최종) 165
〈표 Ⅳ-3-10〉 수학과 문항 특성 분석틀: 수학 개념 범주의 특징 166
〈표 Ⅳ-3-11〉 수학과 문항 특성 분석틀: 수학 개념 범주 문항 특성의 세부 설명 예시(수와 연산 영역) 167
〈표 Ⅳ-3-12〉 2015 개정 교육과정 수학과 교과 역량과 수학과 문항 특성 분석틀: 수학 역량 범주의 특징 168
〈표 Ⅳ-3-13〉 수학과 문항 특성 분석틀: 표현 형식 범주의 특징 169
〈표 Ⅳ-3-14〉 수학과 문항 특성 분석틀: 문항(과제) 유형 및 점수 체제 범주의 특징 171
〈표 Ⅴ-1-1〉 2019년 NAEA 국어/수학 교과 분석 대상 문항 정보 173
〈표 Ⅴ-1-2〉 2019년 NAEA 국어/수학 교과 평가틀 비교 174
〈표 Ⅴ-1-3〉 2019년 NAEA 국어 교과 문항 특성 빈도 분석 결과_교육과정 연계 범주 176
〈표 Ⅴ-1-4〉 2019년 NAEA 국어 교과 문항 특성 간 상관 분석 결과_교육과정 연계 범주 176
〈표 Ⅴ-1-5〉 2019년 NAEA 국어 교과 문항 특성 빈도 분석 결과_인지 특성 범주 178
〈표 Ⅴ-1-6〉 2019년 NAEA 국어 교과 문항 특성 간 상관 분석 결과_인지 특성 범주 178
〈표 Ⅴ-1-7〉 2019년 NAEA 국어 교과 문항 특성 빈도 분석 결과_지문 특성 범주 180
〈표 Ⅴ-1-8〉 2019년 NAEA 국어 교과 문항 특성 빈도 분석 결과_문항 유형과 과제 복잡도 범주 181
〈표 Ⅴ-1-9〉 2019년 NAEA 국어 교과 문항 특성 간 상관 분석 결과_문항 유형과 과제의 복잡도 범주 182
〈표 Ⅴ-1-10〉 2019년 NAEA 고등학교 국어과 범위(학습 요소), 언어 기능, 장르 범주 분석 결과 186
〈표 Ⅴ-1-11〉 2019년 NAEA 국어과 지문의 교과서 수록 여부, 난도 범주 분석 결과 188
〈표 Ⅴ-1-12〉 2019년 NAEA 중학교 국어과 어휘 분포와 단어 수 범주 분석 결과 189
〈표 Ⅴ-1-13〉 2019년 NAEA 수학 교과 문항 특성 빈도 분석 결과_수학 개념 범주 190
〈표 Ⅴ-1-14〉 2019년 NAEA 수학 교과 문항 특성 간 상관 분석 결과_수학 개념 범주(중학교) 192
〈표 Ⅴ-1-15〉 2019년 NAEA 수학 교과 문항 특성 간 상관 분석 결과_수학 개념 범주(고등학교) 192
〈표 Ⅴ-1-16〉 2019년 NAEA 수학 교과 문항 특성 빈도 분석 결과_수학 역량 범주 193
〈표 Ⅴ-1-17〉 2019년 NAEA 수학 교과 문항 특성 간 상관 분석 결과_수학 역량 범주 194
〈표 Ⅴ-1-18〉 2019년 NAEA 수학 교과 문항 특성 빈도 분석 결과_표현 형식 범주 196
〈표 Ⅴ-1-19〉 2019년 NAEA 수학 교과 문항 특성 간 상관 분석 결과_표현 형식 범주 196
〈표 Ⅴ-1-20〉 2019년 NAEA 수학 교과 문항 특성 빈도 분석 결과_문항(과제) 유형 및 점수 체제 범주 198
〈표 Ⅴ-1-21〉 2019년 NAEA 수학 교과 문항 특성 간 상관 분석 결과_문항(과제) 유형 및 점수 체제 범주 198
〈표 Ⅴ-1-22〉 국어 교육과정 연계 범주의 문항 특성과 정답률 간 관계 205
〈표 Ⅴ-1-23〉 국어 교육과정 연계 범주의 문항 특성과 변별도 간 관계 205
〈표 Ⅴ-1-24〉 국어 인지 특성 범주의 문항 특성과 정답률 간 관계 207
〈표 Ⅴ-1-25〉 국어 인지 특성 범주의 문항 특성과 변별도 간 관계 207
〈표 Ⅴ-1-26〉 국어 지문 특성 범주의 문항 특성과 정답률 간 관계 209
〈표 Ⅴ-1-27〉 국어 지문 특성 범주의 문항 특성과 변별도 간 관계 209
〈표 Ⅴ-1-28〉 국어 문항 유형과 과제 복잡도 범주의 문항 특성과 정답률 간 관계 212
〈표 Ⅴ-1-29〉 국어 문항 유형과 과제 복잡도 범주의 문항 특성과 변별도 간 관계 213
〈표 Ⅴ-1-30〉 수학 개념 범주의 핵심 개념과 정답률 간 관계 215
〈표 Ⅴ-1-31〉 수학 개념 범주의 핵심 개념과 변별도 간 관계 215
〈표 Ⅴ-1-32〉 수학 역량 범주의 문항 특성과 정답률 간 관계 217
〈표 Ⅴ-1-33〉 수학 역량 범주의 문항 특성과 변별도 간 관계 218
〈표 Ⅴ-1-34〉 수학 표현 형식 범주의 문항 특성과 정답률 간 관계 219
〈표 Ⅴ-1-35〉 수학 표현 형식 범주의 문항 특성과 변별도 간 관계 220
〈표 Ⅴ-1-36〉 수학 문항(과제) 유형 및 형식 범주의 문항 특성과 정답률 간 관계 221
〈표 Ⅴ-1-37〉 수학 문항(과제) 유형 및 형식 범주의 문항 특성과 변별도 간 관계 222
〈표 Ⅴ-1-38〉 중학교 수학 문항 특성 범주별 자료에 대한 모형별 DIC 224
〈표 Ⅴ-1-39〉 중학교 수학 문항 특성 범주별 RE-LLTM의 문항 모수 추정 결과 226
〈표 Ⅴ-1-40〉 중학교 수학 개념 범주에 대한 RE-LLTM의 추정 계수(eta) 227
〈표 Ⅴ-1-41〉 중학교 수학 역량 범주에 대한 RE-LLTM의 추정 계수(eta) 227
〈표 Ⅴ-1-42〉 중학교 수학 표현 형식 범주에 대한 RE-LLTM의 추정 계수(eta) 227
〈표 Ⅴ-1-43〉 중학교 수학 문항(과제) 유형 및 점수 체제 범주에 대한 RE-LLTM의 추정 계수(eta) 228
〈표 Ⅴ-1-44〉 SG-DINA 모형에 의한 고등학교 국어 문항 모수 추정 결과 233
〈표 Ⅴ-1-45〉 SG-DINA 모형에 의한 고등학교 국어 문항 특성의 숙달 비율 233
〈표 Ⅴ-1-46〉 고등학교 국어의 인지요소 프로파일 비율 234
〈표 Ⅴ-1-47〉 고등학교 국어의 숙달패턴에 따른 정답 확률_문제 상황 유형 범주 237
〈표 Ⅴ-2-1〉 학교 수준 학생 평가 교과별 분석 사례 정보 239
〈표 Ⅴ-2-2〉 단위학교 국어과 평가 문항 특성 평정 결과_교육과정 연계 범주(국어과 역량) 240
〈표 Ⅴ-2-3〉 단위학교 국어과 평가 문항 특성 평정 결과_인지 특성 범주(문제(해결) 상황 유형) 241
〈표 Ⅴ-2-4〉 단위학교 국어과 평가 문항 특성 평정 결과_문항 유형과 과제 복잡도 범주(과제 수행 맥락) 243
〈표 Ⅴ-2-5〉 국어과 교육과정 연계 범주(역량 특성)에 대한 학생 평가 타당도 관련 교사 의견 244
〈표 Ⅴ-2-6〉 국어과 인지 특성 범주에 대한 학생 평가 타당도 관련 교사 의견 244
〈표 Ⅴ-2-7〉 국어과 문항 유형과 과제 복잡도 범주에 대한 학생 평가 타당도 관련 교사 의견 245
〈표 Ⅴ-2-8〉 중학교 수학과 평가 문항 특성 평정 결과_수학 개념 범주 248
〈표 Ⅴ-2-9〉 고등학교 수학과 평가 문항 특성 평정 결과_수학 개념 범주 249
〈표 Ⅴ-2-10〉 단위학교 수학과 평가 문항 특성 평정 결과_수학 역량 범주 251
〈표 Ⅴ-2-11〉 단위학교 수학과 평가 문항 특성 평정 결과_표현 형식 범주 255
〈표 Ⅴ-2-12〉 단위학교 수학과 문항 특성 평정 결과_문항(과제) 유형 및 점수 체제 범주 257
〈표 Ⅴ-2-13〉 수학 개념 및 문항(과제) 유형 및 점수 체제 범주에 대한 학생 평가 타당도 관련 교사 의견 259
〈표 Ⅴ-2-14〉 수학 역량 범주에 대한 학생 평가 타당도 관련 교사 의견 261
〈표 Ⅴ-2-15〉 수학과 표현 범주에 대한 학생 평가 타당도 관련 교사 의견 262
〈표 Ⅴ-3-1〉 문항 특성 분석 프로그램의 단위 기능 명세 267
〈표 Ⅵ-2-1〉 특정 시기 평가에 대한 연도별 평가 정보 축적 및 평균 정보 산출 예시 289
〈표 Ⅵ-2-2〉 교과별 문항 특성 분석틀 범주 유형 구분 예시 301
〈표 Ⅵ-2-3〉 CRESST에서 제안한 1차 분석틀에 제시된 컴퓨터 기반 평가 관련 특성 302
[그림 Ⅰ-1-1] 연구 내용 및 절차 23
[그림 Ⅰ-1-2] CRESST와의 협동 연구 체계 28
[그림 Ⅱ-1-1] 문항 특성 분석(FA) 절차 34
[그림 Ⅱ-1-2] 문항 특성 분석(FA)을 위한 반복적 평정 절차 35
[그림 Ⅱ-2-1] 통합적 관점에 의한 학생 평가의 타당도 점검 45
[그림 Ⅱ-2-2] 학생 평가 운영 단계별 증거기반 설계와 문항 특성 분석(FA)의 연계 활용 51
[그림 Ⅱ-3-1] 문항 특성 분석(FA) 절차에 따른 학생 평가의 타당도 점검 방안 54
[그림 Ⅲ-1-1] SBA의 교과 및 내용 영역(Content Claim)에 따른 검사 설계(CAT, PT) 62
[그림 Ⅲ-3-1] SBA-NAEA 언어 교과 문항별 특성 범주 분포 그래프 85
[그림 Ⅲ-3-2] SBA G8 언어 28번 문항과 2019년 NAEA 중학교 국어 서답형 4번 문항 86
[그림 Ⅲ-3-3] SBA-NAEA 수학 교과 문항별 특성 범주 분포 그래프 92
[그림 Ⅲ-3-4] SBA G8 수학 21번 문항과 2019년 NAEA 중학교 수학 16번 문항 93
[그림 Ⅲ-3-5] 언어 교과 인지적 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 95
[그림 Ⅲ-3-6] 언어 교과 인지적 및 언어(학)적 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 96
[그림 Ⅲ-3-7] 언어 교과 인지적 및 복잡도 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 97
[그림 Ⅲ-3-8] 언어 교과 인지적 및 표현 유형 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 98
[그림 Ⅲ-3-9] 언어 교과 인지적 및 문제 상호작용 형식 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 98
[그림 Ⅲ-3-10] 언어 교과 복잡도 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 99
[그림 Ⅲ-3-11] 언어 교과 복잡도 및 언어(학)적 형식 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 101
[그림 Ⅲ-3-12] 언어 교과 복잡도 및 표현 유형 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 102
[그림 Ⅲ-3-13] 언어 교과 복잡도 및 문제 상호작용 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 102
[그림 Ⅲ-3-14] 수학 교과 수학 개념 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 104
[그림 Ⅲ-3-15] 수학 교과 인지적 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 107
[그림 Ⅲ-3-16] 수학 교과 표현 유형 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 108
[그림 Ⅲ-3-17] 수학 교과 문제 상호작용 유형 범주에 대한 SBA와 NAEA 문항 특성 네트워크 그래프 110
[그림 Ⅳ-1-1] 문항 특성 분석틀의 개발 방향과 절차 124
[그림 Ⅳ-1-2] 문항 특성 분석(FA)을 위한 반복적 평정 절차 127
[그림 Ⅳ-2-1] UTagger 프로그램55)을 활용한 지문 속 단어 수 분석 사례 150
[그림 Ⅴ-1-1] 2019년 NAEA 국어 교과 문항 특성 네트워크 그래프 및 중심성 지수_교육과정 연계 범주 177
[그림 Ⅴ-1-2] 2019년 NAEA 국어 교과 문항 특성 네트워크 그래프 및 중심성 지수_인지 특성 범주 179
[그림 Ⅴ-1-3] 2019년 NAEA 국어 교과 문항 특성 네트워크 그래프 및 중심성 지수_문항 유형과 과제 복잡도 범주 183
[그림 Ⅴ-1-4] 2019년 NAEA 국어 교과 문항별 특성 범주 분포 그래프 184
[그림 Ⅴ-1-5] 2019년 NAEA 국어 중학교 서답형 2번 문항과 고등학교 서답형 8번 문항 185
[그림 Ⅴ-1-6] 2019년 NAEA 수학 교과 문항 특성 빈도 분포 그래프_수학 개념 범주 191
[그림 Ⅴ-1-7] 2019년 NAEA 수학 교과 문항 특성 네트워크 그래프 및 중심성 지수_수학 역량 범주 195
[그림 Ⅴ-1-8] 2019년 NAEA 수학 교과 문항 특성 네트워크 그래프 및 중심성 지수_표현 형식 범주 197
[그림 Ⅴ-1-9] 2019년 NAEA 수학 교과 문항 특성 네트워크 그래프 및 중심성 지수_문항(과제) 유형 및 점수 체제 범주 199
[그림 Ⅴ-1-10] 2019년 NAEA 수학 교과 문항별 특성 범주 분포 그래프 200
[그림 Ⅴ-1-11] 2019년 NAEA 수학 중학교 27번 문항과 고등학교 4번 문항 200
[그림 Ⅴ-1-12] 국어 교육과정 연계 범주의 문항 특성별 평균 정답률 204
[그림 Ⅴ-1-13] 국어 인지 특성 범주의 문항 특성별 평균 정답률 206
[그림 Ⅴ-1-14] 국어 지문 특성 범주의 문항 특성별 평균 정답률 208
[그림 Ⅴ-1-15] 국어 문항 유형과 과제 복잡도 특성별 평균 정답률 211
[그림 Ⅴ-1-16] 국어 과제 복잡도 특성별 평균 정답률 211
[그림 Ⅴ-1-17] 수학 개념 범주의 핵심 개념별 평균 정답률 214
[그림 Ⅴ-1-18] 수학 역량 범주의 문항 특성별 평균 정답률 216
[그림 Ⅴ-1-19] 수학 표현 형식 범주의 문항 특성별 평균 정답률 219
[그림 Ⅴ-1-20] 수학 문항(과제) 유형 및 점수 체제 범주의 문항 특성별 평균 정답률 221
[그림 Ⅴ-2-1] 수학 개념 범주 특성 평정 내용_MA(좌), MH(우) 250
[그림 Ⅴ-2-2] 수행평가 MI 문항정보표의 교과 역량 및 출제의도 252
[그림 Ⅴ-2-3] 수학 역량 범주 특성 평정 내용_MC(좌), MF(우) 253
[그림 Ⅴ-2-4] 수학 역량 범주 특성에 대한 수행평가 ME 평정 사례 254
[그림 Ⅴ-2-5] 표현 형식 범주 특성 평정 내용_MA(좌), MG(우) 256
[그림 Ⅴ-2-6] 표현 형식 범주 특성에 대한 MF고등학교 평정 사례 256
[그림 Ⅴ-2-7] 수행평가 ME 문항정보표의 평가 유형 정보 258
[그림 Ⅴ-3-1] 문항 특성 분석 프로그램의 기능 구성 266
[그림 Ⅴ-3-2] 문항 특성 분석 프로그램 실행 첫 화면 268
[그림 Ⅴ-3-3] 문항 특성 분석 프로그램 평가 정보 생성 및 조정 기능 268
[그림 Ⅴ-3-4] 문항 특성 분석 프로그램 문항 특성 관리 기능 269
[그림 Ⅴ-3-5] 문항 특성 분석 프로그램 문항 특성 입력 기능 270
[그림 Ⅴ-3-6] 문항 특성 분석 프로그램 문항 특성 설명 자료 보기 기능 271
[그림 Ⅴ-3-7] 문항 특성 분석 프로그램 평정 결과 보기 기능 272
[그림 Ⅴ-3-8] 문항 특성 분석 프로그램 평정 결과 통계 분석 기능 272
[그림 Ⅴ-3-9] 문항 특성 분석 프로그램_평정 결과 저장 및 관리 기능 273
[그림 Ⅴ-3-10] 문항 특성 분석 프로그램을 활용한 평가 문항 특성 입력 및 결과 종합 사례(MG고) 274
[그림 Ⅴ-3-11] 문항 특성 분석 프로그램을 활용한 평정 결과 산출 사례(MG고) 275
[그림 Ⅴ-3-12] 문항 특성 분석 프로그램을 활용한 평정 결과 통계 분석 사례(MG고) 276
[그림 Ⅵ-2-1] 후속 연구를 위한 제언과 기대 효과 285
[그림 Ⅵ-2-2] 학생 평가 운영 단계별 문항 특성 분석(FA) 기법 적용 절차(안) 286
[그림 Ⅵ-2-3] 단위학교 문항정보표 양식 287
[그림 Ⅵ-2-4] 문항 특성 분석 프로그램 290
[그림 Ⅵ-2-5] 수준별 학생 평가 도구의 특징 비교 분석 295
[그림 Ⅵ-2-6] 2019년 NAEA 고등학교 수학 역량 특성 간 네트워크 그래프 305
[그림 Ⅵ-2-7] 2019년 NAEA 중학교 국어 교과 문제 해결 유형과 텍스트 이해 유형 간 네트워크 분석도 306
[그림 Ⅵ-2-8] HERA 프로젝트의 3단계 학습 및 평가 문항 예시(Arieli-Attali et al. 2019, p.12) 308
[그림 Ⅵ-2-9] 학생 평가 도구에서의 교과 역량 특성 출현 빈도 분석 예시 310
[그림 Ⅵ-2-10] 수행평가의 구조 및 평가 결과 산출 방식 예시 312
[그림 Ⅵ-2-11] IPA 분석의 중요도(I)-만족도(S) 격차 분석틀 314
[그림 Ⅵ-2-12] 문항 특성 분석(FA) 기법에서의 이분법적 평정 결과 사례 316