표제지
목차
연구요약 5
Ⅰ. 서론 17
1. 연구 필요성 및 목적 18
가. 연구의 배경 및 필요성 18
나. 연구의 목적 19
2. 연구 내용 20
가. 2013년 교과별 학업성취도 평가 결과 분석 20
나. 2014년 학업성취도 평가 도구 개발 20
다. 2014년 학업성취도 평가 서답형 문항 채점 21
라. 학업성취도 평가의 출제ㆍ시행ㆍ채점ㆍ결과 보고 개선 방안 탐색 21
마. 교과별 학업성취도 평가 결과 분석 방법 개선 방안 모색 21
바. 출제 기반 개선 21
사. 학업성취도 평가 결과의 활용도 제고 방안 모색 22
3. 연구 방법 22
가. 문헌 연구 22
나. 학업성취도 평가 결과에 대한 통계 자료 분석 22
다. 전문가 협의회 23
라. 평가 도구 개발, 평가 시행, 채점 23
마. 현황 조사 및 설문 조사 24
바. 면담 조사 24
사. 세미나 25
Ⅱ. 2013년 국가수준 학업성취도 평가의 교과별 평가 결과 분석 26
1. 2013년 학업성취도 평가 개요 27
가. 평가 대상 및 시기 27
나. 평가 범위 28
2. 교과별 성취도 점수 및 변화 추이 29
가. 국어과 29
나. 사회과 31
다. 수학과 32
라. 과학과 34
마. 영어과 35
3. 교과별 문항 분석 및 시사점 37
가. 문항 분석 예시 37
나. 교과별 문항 분석의 시사점 40
4. 문항 분석 방법 개선 방안 모색 45
Ⅲ. 2014년 국가수준 학업성취도 평가 도구 개발 46
1. 2014년 학업성취도 평가 개요 47
가. 평가 대상, 평가 범위 및 평가 시간 47
나. 재외 한국학교의 학업성취도 평가 시행 49
2. 2014년 학업성취도 평가 도구 개발을 위한 기초 연구 51
가. 교육과정 변화 조사 및 적용 51
나. 표집 학교 확정을 위한 중학교 사회, 과학 교육과정 운영 현황 조사 57
다. 문항 DB 및 출제 인력풀 DB 개선 59
3. 2014년 학업성취도 평가 도구 개발 71
가. 교과별 평가 문항 개발 71
나. 표집 학생의 교과에 대한 태도 설문 문항 개선 및 시범 적용 75
다. 검사지 난이도 유지를 위한 출제 과정 개선 78
4. 평가 도구 개발 체제 개선 방안 모색 79
가. 출제/검토위원 설문 조사 79
나. 출제 체제 개선 과제 91
Ⅳ. 2014년 국가수준 학업성취도 평가의 채점 및 결과 보고 95
1. 표집 채점 96
가. 표본 답안 추출 및 기준 점수 설정 97
나. 표집 채점 체제 99
다. 표집 채점 체제 개선을 위한 설문 조사 103
라. 표집 채점 체제 개선 방안 모색 110
2. 전수 채점 114
가. 전수 채점 체제 114
나. 전수 채점 체제 개선을 위한 설문 조사 결과 127
다. 전수 채점 체제 개선 방안 모색 131
3. 평가 결과 보고 138
가. 성취수준별 학업성취 특성 진술문 139
나. 평가 결과 보고 및 활용 관련 사례 : 미국 캘리포니아주 140
다. 평가 결과 보고 개선 방안 모색 143
V. 요약 및 정책 제언 145
1. 요약 146
가. 2013년 학업성취도 평가의 교과별 평가 결과 분석 146
나. 2014년 국가수준 학업성취도 평가 도구 개발 148
다. 2014년 국가수준 학업성취도 평가의 채점 및 결과 보고 149
2. 정책 제언 152
참고문헌 165
관련 자료 목록 168
Abstract 171
[부록 1] 표집학급 학생용 설문지(교과별 태도 문항 부분) 177
[부록 2] 출제 체제 개선을 위한 설문지 182
[부록 3] 채점 체제 개선을 위한 설문지 191
[부록 4] 2014년 평가결과표 194
[부록 5] 국외 출장보고서 198
[부록 6] 2014년 국가수준 학업성취도 평가 시행 평가회 회의록 213
[부록 7] 교육부-평가원 정책협의회 관련 자료 217
[부록 8] 학교 현장 교사 협의회 회의록 219
판권기 2
〈표 Ⅱ-1-1〉 2013년 국가수준 학업성취도 평가 개요 28
〈표 Ⅱ-1-2〉 2013년 국가수준 학업성취도 평가의 교과별 평가 범위 28
〈표 Ⅱ-2-1〉 2010~2013년 중학교 3학년 국어과 성취도 점수 평균과 표준편차 29
〈표 Ⅱ-2-2〉 2010~2013년 중학교 3학년 국어과 성취수준별 비율 30
〈표 Ⅱ-2-3〉 2010~2013년 고등학교 2학년 국어과 성취도 점수 평균과 표준편차 30
〈표 Ⅱ-2-4〉 2010~2013년 고등학교 2학년 국어과 성취수준별 비율 30
〈표 Ⅱ-2-5〉 2010~2013년 중학교 3학년 사회과 성취도 점수 평균과 표준편차 31
〈표 Ⅱ-2-6〉 2010~2013년 중학교 3학년 사회과 성취수준별 비율 31
〈표 Ⅱ-2-7〉 2010~2013년 중학교 3학년 수학과 성취도 점수 평균과 표준편차 32
〈표 Ⅱ-2-8〉 2010~2013년 중학교 3학년 수학과 성취수준별 비율 32
〈표 Ⅱ-2-9〉 2010~2013년 고등학교 2학년 수학과 성취도 점수 평균과 표준편차 33
〈표 Ⅱ-2-10〉 2010~2013년 고등학교 2학년 수학과 성취수준별 비율 33
〈표 Ⅱ-2-11〉 2010~2013년 중학교 3학년 과학과 성취도 점수 평균과 표준편차 34
〈표 Ⅱ-2-12〉 2010~2013년 중학교 3학년 과학과 성취수준별 비율 34
〈표 Ⅱ-2-13〉 2010~2013년 중학교 3학년 영어과 성취도 점수 평균과 표준편차 35
〈표 Ⅱ-2-14〉 2010~2013년 중학교 3학년 영어과 성취수준별 비율 35
〈표 Ⅱ-2-15〉 2010~2013년 고등학교 2학년 영어과 성취도 점수 평균과 표준편차 36
〈표 Ⅱ-2-16〉 2010~2013년 고등학교 2학년 영어과 성취수준별 비율 36
〈표 Ⅱ-3-1〉 문항 분석 예시: 2013년 중학교 과학 8번 문항 (이인호 외, 2014d, pp. 46-48) 37
〈표 Ⅱ-3-2〉 2013년 사회과 학업성취도 평가의 내용 영역별 성취수준별 대표 문항 수 41
〈표 Ⅲ-1-1〉 2014년 교과별 학업성취도 평가 개요 47
〈표 Ⅲ-1-2〉 2014년 학업성취도 평가 시간표 : 전수 평가(중, 고등학교) 48
〈표 Ⅲ-1-3〉 2014년 학업성취도 평가 시간표 : 표집 평가 학급(중학교) 49
〈표 Ⅲ-1-4〉 2013~2014년 재외 한국학교 응시 현황 50
〈표 Ⅲ-2-1〉 5개 교과의 학교급별 문항 DB 탑재 문항 수 60
〈표 Ⅲ-2-2〉 대표적인 웹 취약점 66
〈표 Ⅲ-2-3〉 출제 인력풀 DB 업무 효율성 개선 사항 67
〈표 Ⅲ-2-4〉 관리자의 권한 부여 68
〈표 Ⅲ-3-1〉 2014년 학업성취도 평가 국어과 내용 영역별 문항 수 71
〈표 Ⅲ-3-2〉 2014년 학업성취도 평가 국어과 행동 영역별 문항 수 71
〈표 Ⅲ-3-3〉 2014년 학업성취도 평가 중학교 사회과 내용 영역별 문항 수 72
〈표 Ⅲ-3-4〉 2014년 학업성취도 평가 중학교 사회과 행동 영역별 문항 수 72
〈표 Ⅲ-3-5〉 2014년 학업성취도 평가 수학과 내용 영역별 문항 수 73
〈표 Ⅲ-3-6〉 2014년 학업성취도 평가 수학과 행동 영역별 문항 수 73
〈표 Ⅲ-3-7〉 2014년 학업성취도 평가 중학교 과학과 내용 영역별 문항 수 73
〈표 Ⅲ-3-8〉 2014년 학업성취도 평가 중학교 과학과 행동 영역별 문항 수 74
〈표 Ⅲ-3-9〉 2014년 학업성취도 평가 영어과 평가 영역별 문항 수 74
〈표 Ⅲ-3-10〉 2014년 학업성취도 평가 중학교 영어과 중영역별 문항 수 74
〈표 Ⅲ-3-11〉 2014년 학업성취도 평가 고등학교 영어과 중영역별 문항 수 75
〈표 Ⅲ-3-12〉 표집 학생의 교과에 대한 태도 설문 항목과 사례 : 국어과 77
〈표 Ⅲ-4-1〉 출제위원과 검토위원 대상 설문 문항 개관 80
〈표 Ⅲ-4-2〉 출제위원과 검토위원 대상 설문 조사 참여 인원 81
〈표 Ⅲ-4-3〉 출제 체제에 대한 의견 82
〈표 Ⅲ-4-4〉 자료집 활용도 : 출제위원 83
〈표 Ⅲ-4-5〉 자료집 수록 정보의 항목별 유용성 : 출제위원 84
〈표 Ⅲ-4-6〉 과목별 워크숍의 유용성 85
〈표 Ⅲ-4-7〉 출제/검토위원 전원의 공동 검토와 논의 정도 85
〈표 Ⅲ-4-8〉 검토 의견의 유용성 및 반영 정도 : 출제위원 86
〈표 Ⅲ-4-9〉 출제에 검토 의견이 반영된 정도 : 검토 위원 86
〈표 Ⅲ-4-10〉 출제와 검토 업무 분리에 대한 의견 87
〈표 Ⅲ-4-11〉 평가팀에서 제공한 자료의 유용성 88
〈표 Ⅲ-4-12〉 출제에 필요한 자료의 적절한 제공 정도 : 출제위원 88
〈표 Ⅲ-4-13〉 검토에 필요한 자료의 적절한 제공 정도 : 검토위원 89
〈표 Ⅲ-4-14〉 문항 DB 개선에 대한 의견 90
〈표 Ⅲ-4-15〉 출제 및 검토 과정 전반에 대한 의견 90
〈표 Ⅳ-1-1〉 2014년 표집 학생 수 96
〈표 Ⅳ-1-2〉 교과별 채점 대상 답안 수 97
〈표 Ⅳ-1-3〉 2014년 중ㆍ고등학교 교과별 채점위원 현황 99
〈표 Ⅳ-1-4〉 2014년 표집 채점본부 운영 일정 100
〈표 Ⅳ-1-5〉 채점위원 대상 설문조사 참여 인원 103
〈표 Ⅳ-1-6〉 표집 채점위원의 성별 분포 103
〈표 Ⅳ-1-7〉 표집 채점위원의 연령별 분포 104
〈표 Ⅳ-1-8〉 설문 내용 104
〈표 Ⅳ-1-9〉 채점 기준의 명료성 106
〈표 Ⅳ-1-10〉 연습 채점의 효율성 106
〈표 Ⅳ-1-11〉 온라인 시스템 화면 구성에 대한 만족도 107
〈표 Ⅳ-1-12〉 온라인 시스템 상에서의 의사소통에 대한 만족도 107
〈표 Ⅳ-1-13〉 온라인 시스템에 대한 만족도 108
〈표 Ⅳ-1-14〉 채점 업무량에 대한 만족도 109
〈표 Ⅳ-1-15〉 온라인 채점 연수와 표집 채점 관련 기타 문제점에 대한 자유 반응 응답 110
〈표 Ⅳ-2-1〉 채점 대상 115
〈표 Ⅳ-2-2〉 채점 일정 115
〈표 Ⅳ-2-3〉 채점 결과 확정 과정(김동영 외, 2013, p. 171) 116
〈표 Ⅳ-2-4〉 표집 채점 자료를 이용하여 조정된 문항별 채점자 수(중학교) 117
〈표 Ⅳ-2-5〉 표집 채점 자료를 이용하여 조정된 문항별 채점자 수(고등학교) 118
〈표 Ⅳ-2-6〉 중학교 교과별 채점자 및 채점관리자 수 119
〈표 Ⅳ-2-7〉 고등학교 교과별 채점자 및 채점관리자 수 119
〈표 Ⅳ-2-8〉 중학교 채점 시기별 문항별 답안지 수 121
〈표 Ⅳ-2-9〉 고등학교 채점 시기별 문항별 답안지 수 122
〈표 Ⅳ-2-10〉 중학교 문항별 채점 시기별 평균 시간 125
〈표 Ⅳ-2-11〉 고등학교 문항별 채점 시기별 평균 시간 126
〈표 Ⅳ-2-12〉 전수 채점위원 대상 설문 문항 개관 127
〈표 Ⅳ-2-13〉 채점위원 대상 설문조사 참여 인원 128
〈표 Ⅳ-2-14〉 전수 채점위원의 성별 분포 128
〈표 Ⅳ-2-15〉 전수 채점위원의 연령별 분포 128
〈표 Ⅳ-2-16〉 온라인 채점 연수에 대한 만족도 129
〈표 Ⅳ-2-17〉 화면 구성에 대한 만족도 129
〈표 Ⅳ-2-18〉 의사소통에 대한 만족도 130
〈표 Ⅳ-2-19〉 온라인 채점 시스템에 대한 만족도 131
〈표 Ⅳ-2-20〉 채점 업무량에 대한 만족도 131
〈표 Ⅳ-2-21〉 온라인 채점 연수 관련 문제점 134
〈표 Ⅳ-2-22〉 화면 구성 관련 문제점 135
〈표 Ⅳ-2-23〉 의사소통 관련 문제점 136
〈표 Ⅳ-2-24〉 온라인 채점 시스템 관련 문제점 138
〈표 Ⅴ-1-1〉 2010~2013년 교과별 성취도 점수 평균 변화 추이 146
〈표 Ⅴ-1-2〉 2010~2013년 교과별 성취수준별 학생 비율 변화 추이 147
〈표 Ⅴ-1-3〉 2013년 학업성취도 평가에서 나타난 교과별 학업성취 특성의 시사점 148
〈표 Ⅴ-1-4〉 학업성취도 평가 관련 향후 개선 사항 151
〈표 Ⅴ-2-1〉 교육지원기관 관련 저작권법 내용 154
〈표 Ⅴ-2-2〉 현행 시행 체제 및 표집 확대 시행 체제(안) 비교 157
〈표 Ⅴ-2-3〉 재외 한국학교의 학업성취도 평가 참여 현황 159
〈표 Ⅴ-2-4〉 학업성취도 평가 결과를 활용할 수 있는 연구 주제 예시 163
[그림 Ⅰ-1-1] 연구의 필요성 및 목적 19
[그림 Ⅱ-4-1] 성취도 점수별 답지 반응률 분포 곡선 45
[그림 Ⅲ-2-1] 학교별 교육과정 이수 현황 조사 및 표집 학교 확정 58
[그림 Ⅲ-2-2] 중학교 과학과의 수정 전(위)과 수정 후(아래) 문항 조회 화면 61
[그림 Ⅲ-2-3] 고등학교 수학과의 수정 전(위)과 수정 후(아래) 성취기준 조회 화면 62
[그림 Ⅲ-2-4] SSL을 사용하지 않은 경우와 적용한 경우의 웹 보안 차이 65
[그림 Ⅲ-2-5] SEED 암호화를 적용한 개인정보 암호화 예시 66
[그림 Ⅲ-2-6] 출제 인력풀 DB 첫 화면의 개선 전(위)과 개선 후(아래) 69
[그림 Ⅲ-2-7] 출제 인력풀 DB 정보 입력 화면의 개선 전(위)과 후(아래) 70
[그림 Ⅲ-3-1] 검사지 특성 분석 절차 78
[그림 Ⅳ-1-1] 채점 연수 절차 101
[그림 Ⅳ-3-1] 2014년 학업성취도 평가결과표 양식(중학교 3학년 영어) 140
[그림 Ⅴ-1-1] 2014년 학업성취도 평가 도구 개발 과정 149
[그림 Ⅴ-1-2] 2014년 학업성취도 평가의 표집 채점 체제 개선 내용 및 효과 150
[그림 Ⅴ-2-1] 학업성취도 평가 문항 DB 공개 계획(안) 154
[그림 Ⅴ-2-2] 현행 학업성취도 평가 시기 및 평가 범위(중학교 3학년) 156
[그림 Ⅴ-2-3] 정책 제언의 배경 및 필요성 156
[그림 Ⅴ-2-4] 교과별 분산 표집에 따른 한 학교의 평가 교과 수를 2개로 축소하는 경우 157
[그림 Ⅴ-2-5] 표집 평가 확대 시행 부분에 대한 연도별 계획(안) 158
[그림 Ⅴ-2-6] 학업성취도 평가 연구 체제 구축의 배경 및 필요성 162
[그림 부록 4-1] 2014년 중학교 3학년 학업성취도 평가결과표(국어) 194
[그림 부록 4-2] 2014년 중학교 3학년 학업성취도 평가결과표(사회) 194
[그림 부록 4-3] 2014년 중학교 3학년 학업성취도 평가결과표(수학) 195
[그림 부록 4-4] 2014년 중학교 3학년 학업성취도 평가결과표(과학) 195
[그림 부록 4-5] 2014년 중학교 3학년 학업성취도 평가결과표(영어) 196
[그림 부록 4-6] 2014년 고등학교 2학년 학업성취도 평가결과표(국어) 196
[그림 부록 4-7] 2014년 고등학교 2학년 학업성취도 평가결과표(수학) 197
[그림 부록 4-8] 2014년 고등학교 2학년 학업성취도 평가결과표(영어) 197
[그림 부록 5-1] 캘리포니아주 교육부의 교육과정 개발 절차 199
[그림 부록 5-2] 2014년 캘리포니아주 학업성취도평가 결과 제공 홈페이지 201
[그림 부록 5-3] Smarter Balanced 평가 체제 202
[그림 부록 5-4] 2013년 캘리포니아주의 NAEP 결과 보고 예시 : 8학년 읽기 208
[그림 부록 5-5] 개별 학생에게 제공하는 평가결과 라벨 예시 209
[그림 부록 5-6] 요약 평가결과표(Summary Reports) 예시 209
[그림 부록 5-7] 학교에 제공하는 전체 학생의 평가 결과표 예시 210
[그림 부록 5-8] 학생, 학부모, 교사에게 제공하는 개별 학생의 평가 결과표 예시(앞면) 211
[그림 부록 5-9] 학생, 학부모, 교사에게 제공하는 개별 학생의 평가 결과표 예시(뒷면) 212