표제지
목차
연구요약 5
Ⅰ. 서론 16
1. 연구의 필요성 및 목적 17
2. PISA 2015 개관 20
3. 연구 내용 24
가. PISA 2015 예비검사 준비 24
나. PISA 2015 예비검사 시행 25
다. PISA 2015 본검사 문항 선제 및 시행 준비 25
4. 연구 방법 26
가. 문헌연구 26
나. 통계분석 26
다. 전문가 협의회 26
라. 국제본부 및 국내외 유관기관과의 협력 26
Ⅱ. PISA 2015 예비검사 시행 27
1. 평가 설계 및 표집 28
가. 예비검사 설계 28
나. 표집 설계 29
다. 표집학교의 확정 31
라. 학생 및 교사 표집 33
2. 평가도구 번역 및 제작 37
가. 평가도구 번역 및 확정 39
나. 평가도구 제작 44
3. 예비검사 시행 및 질 관리 47
가. 컴퓨터 기반 평가 시행을 위한 사전 점검 47
나. 학교 책임자ㆍ감독교사 연수 48
다. 평가도구 상자의 제작과 발송 51
라. 지필평가와 컴퓨터 기반 평가 시행 53
마. 검사 시행 질 관리 58
Ⅲ. PISA 2015 예비검사 채점 및 자료 입력 61
1. 예비검사 채점 62
가. 채점 조직 62
나. 지필평가 채점 63
다. 컴퓨터 기반 평가 채점 70
2. 예비검사 자료 입력 75
가. 자료 입력 및 송부 일정 75
나. KeyQuest 자료 입력 77
다. DME 자료 입력 및 확인 78
3. 예비검사 시행검토서 송부 83
Ⅳ. 예비검사 결과 분석 및 본검사 준비 86
1. 예비검사 문항 분석 결과 87
가. 새 문항의 양호도 분석 87
나. 추이문항의 양호도 분석 98
2. 평가방식의 효과 검증 110
가. 과학 영역 111
나. 읽기 영역 113
다. 수학 영역 114
3. 본검사 문항 선제 및 준비 116
가. 과학 116
나. 읽기 129
다. 수학 134
라. 협력적 문제해결력 138
Ⅴ. 정책 제언 141
1. PISA 2015 본검사의 원활한 시행을 위한 제언 142
가. 개인정보보호법 강화에 따른 초ㆍ중등교육법 개정 142
나. 컴퓨터 기반의 평가의 안정적 시행을 위한 환경 구축 143
다. 유관 기관과의 협조 체제 구축 및 채점 전문 인력의 확보 145
2. 예비검사 결과에 따른 제언 147
가. 21세기 역량 신장을 위한 교육 개선 147
나. 컴퓨터 기반의 역량 평가 도입 및 활성화 149
참고문헌 152
Abstract 154
[부록 1] 지필평가 및 컴퓨터 기반 평가 검사 일정 서식 159
[부록 2] 대상 학생 명단 161
[부록 3] 과학교사 명단 162
[부록 4] 과학 외 교과 교사 명단 163
[부록 5] CBA 컴퓨터 진단 결과표 164
[부록 6] 학생 명세서 165
[부록 7] 과학교사 명세서 166
[부록 8] 과학 외 교과 교사 명세서 167
[부록 9] 지필평가 검사 응시자 명단 168
[부록 10] CBA용 검사 응시자 명단 169
[부록 11] 학생 로그인 서식 170
[부록 12] 교사 로그인 서식 171
[부록 13] 지필평가용 검사 실시 보고서 172
[부록 14] CBA용 검사 실시 보고서 174
[부록 15] 평가도구 상자 수령 서식 177
[부록 16] 평가도구 자료 송부 서식 178
[부록 17] TAS(TEST Adaptation Spreadsheet) 179
[부록 18] PBA 검토용 TAS(TEST Adaptation Spreadsheet) 180
[부록 19] CBA FLC(Format and Layout Check) 181
[부록 20] QAS(Questionnaire Adaptation Spreadsheet) 182
판권기 2
〈표 Ⅰ-1-1〉 PISA 2015의 연차별 연구 내용 19
〈표 Ⅰ-2-1〉 PISA 2006∼PISA 2015의 컴퓨터 기반 평가 영역 21
〈표 Ⅰ-2-2〉 PISA 2015 예비검사 평가 영역과 평가 방식 22
〈표 Ⅰ-2-3〉 PISA 2015 참여국 현황 23
〈표 Ⅱ-1-1〉 PISA 2015 예비검사의 2단계 표집 설계 30
〈표 Ⅱ-1-2〉 PISA 2015 예비검사 평가방식별 표집학교 수와 학교당 표집 학생 수 31
〈표 Ⅱ-1-3〉 PISA 2015 예비검사 표집틀 및 층화변인별 표집학교 수 32
〈표 Ⅱ-1-4〉 학생 명단(LST) 데이터 클리닝을 위하여 활용 가능한 자료들 34
〈표 Ⅱ-1-5〉 PISA 2015 예비검사의 학생과 교사 표집 수 35
〈표 Ⅱ-1-6〉 KeyQuest 프로그램에서 생성되는 표집 산출물 36
〈표 Ⅱ-1-7〉 표집학교군별 검사형 할당 37
〈표 Ⅱ-2-1〉 PISA 2015 예비검사 평가도구 및 지침서 38
〈표 Ⅱ-2-2〉 PISA 2015 예비검사 평가도구 인쇄 내역 46
〈표 Ⅱ-3-1〉 PISA 2015 예비검사 시행을 위한 표집학교 협조 사항과 제출 내용 48
〈표 Ⅱ-3-2〉 학교 책임자 및 감독교사 연수 일정과 내용 49
〈표 Ⅱ-3-3〉 학교 책임자의 주요 활동 50
〈표 Ⅱ-3-4〉 감독교사의 주요 활동 51
〈표 Ⅱ-3-5〉 PISA 2015 예비검사 평가도구 수령 서식 52
〈표 Ⅱ-3-6〉 PISA 2015 예비검사 컴퓨터 기반 평가ㆍ지필평가 응시 및 설문 응답 현황 54
〈표 Ⅱ-3-7〉 PISA 2015 예비검사 CBA 소요 시간 55
〈표 Ⅱ-3-8〉 PISA 2015 예비검사 지필평가의 소요 시간 및 시간표 56
〈표 Ⅱ-3-9〉 검사 시행 당일 질 관리자의 일정과 주요 업무 58
〈표 Ⅱ-3-10〉 질 관리 참관 보고서 상황 보고 결과 59
〈표 Ⅱ-3-11〉 감독교사의 검사 실시 보고서 결과 60
〈표 Ⅲ-1-1〉 PISA 2015 예비검사 채점 설계 62
〈표 Ⅲ-1-2〉 채점 본부 조직 인원 63
〈표 Ⅲ-1-3〉 검사지별 문항군 구성 및 표집 학생 수 64
〈표 Ⅲ-1-4〉 지필평가 채점 문항 수 64
〈표 Ⅲ-1-5〉 과학 지필평가 채점 설계 65
〈표 Ⅲ-1-6〉 읽기 지필평가 채점 설계 66
〈표 Ⅲ-1-7〉 수학 지필평가 채점 설계 66
〈표 Ⅲ-1-8〉 지필평가 채점일자별 채점 영역 67
〈표 Ⅲ-1-9〉 수학 지필평가 채점 분량 67
〈표 Ⅲ-1-10〉 읽기 지필평가 채점 분량 68
〈표 Ⅲ-1-11〉 과학 지필평가 채점 분량 69
〈표 Ⅲ-1-12〉 컴퓨터 기반 평가 검사형 구성 및 표집 학생 수 71
〈표 Ⅲ-1-13〉 컴퓨터 기반 평가 채점 문항 수 72
〈표 Ⅲ-1-14〉 컴퓨터 기반 평가 채점일자별 채점 영역 73
〈표 Ⅲ-1-15〉 과학 영역의 컴퓨터 기반 평가 채점 분량 73
〈표 Ⅲ-1-16〉 읽기 영역의 컴퓨터 기반 평가 채점 분량 74
〈표 Ⅲ-1-17〉 수학 영역의 컴퓨터 기반 평가 채점 분량 74
〈표 Ⅲ-2-1〉 PISA 2015 예비검사 자료 정리, 입력 및 검토 일정 76
〈표 Ⅲ-2-2〉 KeyQuest 입력 자료 목록 77
〈표 Ⅲ-2-3〉 DME 입력 자료 목록 79
〈표 Ⅲ-2-4〉 PISA 2015 예비검사 검사 자료 입력 수 80
〈표 Ⅲ-2-5〉 PISA 2015 예비검사 시행 결과 82
〈표 Ⅲ-3-1〉 PISA 2015 예비검사 시행검토서(Field Trial Review)의 구성 83
〈표 Ⅳ-1-1〉 예비검사 결과 분석의 특이 문항 기준 88
〈표 Ⅳ-1-2〉 PISA 2015 예비검사 과학 새 문항의 특이 반응 문항 빈도와 비율 88
〈표 Ⅳ-1-3〉 PISA 2015 예비검사 과학 새 문항의 특이 반응 문항 89
〈표 Ⅳ-1-4〉 고전검사이론에 따른 특이반응을 보인 과학 새 문항의 문항 상세 정보 91
〈표 Ⅳ-1-5〉 문항반응이론에 따른 특이반응을 보인 과학 새 문항의 문항 상세 정보 93
〈표 Ⅳ-1-6〉 우리나라 학생들에게 상대적으로 어려운 과학 문항 상세 정보 94
〈표 Ⅳ-1-7〉 우리나라 학생들에게 상대적으로 쉬운 과학 문항 상세 정보 96
〈표 Ⅳ-1-8〉 PISA 2015 예비검사 협력적 문제해결력 문항의 특이 반응 문항 빈도와 비율 96
〈표 Ⅳ-1-9〉 PISA 2015 예비검사 협력적 문제해결력 평가의 특이 반응 문항 97
〈표 Ⅳ-1-10〉 PISA 2015 예비검사 과학-추이문항의 특이 반응 문항 빈도와 비율 99
〈표 Ⅳ-1-11〉 PISA 2015 예비검사 과학 추이문항의 특이 반응 문항 100
〈표 Ⅳ-1-12〉 PISA 2015 과학 추이문항의 고전검사이론에 따른 우리나라의 특이 반응 문항 상세 정보 101
〈표 Ⅳ-1-13〉 PISA 2015 과학 추이문항의 문항반응이론에 따른 우리나라의 특이 반응 문항 상세 정보 102
〈표 Ⅳ-1-14〉 PISA 2015 예비검사 읽기 영역의 특이 반응 문항 빈도와 비율 103
〈표 Ⅳ-1-15〉 PISA 2015 예비검사 읽기 영역의 특이 반응 문항 103
〈표 Ⅳ-1-16〉 PISA 2015 읽기 추이문항의 고전검사이론에 따른 우리나라의 특이 반응 문항 상세 정보 104
〈표 Ⅳ-1-17〉 PISA 2015 읽기 추이문항의 문항반응이론에 따른 우리나라의 특이 반응 문항 상세 정보 106
〈표 Ⅳ-1-18〉 PISA 2015 예비검사 수학 영역의 특이 반응 문항 빈도와 비율 107
〈표 Ⅳ-1-19〉 PISA 2015 예비검사 수학 영역의 특이 반응 문항 108
〈표 Ⅳ-1-20〉 PISA 2015 수학 추이문항의 고전검사이론에 따른 우리나라의 특이 반응 문항 상세 정보 109
〈표 Ⅳ-1-21〉 PISA 2015 수학 추이문항의 문항반응이론에 따른 우리나라의 특이 반응 문항 상세 정보 110
〈표 Ⅳ-2-1〉 PISA 2015 예비검사 추이문항의 평가방식별 정답률과 상관계수 111
〈표 Ⅳ-2-2〉 PISA 2015 평가방식에 따라 차이를 보인 과학 추이문항 목록 112
〈표 Ⅳ-2-3〉 PISA 2015 평가방식에 따라 차이를 보인 읽기 추이문항 목록 113
〈표 Ⅳ-2-4〉 PISA 2015 평가방식에 따라 차이를 보인 수학 추이문항 목록 114
〈표 Ⅳ-3-1〉 PISA 2015 과학 새 문항 문항군 및 문항의 수 117
〈표 Ⅳ-3-2〉 PISA 2015 본검사 선제 과학 영역 새 문항 정보 118
〈표 Ⅳ-3-3〉 PISA 2015 본검사 선제 과학 영역 추이문항 정보 124
〈표 Ⅳ-3-4〉 PISA 2015 본검사 역량에 따른 과학 선제 문항 분포 127
〈표 Ⅳ-3-5〉 PISA 2015 본검사 과학적 지식의 유형에 따른 과학 선제 문항 분포 127
〈표 Ⅳ-3-6〉 PISA 2015 본검사 지식의 깊이에 따른 과학 선제 문항 분포 128
〈표 Ⅳ-3-7〉 PISA 2015 본검사 맥락에 따른 과학 선제 문항 분포 128
〈표 Ⅳ-3-8〉 PISA 2015 본검사 문항의 유형에 따른 과학 선제 문항 분포 129
〈표 Ⅳ-3-9〉 PISA 2015 본검사 선제 읽기 영역 문항 정보 129
〈표 Ⅳ-3-10〉 PISA 2015 본검사 상황에 따른 읽기 영역 문항 분포 133
〈표 Ⅳ-3-11〉 PISA 2015 본검사 텍스트 체재에 따른 읽기 영역 문항 분포 133
〈표 Ⅳ-3-12〉 PISA 2015 본검사 양상에 따른 읽기 영역 문항 분포 133
〈표 Ⅳ-3-13〉 PISA 2015 본검사 문항 유형에 따른 읽기 영역 문항 분포 134
〈표 Ⅳ-3-14〉 PISA 2015 본검사 선제 수학 영역 문항 정보 134
〈표 Ⅳ-3-15〉 PISA 2015 본검사 맥락에 따른 수학 영역 문항 분포 137
〈표 Ⅳ-3-16〉 PISA 2015 본검사 수학적 내용에 따른 수학 영역 문항 분포 137
〈표 Ⅳ-3-17〉 PISA 2015 본검사 수학적 과정에 따른 수학 영역 문항 분포 138
〈표 Ⅳ-3-18〉 PISA 2015 본검사 문항 유형에 따른 수학 영역 문항 분포 138
〈표 Ⅳ-3-19〉 PISA 2015 본검사 선제 협력적 문제해결력 평가 문항 정보 139
〈표 Ⅳ-3-20〉 PISA 2015 본검사 CPS 역량에 따른 협력적 문제해결력 평가 문항 분포 140
〈표 Ⅳ-3-21〉 PISA 2015 본검사 문제해결과정에 따른 협력적 문제해결력 평가 문항 분포 140
〈표 Ⅴ-1-1〉 PISA 2015 본검사 시행을 위한 연수 프로그램(안) 146
[그림 Ⅰ-2-1] PISA 주기별 평가 영역과 평가 방식 20
[그림 Ⅱ-1-1] PISA 2015 예비검사 평가 설계 29
[그림 Ⅱ-1-2] PISA 2015 예비검사 참여 학교 확정을 위한 절차 33
[그림 Ⅱ-2-1] CBA 추이문항 번역 및 검증 절차 39
[그림 Ⅱ-2-2] CBA 새 문항 번역 및 검증 절차 41
[그림 Ⅱ-2-3] 설문 번역 및 검증 절차 42
[그림 Ⅱ-2-4] 학생용 CBA 시스템의 구동 화면 45
[그림 Ⅱ-2-5] 온라인 설문 시스템의 접속 화면 47
[그림 Ⅱ-3-1] 결시율 계산을 위한 순서도 57
[그림 Ⅲ-1-1] OECS와 DME 작업 흐름도 75
[그림 Ⅲ-2-1] DME 프로그램 - 코드북 수정 메뉴 화면 79
[그림 Ⅲ-2-2] DME 프로그램 - 자료 확인 및 검증 메뉴 화면 81
[그림 Ⅳ-2-1] PISA 2015 예비검사 평가방식별 과학 영역의 델타 플롯 분석 결과 112
[그림 Ⅳ-2-2] PISA 2015 예비검사 평가방식별 읽기 영역의 델타 플롯 분석 결과 114
[그림 Ⅳ-2-3] PISA 2015 예비검사 평가방식별 수학 영역의 델타 플롯 분석 결과 115