표제지
목차
연구요약 5
Ⅰ. 서론 14
1. 연구의 필요성 및 목적 15
가. PISA 연구 배경 15
나. 2015년 PISA팀 연구 과제의 내용 및 목적 16
다. 본 연구의 필요성 및 목적 17
2. PISA 2015 연구 일정 19
3. PISA 2015 연구 내용 22
가. 평가도구 준비 22
나. 표집 22
다. 연수 및 시행 23
라. 채점 23
마. 자료 입력 및 송부 23
4. PISA 2015 연구 방법 24
가. 문헌 연구 24
나. PISA 2015 본검사(성취도 검사): 조사 연구 24
다. PISA 2015 본검사(설문 조사): 조사 연구 24
라. 본검사 시행을 위한 연수 25
마. 전문가 협의회 25
바. 국제본부 및 국내외 유관기관과의 교류 및 협력 26
Ⅱ. 평가도구 준비 27
1. 평가도구 설계 28
2. 평가도구 구성 32
가. 검사도구 33
나. 설문 조사 도구 57
다. 시행 지침서 66
3. 평가도구 검증 67
4. SDS 점검 및 제작 68
Ⅲ. 표집 및 시행 70
1. 본검사 표집 71
가. 표집 설계 71
나. 학교 표집 72
다. 학생 및 교사 표집 74
2. 학교 컴퓨터 점검 76
3. 연수 및 질 관리 77
가. 본검사 표집학교 시행 협조 요청 77
나. 학교 책임자 및 감독 교사 연수 실시 77
다. 검사 시행 질 관리 79
4. 평가도구 제작, 인쇄, 포장, 발송 82
5. 본검사 실시 82
6. 국제본부 송부용 시행 검토서 작성 86
Ⅳ. 채점 및 자료 송부 89
1. 채점 설계 90
가. 영역별 채점 설계 90
나. 채점 조직 91
2. 채점 일정 및 절차 92
가. 채점 일정 92
나. 채점 모니터링 및 국제본부 송부 93
3. 채점 과정 평가 95
4. 자료 입력 및 확인 98
가. 자료 입력 및 검토 일정 98
나. KeyQuest 자료 입력 및 확인 99
다. DME 자료 입력 및 확인 100
5. 자료 송부 및 검증 102
Ⅴ. 결론 및 정책 제언 105
1. 요약 및 결론 106
가. 평가도구 준비 106
나. 표집 및 시행 107
다. 채점 및 자료 송부 108
2. 정책 제언 110
정책 제언 1. 워크숍 형태의 학교 책임자 및 감독 교사 연수 프로그램 구안 110
정책 제언 2. 노후 컴퓨터 교체 및 컴퓨터 교실 리모델링을 통한 컴퓨터 교육 환경 선진화 111
정책 제언 3. PISA 참여국의 원활한 시행을 위한 시행 지침 간소화 및 시행 시스템 고도화 112
참고문헌 114
ABSTRACT 116
[부록 1] 검사 일정 120
[부록 2] 대상 학생 명단 122
[부록 3] 과학 교사 명단 123
[부록 4] 과학 외 교과 교사 명단 124
[부록 5] CBA 컴퓨터 진단 결과표 125
[부록 6] 학생 명세서 126
[부록 7] 과학 교사 명세서 127
[부록 8] 과학 외 교과 교사 명세서 128
[부록 9] CBA 검사 응시자 명단 129
[부록 10] 학생 로그인 서식 130
[부록 11] 교사 로그인 서식 131
[부록 12] 검사 실시 보고서 132
[부록 13] 평가도구 상자 수령 서식 136
[부록 14] 평가도구 자료 송부 서식 137
[부록 15] 학생 설문 138
판권기 2
〈표 Ⅰ-1〉 PISA 2015 관련 국제회의 일정 19
〈표 Ⅰ-2〉 PISA 주기별 시행 및 연구 활동의 시기 20
〈표 Ⅰ-3〉 국내 PISA 연구팀의 2015년 월별 본검사 시행 업무 및 연구 활동 21
〈표 Ⅱ-1〉 PISA 2015 본검사 영역별 문항군 구성 28
〈표 Ⅱ-2〉 PISA 2015 본검사 설계 29
〈표 Ⅱ-3〉 PISA 2015 본검사 문항군 설계(CC) 29
〈표 Ⅱ-4〉 PISA 2015 본검사 과학 문항군 조합 번호(N) 31
〈표 Ⅱ-5〉 PISA 2015 본검사 검사형별 과학 문항군 조합 할당(S) 31
〈표 Ⅱ-6〉 검사도구 구성 예시 32
〈표 Ⅱ-7〉 PISA 2015 본검사 영역별 문항군 구성 33
〈표 Ⅱ-8〉 PISA 2015 본검사 과학 검사도구 문항군 구성 34
〈표 Ⅱ-9〉 PISA 2015 본검사 과학 추이 문항 정보 35
〈표 Ⅱ-10〉 PISA 2015 본검사 과학 새 문항 정보 38
〈표 Ⅱ-11〉 '맥락'에 따른 PISA 2015 본검사 과학 영역 문항 분포 42
〈표 Ⅱ-12〉 '역량'에 따른 PISA 2015 본검사 과학 영역 문항 분포 43
〈표 Ⅱ-13〉 '지식'에 따른 PISA 2015 본검사 과학 영역 문항 분포 43
〈표 Ⅱ-14〉 PISA 2015 본검사 과학 영역의 문항 유형 분포 44
〈표 Ⅱ-15〉 PISA 2015 본검사 읽기 검사도구 문항군 구성 44
〈표 Ⅱ-16〉 PISA 2015 본검사 읽기 영역 문항 정보 45
〈표 Ⅱ-17〉 '상황'에 따른 PISA 2015 본검사 읽기 영역 문항 분포 48
〈표 Ⅱ-18〉 '텍스트 체재'에 따른 PISA 2015 본검사 읽기 영역 문항 분포 48
〈표 Ⅱ-19〉 '양상'에 따른 PISA 2015 본검사 읽기 영역 문항 분포 49
〈표 Ⅱ-20〉 PISA 2015 본검사 읽기 영역의 문항 유형 분포 49
〈표 Ⅱ-21〉 PISA 2015 본검사 수학 평가도구 문항군 구성 50
〈표 Ⅱ-22〉 PISA 2015 본검사 수학 영역 문항 정보 50
〈표 Ⅱ-23〉 '맥락'에 따른 PISA 2015 본검사 수학 영역 문항 분포 53
〈표 Ⅱ-24〉 '수학적 내용'에 따른 PISA 2015 본검사 수학 영역 문항 분포 53
〈표 Ⅱ-25〉 '수학적 과정'에 따른 PISA 2015 본검사 수학 영역 문항 분포 54
〈표 Ⅱ-26〉 PISA 2015 본검사 수학 영역의 문항 유형 분포 54
〈표 Ⅱ-27〉 PISA 2015 본검사 협력적 문제해결력 평가도구 문항군 구성 55
〈표 Ⅱ-28〉 PISA 2015 본검사 협력적 문제해결력 영역 문항 정보 55
〈표 Ⅱ-29〉 'CPS 역량'에 따른 PISA 2015 본검사 협력적 문제해결력 영역 문항 분포 56
〈표 Ⅱ-30〉 '문제해결과정'에 따른 PISA 2015 본검사 협력적 문제해결력 영역 문항 분포 57
〈표 Ⅱ-31〉 PISA 2015 본검사 설문 조사 도구 종류 및 특징 57
〈표 Ⅱ-32〉 PISA 2015 본검사 학생 배경 설문의 내용 58
〈표 Ⅱ-33〉 PISA 2015 본검사 교육경험 설문의 내용 60
〈표 Ⅱ-34〉 PISA 2015 본검사 ICT 설문의 내용 61
〈표 Ⅱ-35〉 PISA 2015 본검사 학교 설문의 내용 62
〈표 Ⅱ-36〉 PISA 2015 본검사 과학 교사 설문의 내용 63
〈표 Ⅱ-37〉 PISA 2015 본검사 과학 외 교과 교사 설문의 내용 64
〈표 Ⅱ-38〉 PISA 2015 본검사 학부모 설문지의 내용 65
〈표 Ⅱ-39〉 PISA 2015 본검사 시행 지침서 구성 66
〈표 Ⅲ-1〉 PISA 2015 본검사 표집 설계 71
〈표 Ⅲ-2〉 PISA 2015 본검사 표집틀 및 층화변인별 표집학교 수 73
〈표 Ⅲ-3〉 PISA 2015 본검사 표집학생 및 교사 수 74
〈표 Ⅲ-4〉 데이터 클리닝을 위한 자료 목록 및 정보 75
〈표 Ⅲ-5〉 PISA 2015 본검사 시행을 위한 표집학교 협조 사항과 제출 내용 77
〈표 Ⅲ-6〉 학교 책임자 및 감독 교사 연수 일정과 내용 78
〈표 Ⅲ-7〉 감독 교사의 주요 업무 및 활동 내용 79
〈표 Ⅲ-8〉 국내 질 관리자의 일정과 주요 업무 80
〈표 Ⅲ-9〉 국내 질 관리 참관 보고서 상황 보고 결과 80
〈표 Ⅲ-10〉 감독 교사의 검사 실시 보고서 결과 81
〈표 Ⅲ-11〉 평가도구 포함 자료(고등학교 기준) 82
〈표 Ⅲ-12〉 PISA 2015 본검사 참여 학교, 학생, 교사 및 학부모 수 83
〈표 Ⅲ-13〉 PISA 2015 본검사 시행 소요 시간 84
〈표 Ⅲ-14〉 PISA 2015 본검사 시행 검토서의 구성 86
〈표 Ⅳ-1〉 과학 채점 설계 90
〈표 Ⅳ-2〉 읽기 채점 설계 91
〈표 Ⅳ-3〉 수학 채점 설계 91
〈표 Ⅳ-4〉 채점 본부 조직 인원 92
〈표 Ⅳ-5〉 PISA 2015 본검사 영역별 채점 일정 93
〈표 Ⅳ-6〉 PISA 2015 본검사 자료 정리, 입력, 검토 일정 98
〈표 Ⅳ-7〉 KeyQuest 입력 자료 목록 100
〈표 Ⅳ-8〉 DME 입력 자료 목록 101
〈표 Ⅳ-9〉 타당성 보고서에 보고된 문제 사항과 수정된 사항 103
[그림 Ⅰ-1] 2015년 주요 연구 내용 및 목적 17
[그림 Ⅰ-2] PISA주기별 평가 영역과 평가 방식 18
[그림 Ⅱ-1] PISA 2015 평가도구 검증 절차 67
[그림 Ⅲ-1] PISA 2015 본검사 결시율 계산 방법 84
[그림 Ⅳ-1] 채점 코드를 누락한 문항(OECD, 2015a, p.9) 93
[그림 Ⅳ-2] 채점자 간 일치도에 문제가 있는 경우(OECD, 2015a, p.8) 94
[그림 Ⅳ-3] 채점 코드별 비율 차이가 있는 문항(OECD, 2015a, p.9) 94
[그림 Ⅳ-4] OECS와 DME 작업 흐름도 95
[그림 Ⅴ-1] 컴퓨터 기반 평가 시행을 위한 감독 교사 연수 자료 112