본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색
결과 내 검색 동의어 포함
결과 내 검색 동의어 포함

-

목차보기

표제지

목차

논문개요 9

I. 서론 12

A. 연구의 필요성 및 목적 12

B. 연구문제 16

C. 용어의 정의 17

1. 성취수준 17

2. 성취수준기술 및 성취수준별 최소능력특성 17

3. 준거설정(Standard Setting) 18

4. 분류 일관성(classification consistency) 18

II. 이론적 배경 19

A. 성취평가제 19

1. 성취평가제의 도입 배경 및 의미 19

2. 성취기준 및 성취수준 21

3. 성취평가제의 시범학교 운영 24

B. 준거참조평가 및 준거설정 25

1. 준거참조평가(Criterion-referenced Evaluation) 25

2. 준거설정(Standard Setting) 25

C. 준거설정방법 29

1. 피험자 중심 방법 30

2. 검사중심 방법 32

D. 선행연구 42

III. 연구방법 46

A. 연구대상 46

1. 검사대상 46

2. 준거설정자 47

B. 검사도구 47

1. 수학 검사지 47

2. 순서화된 문항집(Ordered Item Booklet) 50

C. 연구절차 52

1. 성취수준기술 및 최소능력특성 합의 54

2. 수학 검사지의 문항분석 및 일차원성 검증 57

3. 준거설정자 훈련 63

4. 준거설정 실시 63

D. 자료 분석 방법 69

1. 피험자의 성취수준 판정 69

2. 준거설정 과정에서의 자료 분석 70

3. 피험자 성취수준 판정에서의 분류 일관성 72

IV. 연구결과 74

A. 성취수준별 최종 분할점수 및 검사의 난이도에 따른 피험자의 비율 74

1. Ebel 방법, 수정된 Angoff 방법, Bookmark 방법에서의 성취수준별 최종 분할점수 74

2. 검사의 난이도에 따른 Ebel 방법, 수정된 Angoff 방법, Bookmark 방법에서의 피험자 비율 80

B. 동일한 성취수준으로 분류되는 피험자의 비율 84

1. Ebel 방법 84

2. 수정된 Angoff 방법 86

3. Bookmark 방법 87

C. 피험자 성취수준 판정에서의 분류 일관성 88

V. 결론 및 논의 92

A. 요약 및 결론 92

B. 논의 및 제언 97

참고문헌 100

부록 106

〈부록 1〉 '검사 가'와 '검사 나'의 문항별 성취기준 및 내용영역 107

〈부록 2〉 '검사 가'의 수학 검사지 108

〈부록 3〉 '검사 나'의 수학 검사지 110

〈부록 4〉 '검사 가'의 순서화된 문항집 112

〈부록 5〉 '검사 나'의 순서화된 문항집 124

〈부록 6〉 국가수준 학업성취도 평가에서 사용하는 각 행동영역의 정의 137

〈부록 7〉 Ebel 방법에서 사용한 응답시트 138

〈부록 8〉 수정된 Angoff 방법에서 사용한 응답시트 139

〈부록 9〉 Bookmark 방법에서 사용한 응답시트 140

ABSTRACT 141

표목차

〈표 II-1〉 학기 단위 성취수준의 일반적 특성 23

〈표 II-2〉 피드백 자료 형태의 예 29

〈표 II-3〉 Ebel 방법에서 활용하는 표의 예 36

〈표 II-4〉 Ebel 방법, Angoff 방법, Bookmark 방법의 특징 비교 41

〈표 III-1〉 최종 분석대상 학교별 학생 수와 학급 수 46

〈표 III-2〉 '유리식과 무리식', '방정식', '부등식' 단원의 성취기준 및 평가기준 48

〈표 III-3〉 '검사 가'와 '검사 나'의 내용영역별 문항 수 50

〈표 III-4〉 연구절차 53

〈표 III-5〉 시범학교 수학교과 기준 성취율 54

〈표 III-6〉 성취수준기술 및 최소능력특성 55

〈표 III-7〉 원점수의 평균, 표준편차, 최솟값, 최댓값 58

〈표 III-8〉 '검사 가'와 '검사 나'의 문항난이도와 문항변별도 59

〈표 III-9〉 '검사 가'와 '검사 나'의 신뢰도 60

〈표 III-10〉 피험자 능력척도의 평균, 표준편차, 최솟값, 최댓값 60

〈표 III-11〉 '검사 가'와 '검사 나'의 문항난이도와 문항변별도 61

〈표 III-12〉 '검사 가'와 '검사 나'의 요인분석 결과 63

〈표 III-13〉 12개의 범주에 들어가는 문항번호와 문항 수 65

〈표 III-14〉 피험자의 성취수준 판정 69

〈표 III-15〉 '검사 가'와 '검사 나'의 피험자의 성취수준 분류결과 73

〈표 IV-1〉 Ebel 방법에서의 성취수준별 분할점수 75

〈표 IV-2〉 수정된 Angoff 방법에서의 성취수준별 분할점수 77

〈표 IV-3〉 Bookmark 방법에서의 성취수준별 분할점수 78

〈표 IV-4〉 검사의 난이도에 따른 성취수준별 피험자의 비율 81

〈표 IV-5〉 Ebel 방법에 따른 피험자의 성취수준 분류표 85

〈표 IV-6〉 Ebel 방법에 따른 성취수준 판정의 일치도 통계 85

〈표 IV-7〉 수정된 Angoff 방법에 따른 피험자의 성취수준 분류표 86

〈표 IV-8〉 수정된 Angoff 방법에 따른 성취수준 판정의 일치도 통계 87

〈표 IV-9〉 Bookmark 방법에 따른 피험자의 성취수준 분류표 87

〈표 IV-10〉 Bookmark 방법에 따른 성취수준 판정의 일치도 통계 88

〈표 IV-11〉 성취수준 판정의 일치도 통계 PA와 Kappa 계수 비교[이미지참조] 89

〈표 IV-12〉 Ebel 방법과 수정된 Angoff 방법에 따른 일치여부 분류표 90

〈표 IV-13〉 Ebel 방법과 Bookmark 방법에 따른 일치여부 분류표 90

〈표 IV-14〉 수정된 Angoff 방법과 Bookmark 방법에 따른 일치여부 분류표 91

그림목차

[그림 II-1] 학교생활기록부 성적 기재 방식 20

[그림 II-2] 대조집단 방법을 활용한 분할점수 설정 31

[그림 II-3] 경계선집단 방법을 활용한 분할점수 설정 32

[그림 II-4] 문항특성곡선과 문항 모수치 38

[그림 III-1] '검사 가'의 순서화된 문항집의 첫 번째 페이지 51

[그림 IV-1] Ebel 방법에서의 '검사 가'와 '검사 나'의... 76

[그림 IV-2] 수정된 Angoff 방법에서의 '검사 가'와 '검사 나'의... 78

[그림 IV-3] Bookmark 방법에서의 '검사 가'와 '검사 나'의... 80

[그림 IV-4] '검사 가'와 '검사 나'에 대한 Ebel방법에서의... 82

[그림 IV-5] '검사 가'와 '검사 나'에 대한... 83

[그림 IV-6] '검사 가'와 '검사 나'에 대한 Bookmark 방법에서의... 83

초록보기

성취평가제는 '학습자가 무엇을 어느 정도 성취하였는지'를 평가하는 제도로, 학습자의 성취수준을 교육과정에서 제시하고 있는 교과목별 성취기준에 따라 평가한다(한국교육과정평가원, 2013). 따라서 성취평가제 하에서 학습자의 성취수준을 평가하려면 피험자 집단의 특성과 검사도구의 난이도와 상관없이 안정적으로 피험자의 성취수준을 판정해야 한다.

2014학년도 고등학교 보통교과 성취평가제 도입을 대비하여 현장에 적합한 적용 방안을 마련하기 위해 2012학년도 2학기에 시범 적용된 준거설정방법은 Ebel(1972) 방법과 Angoff(1971) 방법을 변형한 방법이다(박선화 외, 2012). 그러나 Eble 방법과 Angoff 방법은 고전검사이론에 근거한 방법이기 때문에 검사도구의 특성에 따라 문항특성의 추정과 피험자의 능력 추정이 변할 수 있어 피험자의 성취수준을 잘못 판정할 위험성이 잠재되어 있다. 반면, Bookmark 방법은 문항반응이론에 근거하고 있다. 그런데 문항반응이론에서는 문항특성의 추정과 피험자의 능력 추정이 피험자 집단의 특성과 검사도구의 난이도에 영향을 받지 않는다는 장점이 있다(성태제, 2001).

본 연구에서는 동일한 성취기준을 평가하는 난이도가 다른 두 검사를 동일한 피험자에게 실시하여 Ebel 방법, 수정된 Angoff 방법, Bookmark 방법 중 어떤 방법이 피험자의 성취수준을 보다 안정성 있게 판정하는지 알아봄으로써 수학과 성취평가제에서 Bookmark 방법의 적용가능성을 탐색하였다. 이를 위해 다음과 같은 연구문제를 설정하였다.

연구문제 1. 성취수준별 최종 분할점수는 Ebel 방법, 수정된 Angoff 방법, Bookmark 방법에 따라 어떻게 설정되며, 이에 의해 분류된 성취수준별 피험자의 비율이 검사의 난이도에 따라 차이가 있는가?

연구문제 2. 동일한 성취수준으로 분류되는 피험자의 비율은 준거설정방법에 따라 차이가 있는가?

연구문제 3. 세 가지 준거설정방법(Ebel 방법, 수정된 Angoff 방법, Bookmark 방법) 중 어떤 방법이 피험자의 성취수준 판정에서의 분류 일관성이 높은가?

연구문제 1을 해결하기 위해 동일한 성취기준을 평가하는 난이도가 다른 두 검사를 동일한 피험자에게 실시하여 세 가지 준거설정방법에 따라 성취수준별 최종 분할점수를 설정하였다. 그 다음, 피험자의 성취수준을 A, B, C, D, E의 5개의 수준으로 분류하고, 분류된 성취수준별 피험자의 비율이 검사의 난이도에 따라 차이가 있는지를 비교하였다.

연구문제 2를 해결하기 위해 일치도 통계 PA와 Kappa 계수를 산출하여 난이도가 다른 두 검사에서 동일한 성취수준으로 분류되는 피험자의 비율이 준거설정방법에 따라 차이가 있는지를 비교하였다.

연구문제 3을 해결하기 위해 각 준거설정방법의 피험자 성취수준 판정에서의 분류 일관성을 비교한 후, 준거설정방법에 따른 피험자의 성취수준 판정의 일치여부 차이에 대해 통계적으로 검증하였다.

본 연구의 연구결과는 다음과 같다.

1의 결과, Bookmark 방법의 성취수준 B(기준 성취율 80% 이상 ~ 90% 미만)를 제외한 세 가지 준거설정방법의 나머지 모든 성취수준에서, 상대적으로 난이도가 높은 검사에 대한 성취수준별 최종 분할점수가 난이도가 낮은 검사에 비해 낮게 산출되었다. 또한 세 가지 준거설정방법 모두 성취수준별 피험자의 비율이 모든 성취수준에서 검사의 난이도에 따라 차이가 있는 것으로 나타났다.

2의 결과, 세 가지 준거설정방법 중 피험자의 성취수준 판정에서의 일치정도가 보통인 것은 Bookmark 방법뿐이었으며, Ebel 방법과 수정된 Angoff 방법은 그 일치정도가 낮았다.

3의 결과, Bookmark 방법의 분류 일관성이 높은 편은 아니었지만, Ebel 방법과 수정된 Angoff 방법에 비해 높았고, Bookmark 방법과 다른 두 방법 간에만 피험자의 성취수준 판정에서의 일치여부 차이에 대해 통계적으로 유의미한 차이가 있었다.

본 연구의 결과를 토대로 다음과 같은 결론 및 시사점을 얻을 수 있었다.

Ebel 방법, 수정된 Angoff 방법, Bookmark 방법 모두 각 성취수준에서의 피험자 비율이 모든 성취수준에서 검사의 난이도에 따라 차이가 있었다. 따라서 정기고사를 출제 시, 수학과 성취평가제의 목적에 맞게 학습자의 성취수준을 평가하려면 수학과 교육과정의 성취기준에 적합하면서도 난이도가 다양한 문항들이 필요하다.

세 가지 준거설정방법을 상대적으로 비교했을 때, 비록 Bookmark 방법의 분류 일관성이 높은 편은 아니었지만 다른 두 방법에 비해 높았고, Bookmark 방법과 다른 두 방법 간에만 피험자의 성취수준 판정의 일치여부 차이에 대해 통계적으로 유의미한 차이가 있었기 때문에 Bookmark 방법이 다른 두 방법에 비해 피험자의 성취수준을 잘못 판정할 위험을 줄일 수 있는 방법임을 알 수 있었다. 따라서 수학과 성취평가제에서 준거설정방법으로 Bookmark 방법을 적용하는 방안을 고려해 볼 필요가 있다.

마지막으로 본 연구결과의 수학과 성취평가제에서의 적용가능성 및 일반화 가능성을 높이기 위해서는 수학과 교육과정의 성취기준에 적합하면서도 다양한 난이도를 갖고 있는 문항을 포함한 혼합형 검사도구를 개발하여 각기 다른 성취수준을 갖고 있는 학생들을 대상으로 후속 연구를 수행할 필요가 있다. 또한 성취평가제가 수학교과에 도입되면 학생들의 성취기준 도달 수준에 대한 정보를 학생들에게 평가 결과로서 제공해야 하고, 그 결과를 바탕으로 교수·학습에서 피드백을 제공해야 한다. 이를 위해서는 체계적인 절차에 의한 성취수준을 설정해야 한다. 성취수준 설정을 위해 신뢰성 있고 타당한 분할점수가 필요하기 때문에 앞으로 수학과 성취평가제에 적합한 준거설정방법에 대한 지속적인 연구가 필요하다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차