본문 바로가기 주메뉴 바로가기
국회도서관 홈으로 정보검색 소장정보 검색

목차보기

목차

서답형 평가문항 자동채점 프로그램 활용 가능성 탐색 / 박정 1

[요약] 1

I. 서론 2

II. 선행연구 개관 3

III. 연구방법 5

1. 분석 자료 5

2. 분석 방법 6

IV. 연구 결과 7

1. 채점자들의 문항별 기술 통계값과 상호 상관 결과 7

2. 일반화 가능도 이론 분석 결과 9

3. 다국면 라쉬모형 분석 결과 11

V. 요약 및 논의 13

참고문헌 15

저자소개 16

〈ABSTRACT〉 17

초록보기



Using Constructive-response items in a large-scale assessment cause costly practical issues as well as psychometric issues. In order to solve such problems, research has been developed to explore the possibility of incorporating automated scoring system for constructive-response items in other countries. Therefore, this study is to validate developing an automated scoring system in Korea and to explore potential applications of automated scoring systems. To do this, this study investigates the extent to which the rating produced by the automated scoring system compares to those produced by human raters.

Correlation analyses reveal a relatively high correspondence between human and automated scoring system ratings. But, for some items, the results of correlation between automated scoring system and human raters were so low. It suggests that the cause of differences between the system of automated scoring and human rating examine to develop an automated scoring system. Also, the result showed that the effect of rater was a trifling on the consistent scoring and the measures of human raters and the automated scoring system were similar. The results of the study imply that we are able to get the plausibility of utilizing automated scoring system for reliable assessment of constructive-response items in a large-scale assessment as well as for immediate feedback to student's responses.

권호기사

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 목차
교육 프로그램 메타평가 기준 개발 김성훈 ;김신영 ;서민원 ;양길석 pp.557-585

보기
고등학교 교사들의 인식 분석을 통한 대학입학사정관제의 학교생활기록부 평가방법 고찰 김석우 ; 황해익 ; 김아영 ; 김수연 ; 김성숙 pp.587-614

보기
서답형 평가문항 자동채점 프로그램 활용 가능성 탐색 박 정 pp.615-631

보기
고부담시험에서 문항노출위험과 동등화편차를 최소화 할 수 있는 행렬표집설계 방안 남현우 ;남명호 ;양길석 ;김진하 pp.633-657

보기
문항반응이론에 기초한 준거설정 방법 비교 장윤선 ;성태제 pp.659-680

보기
입학사정관제 운영 평가 지표 개발 김일혁 pp.681-715

보기
경향점수를 이용한 결합표집 방법에 의한 사교육 효과 분석 상경아 pp.717-735

보기
컴퓨터를 이용한 변형 선다형 방식의 신뢰도 분석 박주용 pp.737-756

보기
Rasch 측정모형의 적용을 통한 대학생용 단축형 완벽주의 척도 구성 김혜진 ;김옥분 pp.757-781

보기
검사동등화를 통한 지필-온라인 모드 효과 분석 :영어가 모국어가 아닌 학생용 영어 읽기 시험을 대상으로 유진은 pp.783-804

보기
모의 실험을 통한 혼합형 문항 검사의 문항반응이론 척도변환과 진점수동등화 조건 탐색 이문수 ;이규민 ;강상진 pp.805-826

보기
온라인 시스템을 활용한 대규모 서답형 평가의 채점 일관성 송미영 ;김수진 ;김희경 ;남명호 pp.827-846

보기
Evaluating the performance of non-equivalent groups anchor test equating under various conditions of anchor test construction Hyun Sook Yi pp.847-869

보기
Testlet response model for IRT true score equating Guemin Lee ;In-Yong Park ;Min-Jeong Jeon pp.871-887

보기
Extra matching on cultural factor to improve DIF detection for international assessment Wonsook Sohn pp.889-908

보기

참고문헌 (23건) : 자료제공( 네이버학술정보 )

참고문헌 목록에 대한 테이블로 번호, 참고문헌, 국회도서관 소장유무로 구성되어 있습니다.
번호 참고문헌 국회도서관 소장유무
1 문법성과 어휘 응집성 기반의 영어 작문 평가 시스템 소장
2 김지은과 이공주 (2007). 중학생 영작문 실력향상을 위한 자동문법 채점 시스템 구축. 한국콘텐츠학회논문집, 7(5), 36-46. 미소장
3 Development of automated scoring system for English writing 소장
4 진경애, 남명호, 김명화, 오상청, 김민정, 주형미, 신효필, 반재천, 김수경 (2006). 서답형 문항 자동채점 프로그램 도입방안 연구(I). 한국교육과정평가원. 연구보고 RRI 2006-6. 미소장
5 진경애, 이병천, 주형미, 신동광, 박 정, 김지은, 이공주, 이은성 (2007). 서답형 문항 자동채점 프로그램 도입방안 연구(Ⅱ). 한국교육과정평가원. 연구보고 RRE 2007-4. 미소장
6 진경애, 이병천, 신동광, 박태준, 주현우 (2008). 서답형 문항 자동채점 프로그램 도입방안 연구(Ⅲ). 한국교육과정평가원. 연구보고 RRE 2008-6 미소장
7 최윤정과 성태제 (2006). 영어 논술채점 컴퓨터 프로그램의 비교 분석. 교육평가, 19(1), 145-160 미소장
8 21세기의 언어테스팅 방식 : 컴퓨터 개별 적응 평가와 수행 평가의 발전 전망 소장
9 작문 수행평가에 대한 전문가와 전산언어학적 채점결과의 비교 분석 소장
10 Burstein, J. (2003). The E-rator scoring engine:aotomated essay scoring with naturak language processing. In Mark D. Shermis and Jill C. Burstein (Eds.). Automated essay scoring: a cross disciplinary perspective. Mahwah, NJ: Lawrence Erlbaum Associates. 미소장
11 Buestein, J. & Marcu, D. (2000). Benefits of modularity in an Automated Essay Scoring System(ERIC reproduction service no TM 032010). 미소장
12 Chung, K. W. K. & O'Neil, H. F. (1997). Methodological approaches to online scoring of essays(ERIC reproduction service no ED 418 101). 미소장
13 Cohen, Y., Ben-Simon, A., & Hovav, M. (2003).The Effect of Specific Language Features on the Complexity of Systems for Automated Essay Scoring. Paper presented at the 29서 Annual Conference, Manchester, UK, October, 2003. 미소장
14 Elliot, S. (2003). Intellimetric: from here to validity. In Mark D. Shermis and Jill C. Burstein (Eds.). Automated essay scoring: a cross disciplinary perspective. Mahwah, NJ: Lawrence Erlbaum Associates. 미소장
15 The debate on automated essay grading 네이버 미소장
16 A solution to Plato's problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. 네이버 미소장
17 A System To Assess the Semantic Content of Student Essays. 네이버 미소장
18 MacDonald, N. et al. (1982). The writer's workbench: Computer aids for text analysis. IEEE Trans. Comm., 30(1), 105-110. 미소장
19 The Computer Moves into Essay Grading: Updating the Ancient Test 네이버 미소장
20 Page, E. B., Poggio, J. P., & Keith, T. (1997). Computer analysis of Student essays: Finding Trait Difference in Student profile.(ERIC reproduction service no ED 411 316). 미소장
21 Page, E. B. (2003). Project Essay Grade: PED. In Mark D. Shermis and Jill C. Burstein (Eds.). Automated essay scoring: a cross disciplinary perspective. Mahwah, NJ: Lawrence Erlbaum Associates. 미소장
22 Shermis, M. D. & Burstein, J. (2000). Automated Essay Scoring: A Cross Disciplinary Perspective. Mahwah, NJ: Lawrence Erlbaum Associates. 미소장
23 Rudner, L.M., & Liang, T. (2002). Automated essay scoring using Bayes' therorem. Journal of Technology, Learning, and Assessment, 1(2). Available from http://www.jtla.org. 미소장