인간에 의한 수작업 평가는 시간과 비용 소모, 주석자 간의 의견 불일치, 평가 결과의 품질 등 불가피한 한계가 있다. 본 연구에서는 생성 AI모델 중 문맥을 고려하고 긴 문장을 입출력할 수 있는 ChatGPT를 활용한 한국어 요약 평가가 사람의 평가를 대체하거나 보완할 수 있는지 살펴보았다. 이를 위해 정량적 지표로 BERTScore를, 정성적 지표로 ‘일관성, 관련성, 문법, 유창성’ 등을 사용하여 ChatGPT가 생성한 요약에 대한 정성 및 정량적 평가를 실시했다. 평가 결과 ChatGPT4는 사람의 수작업 평가를 보완할 수 있는 잠재력을 가지고 있는 것을 확인하였다. 영어에 대해 학습된 모델이라는 점을 감안하여 한국어 오류 요약문 평가를 통해 오류 탐지 성능을 추가로 평가하고, 생성형 AI를 이용한 평가의 타당성과 신뢰성을 검증하기 위해 문장과 비문에 대해 반복적으로 평가하여 ChatGPT4의 오류 요약문 평가 성능과 내부 신뢰도를 검증했다. 그 결과 ChatGPT3.5와 ChatGPT4의 오류 요약 평가 성능이 불안정하여 아직은 사람의 평가를 보조하는 데 어려움이 있음을 확인하였다.