표제지
요약문
목차
제1장 서론 11
제1절 연구 배경 및 목적 11
제2절 연구 범위 및 구성 15
제2장 선행 연구 17
제1절 거대언어모형 17
제2절 상황 내 학습 및 적응형 미세조정 모형 19
제3절 민원 자동화 관련 선행 연구 26
제3장 데이터 소개 및 모형 선정 29
제1절 데이터 소개 및 데이터 전처리 29
제2절 모형 크기에 따른 차이 비교 40
제3절 학습 유무에 따른 차이 비교 46
제4장 연구 수행 및 결과 49
제1절 민원 분류 성능 비교 49
제2절 민원 대응 업무 추천 성능 비교 51
제5장 결론 56
참고문헌 58
Abstract 61
표 1. 연도별 민원 인입 수 및 월별 평균 민원 건수 30
표 2. 문자 채널과 문자 외 채널의 텍스트 데이터의 정량적 비교표 35
표 3. 상담유형(대)별 맥락이 보존된 문장, 맥락이 누락된 문장 예시 37
표 4. 학습용 데이터 틀 및 학습용 데이터 예시 39
표 5. 민원에 대한 미세 조정이 이루어지지 않은 모델의 출력 예시 43
표 6. 거대언어모형과 분류 모형의 적합을 통한 민원 분야 분류 성능 비교 50
표 7. 사전학습 모델, 미세조정 모델, 사전학습 모델에 유관업무를 학습시킨 모델, 미세조정 모델에 유관업무를 학습시킨 모델의 민원 유관 업무 추천 성능 표 52
표 8. 업무 유관 단어 추가에 따른 성능 향상 표 53
그림 1. 120다산콜재단 연간 민원 인입 수 및 월평균 민원 인입 수 (2020년 01월부터 2022년 06월까지) 13
그림 2. 120다산콜재단 인입 민원 비율 14
그림 3. 120다산콜재단 상담업무 흐름도 16
그림 4. Dai et al.(2022)의 연구 개요도, 미세조정의 학습 연산과 In-Context Learning의 임베딩 연산이 수학적으로 닮은꼴임을 보임 20
그림 5. LoRA의 개요도, 기존 언어모형의 매개변수를 저차원 잠재 표현으로 변환하고 이를 활용해 새로운 작업을 수행 23
그림 6. Liu et al.(2021)의 SuperGLUE의 7개 개발 데이터 세트에 대한 평균 점수. P-tuning을 통해 자연어 이해에서 성능 향상이 있음을 보임 24
그림 7. Liu et al.(2022)의 P-Tuning v2의 RTE, BoolQ, SuperGLUE의 CB에 대한 평균 점수 도표 24
그림 8. 모델 튜닝은 각 작업 별 복사본을 만들어야 하며, 프롬프트 튜닝의 경우 각 작업에 대한 작은 작업별 프롬프트만 저장되며, 사전 학습된 원본 모델을 사용하여... 25
그림 9. 시간별 평균 민원 인입 건수 30
그림 10. 직접 처리 민원과 이관 처리 민원의 상담 분야 비율 도표 31
그림 11. 상담분야 비율 히트맵 31
그림 12. 30개월 간 이관 횟수 상위 15개 기관 도표 32
그림 13. 연도별 악성민원 및 강성민원 건수 33
그림 14. 챗봇 채널을 통해 인입된 질문 텍스트 예시 34
그림 15. 문자 채널(좌)과 문자 외 채널(우)의 민원 워드 클라우드 36
그림 16. 모델 크기에 따른 BLEU 및 ROUGE 점수 비교 표 44
그림 17. 모델이 생성한 답변과 정답 답변 간 유클리디안 거리 및 코사인 유사도 비교 표 45
그림 18. 학습 여부에 따른 BLEU 및 ROUGE 점수 비교 표 46
그림 19. 모델이 생성한 답변과 정답 답변 간 유클리디안 거리 및 코사인 유사도 비교 표 47
그림 20. 민원 대응 업무 추천 과정 개요도 51
그림 21. 맥락 보완에 따른 업무 추천 성능 변화 그래프 53