표제지
요약
Abstract
목차
제1장 서론 11
1.1. 아이핀 개요 11
1.2. 연구의 목적 12
1.3. 연구의 구성 13
제2장 관련연구 14
2.1. 아이핀 현황 14
2.2. 자연어 처리 15
2.3. 기계 번역 16
2.4. 시퀀스 투 시퀀스 모델 17
2.5. 어텐션 메커니즘 19
제2장 제안하는 방법 20
3.1. 트랜스포머 모델 20
3.2. BERT 23
3.3. Sentence BERT 27
제4장 실험 30
4.1. 실험 데이터 구축 30
4.2. 실험 데이터 분석 31
4.3. 실험 및 결과 분석 34
제5장 결론 및 향후 연구 41
참고 문헌 42
[표 2-1] 아이핀 가입자 수 14
[표 4-1] 질문과 대답 텍스트 31
[표 4-2] 질문과 답변 데이터 통계값 33
[표 4-3] 실험 환경 34
[표 4-4] 하이퍼 파라미터 37
[표 4-5] 트랜스포머 실험 결과 37
[표 4-6] Sentence BERT 실험 결과 39
[표 4-7] 트랜스포머 대비 Sentence BERT 성능 향상비 40
[그림 2-1] 시퀀스 투 시퀀스 모델 구조 18
[그림 3-1] 트랜스포머 모델의 전체 구조 21
[그림 3-2] BERT의 사전학습과 미세조정 23
[그림 3-3] BERT의 입력 임베딩 층 24
[그림 3-4] Task별 BERT의 미세조정 26
[그림 3-5] Classification Objective Function 28
[그림 3-6] Regression Objective Function 29
[그림 4-1] 질문 답변 데이터 형태소 길이 32
[그림 4-2] 질문 답변 데이터 형태소 길이 y값 스케일 조정 32
[그림 4-3] 질문과 답변 데이터의 형태소 길이 박스플롯 33
[그림 4-4] 전체 실험 절차 35
[그림 4-5] 트랜스포머 결과 그래프 38
[그림 4-6] SBERT 결과 그래프 39