표제지
목차
국문초록 11
제1장 서론 13
제2장 BERT 감정 분석 관련 연구 19
제1절 BERT의 추론 과정 19
제2절 트랜스포머 아키텍처 내부 21
1. 트랜스포머 기반의 BERT 모델의 내부 구성 21
2. 트랜스포머 모델에서 단어 간의 정보 추출 방법 22
3. 트랜스포머 모델의 전체적인 작동 원리 23
4. 셀프 어텐션 메커니즘 속 스케일 닷 프로덕트 어텐션 계산 23
5. 멀티 헤드 어텐션 24
6. 피드 포워드 신경망 24
7. 잔차 연결 26
8. 레이어 정규화 26
제3절 BERT의 표준적인 감정 분석 학습 단계 27
제3장 BERT 이중 미세 조정 감정 분석 프로세스 설계 및 검증 전략 28
제1절 이중 미세 조정 감정 분석 프로세스 구조 및 흐름 28
제2절 이중 미세 조정 감정 분석 개요 및 검증 전략 31
제4장 BERT 이중 미세 조정 감정 분석 실험 설계 및 구현 34
제1절 BERT 이중 미세 조정 감정 분석 실험 프로세스 34
1. 실험 데이터 소스 확인 34
2. 실험 데이터 수집 35
3. 댓글 데이터 전처리 및 탐색 38
4. 감정 모델 학습 준비 단계 : 감정 라벨 정의 및 학습 준비 46
5. 댓글 데이터 감정 분석 학습 및 결과 49
6. 자막 데이터 탐색 및 전처리 51
7. 자막 데이터 감정 분석 모델 학습 및 결과 67
8. 종합적 감정 분석 결과 68
9. 모델 학습 성능 평가 결과 73
제5장 결론 75
참고문헌 80
ABSTRACT 86
표 1. 데이터 수집 개요 29
표 2. 이중 미세 조정 감정 분석 학습 및 검증 전략 33
표 3. 예측 감정 라벨 목록 48
표 4. 표본 자막과 댓글의 감정 라벨 결과 68
표 5. 혼동 행렬을 활용한 이진법 시각화 해석 71
표 6. 표본 자막 및 댓글의 감정 라벨 연관성 71
표 7. 성능 평가 결과 73
표 8. 관련 연구의 트랜스포머 블록 레이어 수와 히든 사이즈의 차이 74
표 9. 정량적 성능 평가 비교 결과 74
그림 1. BERT 언어 모델의 토큰화 및 추론 과정 19
그림 2. 셀프 어텐션 역할 21
그림 3. 쿼리, 키, 벨류, 행렬 생성 22
그림 4. 스케일 닷 프로덕트어 텐션 공식 24
그림 5. 스케일드 닷 프로덕트 어텐션 메커니즘 24
그림 6. 트랜스포머 아키텍처 내부 25
그림 7. 이중 미세 조정 감성 분석 프로세스 구조 및 흐름 30
그림 8. EDA : 채널별 게시물 수 44
그림 9. EDA : 드라마별 게시물 수 45
그림 10. 댓글 데이터 빈도 46
그림 11. 댓글 감정 예측 라벨 50
그림 12. EDA : 드라마 줄거리 요약 채널에서의 주요 단어 빈도 상위 10개 56
그림 13. EDA : 드라마 줄거리 요약 채널에서의 주요 문장 길이 분포 58
그림 14. EDA : 드라마별 자막 분포 60
그림 15. EDA : 박성실 씨의 사차 산업혁명 줄거리 영상 출연이 높은 단어 61
그림 16. EDA : 가장 빈번하게 사용되는 어구 63
그림 17. 두 번째, 미세 조정 결과 : 자막 감정 예측 라벨 68