표제지
요약
목차
제1장 서론 11
제1절 연구 배경 및 목적 11
제2절 연구 내용 및 방법 13
제2장 관련 연구 14
제1절 생성모델 14
제1항 생성모델의 개요 14
제2항 GAN 15
제2절 자연어 임베딩 21
제1항 자연어 처리를 위한 임베딩 21
제2항 문장 수준 임베딩 25
제3항 트랜스포머 29
제4항 BERT 34
제3장 자연어 생성을 위한 GAN 모델 38
제1절 자연어 생성을 위한 GAN 모델 적용 38
제1항 제안 모델 38
제2항 자연어 생성을 위한 GAN 모델 적용의 문제점 40
제2절 자연어 생성을 위한 GAN 모델 아키텍처 43
제1항 미분을 가능하게 하기 위한 모델 개선 43
제2항 생성자 상세 아키텍처 46
제3항 판별자 상세 아키텍처 48
제4항 GAN 전체 아키텍처 50
제4장 실험 및 결과 52
제1절 실험 52
제1항 실험 진행 절차 52
제2항 학습 데이터 준비 53
제3항 어휘집 생성 53
제4항 학습 데이터 전처리 55
제5항 트랜스포머 모델 사전학습 56
제6항 GAN 모델 학습 57
제2절 실험 결과 59
제1항 일반 GAN 모델을 적용한 실험 59
제2항 WGAN-GP 모델을 적용한 실험 66
제3항 실험 결과 요약 68
제5장 결론 및 향후 연구과제 70
제1절 결론 70
제2절 향후 연구과제 72
참고문헌 73
Abstract 76
표 1. 임베딩 종류 - 수준별 22
표 2. 특수 토큰 55
그림 1. GAN의 구성도 16
그림 2. 어텐션 연산 28
그림 3. 트랜스포머 구조 30
그림 4. 트랜스포머 블록 31
그림 5. Scaled Dot-Product 어텐션 블록 31
그림 6. 멀티 헤드 어텐션 33
그림 7. BERT의 개략적 구조 34
그림 8. BERT의 입력 레이어 36
그림 9. BERT의 파인튜닝 예 37
그림 10. 제안 모델 아키텍처 39
그림 11. 생성자의 출력: argmax 연산 41
그림 12. 판별자의 입력: embedding lookup 연산 42
그림 13. 생성자의 출력: 소프트맥스 추정기 43
그림 14. 검벨 소프트맥스의 강도(τ)에 따른 효과 44
그림 15. 판별자의 입력(실제 문장): feed forward 연산 45
그림 16. 판별자의 입력(가짜 문장): feed forward 연산 45
그림 17. 생성자(generator) 47
그림 18. 판별자(discriminator) 49
그림 19. 자연어 생성을 위한 GAN 전체 아키텍처 50
그림 20. 학습 진행 절차 52
그림 21. 실험에 사용한 학습 데이터셋 일부 53
그림 22. 생성한 어휘집 예 54
그림 23. 토큰화 예 56
그림 24. 학습곡선 - 일반 소프트맥스 생성자 59
그림 25. 생성된 문장 예 - 일반 소프트맥스 61
그림 26. 학습곡선 - 검벨 소프트맥스(τ=0.1) 생성자 62
그림 27. 생성된 문장 예 - 검벨 소프트맥스(τ=0.1) 63
그림 28. 학습곡선 - 검벨 소프트맥스(τ=0.5) 생성자 64
그림 29. 학습곡선 - 검벨 소프트맥스(τ=1.0) 생성자 64
그림 30. 학습곡선 - 검벨 소프트맥스(τ=0.01) 생성자 65
그림 31. 학습곡선 - WAG-GP, 일반 소프트맥스 생성자 66
그림 32. 학습곡선 - WAG-GP, 검벨 소프트맥스(τ=0.5) 생성자 67
그림 33. 생성된 문장의 예 - WGAN-GP, 검벨 소프트맥스(τ=0.5) 68