표제지
목차
ABSTRACT 10
Ⅰ. 서론 12
A. 연구의 배경 및 목적 12
B. 연구 내용 14
Ⅱ. 관련연구 16
A. 딥러닝 기반 텍스트에서 이미지 생성 16
1. 적대적 생성 신경망 16
2. 확산 모델 19
B. 멀티모달 학습 22
Ⅲ. 적대적 생성 신경망 기반의 멀티모달 데이터를 이용한 웹툰 생성 25
A. 적대적 생성 신경망을 이용한 텍스트에서 웹툰 생성 방법 25
B. 적대적 생성 신경망을 이용한 텍스트에서 웹툰 생성 결과 29
Ⅳ. 트리트먼트-웹툰 데이터 셋의 멀티모달 학습 방법 37
A. CLIP 모델을 이용한 멀티모달 학습 방법 37
B. CLIP 모델의 실험 결과 40
1. 텍스트-웹툰 사이의 유사도 측정 43
2. 텍스트와 유사한 웹툰 검색 48
3. 제로샷 분류 53
Ⅴ. 확산 모델 기반의 멀티모달 데이터를 이용한 웹툰 생성 57
A. 확산 모델을 이용한 텍스트에서 웹툰 생성 방법 57
B. 확산 모델을 이용한 텍스트에서 웹툰 생성 결과 59
1. 하나의 텍스트를 입력으로 웹툰 생성 59
2. 연속된 텍스트를 입력으로 웹툰 생성 65
Ⅵ. 결론 69
참고문헌 72
표 1. 트리트먼트-웹툰 데이터 셋의 예 30
표 2. 다국어 텍스트에서 이미지 생성 모델의 성능평가 33
표 3. 유사도 측정을 위한 비교 데이터 43
표 4. 트리트먼트와 툰이미지의 CLIP 인코딩 값 44
표 5. CLIP 임베딩 값을 이용한 유사도 측정 45
표 6. 영어 트리트먼트를 입력하였을 때 CLIP를 이용한 데이터 셋 이미지 검색-1 49
표 7. 영어 트리트먼트를 입력하였을 때 CLIP를 이용한 데이터 셋 이미지 검색-2 50
표 8. 한글 트리트먼트를 입력하였을 때 CLIP를 이용한 데이터 셋 이미지 검색-1 51
표 9. 한글 트리트먼트를 입력하였을 때 CLIP를 이용한 데이터 셋 이미지 검색-2 52
표 10. CLIP를 이용한 제로샷 분류의 결과-1 54
표 11. CLIP를 이용한 제로샷 분류의 결과-2 55
표 12. 트리트먼트-웹툰 CLIP의 MRR@K 성능평가 56
표 13. CLIP와 확산 모델을 이용한 웹툰 생성 결과-1 60
표 14. CLIP와 확산 모델을 이용한 웹툰 생성 결과-2 61
표 15. CLIP와 확산 모델을 이용한 웹툰 생성 결과-3 62
표 16. CLIP와 확산 모델을 이용한 웹툰 생성 결과-4 63
표 17. CLIP와 확산 모델을 이용한 웹툰 생성 결과-5 64
표 18. 연속된 텍스트을 이용한 웹툰의 inception score 65
표 19. 연속된 텍스트를 이용한 웹툰 생성 결과-1 66
표 20. 연속된 텍스트를 이용한 웹툰 생성 결과-2 67
표 21. 연속된 텍스트를 이용한 웹툰 생성 결과-3 68
그림 1. Deep Convolutional Generative Adversarial Network의 구조 16
그림 2. DCGAN을 이용한 텍스트에서 이미지 생성 모델의 구조 17
그림 3. AttnGAN 모델의 구조 18
그림 4. 확산 모델의 학습 과정 19
그림 5. Dalle-2(unCLIP) 모델의 구조 20
그림 6. CLIP를 이용한 멀티모달 데이터의 joint embedding space 22
그림 7. CLIP의 대조 학습 알고리즘 23
그림 8. 텍스트, 이미지 인코더로 구성된 CLIP 모델의 구조 24
그림 9. CartoonGAN을 이용한 이미지 변환의 예 25
그림 10. 다국어 BERT를 이용한 sentence vector 추출 26
그림 11. DCGAN을 이용한 텍스트에서 이미지 생성 모델의 구조 28
그림 12. 학습 횟수에 따른 평가 데이터를 이용한 이미지 생성 32
그림 13. 한국어 텍스트를 DCGAN에 입력하였을 때 생성되는 웹툰 34
그림 14. 영어 텍스트를 DCGAN에 입력하였을 때 생성되는 웹툰 35
그림 15. 같은 의미의 텍스트를 DCGAN에 입력하였을 때 생성되는 웹툰 36
그림 16. CLIP의 구조와 텍스트-이미지 쌍의 logits 행렬의 예 37
그림 17. CLIP 슈도코드에서의 코사인 유사도 계산 방법 38
그림 18. CLIP 슈도코드에서 정확도 계산 방법 38
그림 19. 학습 데이터 셋의 CLIP 정확도와 손실 그래프 41
그림 20. 평가 데이터 셋의 CLIP 정확도와 손실 그래프 42
그림 21. 표5 데이터의 CLIP 임베딩의 PCA 결과 46
그림 22. 다른 이미지를 입력하였을 때 CLIP 임베딩의 PCA 결과 47