표제지

목차

1. 파운데이션 모델의 이해 4

A. 파운데이션 모델의 정의 6

B. 파운데이션 모델의 특징 8

C. 제반 기술 11

2. 파운데이션 모델 연구 동향 16

A. Prompt Engineering: GPT-3 16

B. 모델 최적화 20

C. 이미지 생성 및 분류 23

D. 이미지-텍스트 멀티 모달 모델 25

E. 학습 시스템 27

F. 한국어 언어 모델 27

3. 분야별 미래 연구 방향 및 파급 효과 분석 31

A. 언어 31

B. 비전 36

4. 고려 사항 40

A. 법적 요소 40

B. 환경적 요소 44

C. 사회적 요소 49

5. 참고문헌 54

판권기 58

[그림 1] 2017년 이후의 트랜스포머 및 자기 지도학습 관련 연구 동향 4

[그림 2] 시간에 따른 딥 러닝 및 트랜스포머 모델 학습에 필요한 연산량 5

[그림 3] 파운데이션 모델이란 대용량의 폭넓은 데이터로 학습되어 목적에 맞는 다운스트림 작업에 적용될 수 있는 기초 모델을 의미한다 6

[그림 4] 창발성(emergence)과 균일화(homogenization)에 따른 인공지능 모델의 흐름 8

[그림 5] PaLM-SayCan 모델은 텍스트로 명령을 입력하면 스스로 수행할 행동을 찾고, 이를 수행한다 10

[그림 6] 트랜스포머 아키텍처 13

[그림 7] 파운데이션 모델의 크기와 GPU의 성장 14

[그림 8] T5의 프레임워크 17

[그림 9] GPT-3 모델 크기 및 few-shot setting에 따른 성능 변화 18

[그림 10] InstructGPT 및 Chat GPT의 학습 방법 18

[그림 11] ChatGPT와의 채팅의 예 19

[그림 12] 지식 증류의 개념 설명 20

[그림 13] 양자화의 개념도 22

[그림 14] iGPT의 아키텍처 구성 24

[그림 15] Vision Transformer의 구조 24

[그림 16] DALL-E의 텍스트 기반 이미지 생성 예시 25

[그림 17] CLIP의 구조 26

[그림 18] unCLIP 모델의 구조. unCLIP은 먼저 CLIP과 같은 형태로 텍스트 인코더를 학습한 후(점선 위), diffusion model 혹은 autoregressive model과 같은 prior,... 26

[그림 19] KorBERT 모델(좌측)과 BERT(우측)의 비교 28

[그림 20] KE-T5의 구조 29

[그림 21] EXAONE Multi-modal Model 30

[그림 22] 자기 지도학습을 대규모로 활용함으로써 비전을 위한 파운데이션 모델은 원시적인, 멀티 모달 감각 정보를 시각적 지식으로 추출할 수 있는 잠재력을 가지고 있다.... 36

[그림 23] 파운데이션 모델 배포를 위한 비용 편익 분석의 시각화. 모델의 총 가치는 먼저 모델의 순 긍정적인 사회적 혜택과 모든 환경적 혜택을 고려하여 근사할 수 있다.... 46

[그림 24] 파운데이션 모델(이 경우 BERT Base)이 처음부터 훈련된 트랜스포머 모델보다 에너지 비용이 낮은 지점을 보여주는 미세 조정의 상각에 대한 가상 예시.... 48

[그림 25] 파운데이션 모델 내에 존재하는 내재적 편향(Intrinsic Bias)은 미세 조정 중에 도입된 편향(Adaptation Bias)과 함께 특정 다운스트림 애플리케이션의 맥락에서 사용자가... 50

[그림 26] 파운데이션 모델은 유해한 콘텐츠를 생성할 수도 있지만 이것들을 탐지할 수도 있다 52