표제지
목차
1. 언어모델 개요 2
자연어처리 및 언어모델 2
시장 동향 2
2. 언어 모델 개발 동향 5
딥러닝 기반 언어 모델의 인간 언어 능력 돌파 5
언어 모델의 무어의 법칙: 모델과 데이터 크기 증대를 통한 성능 향상 6
최신 언어 모델 개발 동향 8
3. 언어모델 활용 사례 11
언어 처리 중심 사례 11
응용 영역으로 활용 사례 12
4. 언어모델 개발 및 활용에 따른 시사점 16
참고문헌 18
판권기 20
〈그림 1〉 전 세계 자연어처리 시장 전망 3
〈그림 2〉 언어모델 크기별로 비교한 학습 샘플의 수와 정확도간의 상관관계 4
〈그림 3〉 딥러닝 기반 언어모델 5
〈그림 4〉 2023년 1월 GLUE 벤치마크 리더보드 6
〈그림 5〉 사전학습 언어 모델 크기의 무어의 법칙 7
〈그림 6〉 SuperGLUE 벤치마크 (2023년 1월) 7
〈그림 7〉 언어 생성 모델 크기의 컨버즈 8
〈그림 8〉 인컨텍스트 퓨샷 러닝이 가능한 플라밍고의 프롬프트 기반의 추론 예시 9
〈그림 9〉 멀티모달 학습을 가능하도록 기학습된 언어 모델 계층을 고정하고 이미지 입력에 대해 비전 인코더를 활용하여 Gated XAttention Dense계층을 입력으로 넣어 학습시키는 구조 9
〈그림 10〉 OpenAI의 ChatGPT 대화 사례 11
〈그림 11〉 구글 미네르바의 수학 문제에 대한 답변 추론 예 13
〈그림 12〉/〈그림 14〉 구글 CaP에 사전에 주어진 언어 커맨드와 대응하는 정책 코드(회색)와 이를 기반으로 새로운 커맨드(녹색)에 대해 런타임에 자동으로 재구성된 API 콜(하늘색)의 예 14
〈그림 13〉 OpenAI의 DALLㆍE 2가 사용자로부터의 텍스트를 입력받아 생성한 이미지 15
〈그림 14〉 구글 페나키가 변화하는 텍스트 입력에 대해 일관성을 유지하는 하나의 연결된 영상을 생성한 결과 15