목차
Abstract 1
Ⅰ. 서론 1
Ⅱ. 배경 - 딥러닝 컴파일러 및 개발 방향 4
1. 딥러닝 컴파일러 소개 4
2. 딥러닝 컴파일러 개발 현황 및 개발 방향 5
Ⅲ. 본론 - 딥러닝 컴파일러 개발 기술 6
1. 다양한 딥러닝 프레임워크 및 학습 지원을 위한 통합적 그래프 생성 알고리즘 6
2. 프론트엔드 컴파일러 코드 재사용을 위한 MLIR 프레임워크 소개 7
3. 백엔드 컴파일러 코드 재사용을 위한 다양한 백엔드 컴파일러 적용 기술 10
4. 병렬화 연구 - 가속기 구조를 고려한 데이터 재배치, 타일링을 반영한 컴파일러 11
Ⅳ. 결론 14
참고문헌 14
표 1. 딥러닝 컴파일러 개발 현황 5
그림 1. 트랜스포머 기반 딥러닝 모델 개발의 대형화 현황 2
그림 2. 딥러닝 컴파일러의 일반적인 흐름도 4
그림 3. 딥러닝 프레임워크, 학습/추론용에 공통적으로 사용되는 그래프 생성 알고리즘의 개념도 및 문법의 예시 7
그림 4. Multi-Level Intermediate Representation(MLIR) 개요도 8
그림 5. MLIR을 활용한 딥러닝 컴파일러의 흐름도(좌)와 IR, Dialect, Operator 개념도(우) 9
그림 6. MLIR을 활용한 딥러닝 컴파일러에서 적용할 수 있는 다양한 백엔드 컴파일러의 예시 10
그림 7. 데이터 전처리, 복수 연산기 데이터 분배, 그리고 병렬 연산을 통한 어텐션 레이어 병렬화 기술 개요 12
그림 8. 행렬 곱 타일링 및 병렬화 방법 개요 13