표제지
목차
국문 요약 9
제1장 서론 10
제2장 배경 지식 14
2.1. CNN 모델의 구조와 연산 14
2.2. 클라우드 환경의 GPU 자원 15
2.3. GPU 자원에서 CNN 모델의 학습 지연시간 16
제3장 PROFET: CNN 학습 지연시간 예측 시스템 21
3.1. 예측 모델을 위한 CNN 학습 작업의 정의 21
3.2. 클라우드 GPU에서 CNN 학습 작업의 특징 추출 24
3.3. 자연어 처리를 통한 연산 군집화 26
3.3.1. 거리 기반 연산명 유사도 측정 27
3.3.2. 연산명의 계층적 군집화 28
3.3.3. 집계를 통한 연산 군집의 추상화 29
3.4. 클라우드 GPU에서 CNN 학습 지연시간 예측 31
3.4.1. 교차-자원 학습 지연시간 예측 모델링 31
3.4.2. 최소-최대 정규화 기반 학습 지연시간 예측 모델링 35
3.4.3. 새로운 GPU 자원에 대한 학습 지연시간 예측 38
제4장 서비스 구현 40
제5장 성능 평가 42
5.1. 교차-자원 지연시간 예측 모델의 성능 44
5.2. 최소-최대 정규화 기반 지연시간 예측 모델의 성능 48
5.3. 예측 모델의 2단계 분리 효과 분석 50
5.4. 자연어 처리를 통한 연산 군집화 방법의 효과 분석 52
5.5. 학습 지연시간 예측에 대한 최신 연구와 성능 비교 54
5.6. 새로운 GPU 자원에 대한 학습 지연시간 예측 성능 58
제6장 관련 연구 60
6.1. 다양한 하드웨어에서 학습 지연시간 예측 연구 60
6.2. 프로파일링 기반 딥러닝 작업의 분석 연구 61
6.3. 딥러닝 시스템을 위한 학습 지연시간 예측 모델링 연구 62
6.4. 클라우드 환경에서 지연시간 모델링과 시스템 최적화 연구 63
제7장 논의 65
7.1. 개발 플랫폼에 종속되지 않는 학습 지연시간의 예측 방법 65
7.2. 다중 GPU 자원에서 학습 지연시간의 예측 방법 65
7.3. 다양한 딥러닝 모델에서 학습 지연시간의 예측 방법 66
제8장 결론 67
참고 문헌 69
영문 요약 79
표 1. AWS에서 제공되는 GPU 자원들의 세부 정보 15
표 2. 예측 모델의 단계 분리 여부에 따른 성능 차이 51
표 3. PALEO 예측 모델과 PROFET 예측 모델의 성능 비교 54
표 4. MLPredict 예측 모델과 PROFET 예측 모델의 성능 비교 56
표 5. Habitat 예측 모델과 PROFET 예측 모델의 성능 비교 57
표 6. 새로운 GPU 자원에 대한 PROFET 예측 모델의 성능 분석 58
그림 1. 클라우드 GPU 자원에서 CNN 학습 작업의 특성 차이 17
그림 2. PROFET 시스템의 전체 구조 및 작동 방식의 설명 23
그림 3. 프로파일링을 통한 CNN 학습 작업의 특징 추출 예시 25
그림 4. 연산명 유사도에 기반한 특징 군집화 방법 29
그림 5. 교차-자원 학습 지연시간 예측 모델의 구조도 34
그림 6. 최소-최대 정규화 기반 지연시간 예측 모델의 구조도 37
그림 7. PROFET 서비스의 전체 구조도 41
그림 8. 앵커 자원별 학습 지연시간의 실제-예측값 분포의 산점도 45
그림 9. 앙상블 예측 모델과 개별 모델의 예측 성능 차이 46
그림 10. 최소-최대 정규화 모델의 기준값에 따른 성능 차이 49
그림 11. 최소-최대 정규화 모델의 용량에 따른 성능 차이 50
그림 12. 연산명 군집화 방법의 적용 유무에 따른 성능 차이 53