표제지
목차
ABSTRACT 8
제1장 서론 10
제2장 관련 연구 13
제1절 심층 학습 (Deep Learning) 13
제2절 합성곱 장단기메모리 (Convolutional Long-Short Term Memory) 14
제3절 어텐션 메커니즘 (Attention Mechanism) 16
제4절 트랜스포머 (Transformer) 18
제5절 비전트랜스포머 (Vision Transformer) 21
제6절 지식 증류 (knowledge Distillation) 23
제3장 Method 25
제1절 메소드 요약 25
제2절 시공간 트랜스포머 모델 25
1. 공간 트랜스포머 블록(Spatial Transformer Block) 26
2. 시간 트랜스포머 블록(Temporal Transformer Block) 29
제3절 지식 증류(Knowledge Distillation) 31
1. 공간 지식 증류(Spatial Knowledge Distillation) 33
2. 시간 지식 증류(Temporal Knowledge Distillation) 34
제4장 실험 및 분석 36
제1절 데이터셋 36
제2절 학습 37
제3절 결과 및 분석 39
제5장 결론 41
참고문헌 43
국문초록 46
〈표 3-1〉 ImageNet 데이터셋에서의 이미지 분류 결과 32
〈표 3-2〉 ImageNet 데이터셋에서 Distillation 유무에 따른 이미지 분류 정확도 32
〈표 4-1〉 아군 피해도 매핑 37
〈표 4-2〉 제안 모델 하이퍼파라미터 38
〈표 4-3〉 동일 데이터셋에서 다양한 상황인지 모델 성능 비교 39
〈표 4-4〉 Distillation 유무에 따른 상황인지 성능 비교 39
〈표 4-5〉 Spatial Teacher Model 변경 후 상황인지 성능 비교 40
〈표 4-6〉 Patch Size 변경 후 상황인지 성능 비교 40
〈그림2-1〉 Deep Neural Network의 구조 13
〈그림2-2〉 LSTM의 Cell 구조 15
〈그림2-3〉 ConvLSTM의 구조 16
〈그림2-4〉 Attention Mechanism의 구조 17
〈그림2-5〉 Multi-Head Self Attention의 연산 19
〈그림2-6〉 Transformer 모델의 구조 20
〈그림2-7〉 Vision Transformer 모델의 구조 22
〈그림2-8〉 Knowledge Distillation의 구조 23
〈그림3-1〉 시공간 트랜스포머 모델 전체구조 26
〈그림3-2〉 공간 트랜스포머 블록 27
〈그림3-3〉 시간 트랜스포머 블록 30
〈그림3-4〉 공간 지식 증류 34
〈그림3-5〉 시간 지식 증류 35
〈그림4-1〉 전장 상황인지 데이터 36
〈그림4-2〉 피해도 데이터 레이블링 37
〈그림4-3〉 시공간 트랜스포머 학습 38