표제지
목차
국문초록 10
1. 서론 12
1.1. 연구 동기 12
1.2. 연구 배경 14
1.3. 연구 목적 및 기여 20
1.4. 연구 개요 21
2. 관련 연구 22
2.1. 모델 네트워크 22
2.1.1. PhysNet 22
2.1.2. PhysNet-late fusion 24
2.1.3. ViViT 25
2.2. 자기 지도 기반 비디오 표현 학습 28
3. 연구 방법 30
3.1. rPPG 추정을 위한 RGB-NIR 융합 학습 프레임워크 30
3.2. Fusion Video Vision Transformer (Fusion ViViT) 31
3.3. 자기 지도 학습 35
4. 실험 결과 38
4.1. 데이터셋 38
4.1.1. VIPL-HR 38
4.1.2. MR-NIR-Car 40
4.2. 평가 지표 41
4.3. 실험 환경 43
4.4. 실험 결과 및 분석 45
4.4.1. VIPL-HR 데이터셋에 대한 지도 학습 및 자기 지도 학습의 선형 평가 결과 및 분석 46
4.4.2. MR-NIRP-Car 데이터셋에 대한 전이 학습 결과 및 분석 48
4.4.3. 모델 크기 및 복잡성 비교 분석 52
4.4.4. RGB-NIR 융합 학습 프레임워크에 대한 Ablation Study 53
5. 결론 55
참고문헌 57
ABSTRACT 68
Table 4.1. VIPL-HR 데이터셋에 대한 지도 학습 방법 결과와 자기지도... 48
Table 4.2. MR-NIRP-Car 데이터셋에 대한 전이 학습 결과 51
Table 4.3. 모델 크기 및 복잡성 비교 53
Table 4.4. Fusion ViViT에서 트랜스포머 개수와 튜브 토큰화에 따른... 54
Figure 1.1. 이색 반사 모델(DRM)을 기반으로 한 원격... 13
Figure 2.1. PhysNet 네트워크 구조 23
Figure 2.2. 다중 양식 융합 전략 [41]... 25
Figure 2.3. ViViT Model3 네트워크 구조 26
Figure 2.4. Tubulet 임베딩 27
Figure 3.1. RGB-NIR 융합 학습 프레임워크 31
Figure 3.2. Fusion ViViT 네트워크 구조 34
Figure 3.3. RGB-NIR 융합 학습 프레임워크의 자기 지도 훈련 과정 37
Figure 4.1. VIPL-HR 데이터셋 39
Figure 4.2. MR-NIRP-Car 데이터셋 40