표제지
목차
국문초록 11
1. 서론 13
1.1. 연구의 배경 및 필요성 13
1.2. 연구의 목적 및 기여점 20
1.3. 논문의 구성 21
2. 관련 연구 22
2.1. 뇌파 신호 기반 자기 유도 감정인식 22
2.2. 얼굴 영상 기반 감정인식 23
2.2.1. rPPG 신호를 사용한 얼굴 영상 기반 감정인식 23
2.2.2. FER을 위한 다중 작업 학습 25
2.3. 뇌파 신호 및 얼굴 영상 기반 감정인식 26
3. 데이터셋 27
3.1. 자기 유도 감정인식을 위한 뇌파 데이터셋 27
3.1.1. 뇌파 신호 및 라벨 처리 28
3.2. 얼굴 감정인식을 위한 멀티모달 데이터셋 30
4. 연구 방법 32
4.1. 뇌파 신호 기반의 감정인식 32
4.1.1. 문제 정의 33
4.1.2. 주파수 대역 선택 33
4.1.3. 채널 선택 34
4.1.4. 합성곱 신경망 36
4.2. 얼굴 영상 기반의 감정인식 37
4.2.1. 얼굴 특징 추출 38
4.2.2. 감정 인식 작업 40
4.2.3. HR 추정 보조 작업 41
4.2.4. 다중 작업 손실 42
4.3. 뇌파 신호와 얼굴 영상을 이용한 멀티모달 감정인식 43
4.3.1. 결정 수준 융합 분류 43
5. 실험결과 및 고찰 46
5.1. 구현 세부사항 46
5.2. 뇌파 신호 기반 감정인식에 관한 실험 48
5.2.1. 주파수 대역에 따른 성능 비교 48
5.2.2. 채널 선택 방법에 따른 성능 비교 49
5.2.3. 첨도 기반 채널 선택에서의 주파수 대역별 성능 비교 52
5.2.4. 정확도 및 실행 시간 측면에서의 비교 분석 52
5.2.5. Subject-Independent 평가 54
5.3. 얼굴 영상 기반 감정인식에 관한 실험 56
5.3.1. DEAP 데이터셋에 대한 분류 정확도 비교 56
5.3.2. MAHNOB-HCI 데이터셋에 대한 분류 정확도 비교 58
5.3.3. 다중 작업 학습 방법에 대한 절제 연구 58
5.4. 멀티모달 실험 결과 61
5.5. 논의 63
6. 결론 67
참고문헌 69
ABSTRACT 85
〈표 1〉 각 감정 클래스별 샘플 수. 29
〈표 2〉 얼굴 감정인식에 사용된 데이터셋에 대한 정보. 30
〈표 3〉 채널 선택에 사용되는 EEG 신호 통계. 35
〈표 4〉 ShallowConvNet 모델 구조. 36
〈표 5〉 ShallowConvNet 모델의 하이퍼파라미터. 46
〈표 6〉 주파수 대역에 따른 전체 채널의 평균 분류 성능. 48
〈표 7〉 감마 대역에 대한 모든 채널 선택 방법의 정확도 비교. 51
〈표 8〉 정확도 및 실행 시간 측면에서 제안한 프레임워크의 성능. 53
〈표 9〉 ShallowConvNet을 사용한 subject-independent 분류 성능. 55
〈표 10〉 DEAP 데이터셋에 대한 결과. 57
〈표 11〉 MAHNOB-HCI 데이터셋에 대한 결과. 58
〈표 12〉 단일 작업 학습과 다중 작업 학습의 분류 성능 비교. 59
〈표 13〉 단일모달 및 멀티모달 시스템에서 제안한 방법의 결과. 61
〈표 14〉 DEAP 데이터셋에서 기존 연구와의 분류 성능 비교. 62
[그림 1] 뇌파 기반 감정인식 비교. 14
[그림 2] 기존의 특징 융합 방법과 제안하는 다중 작업 학습 방법 비교. 18
[그림 3] 자기 유도 감정 인식을 위한 제안된 시스템의 흐름도. 32
[그림 4] 주파수에 따른 뇌파 종류와 기능. 34
[그림 5] 제안하는 다중 작업 학습 모델 구조. 38
[그림 6] ConvGRU 셀 구조. 39
[그림 7] 멀티모달 감정인식 시스템의 흐름도. 43
[그림 8] EEG 채널 선택 방법에 따른 정확도 비교. 50
[그림 9] 첨도 기반 선택 방법에서의 주파수 대역별 정확도 비교. 52
[그림 10] 단일 작업 학습과 다중 작업 학습 모델의 검증 손실 비교. 60