표제지
목차
제1장 서론 11
1.1. 연구 배경 및 목적 11
1.2. 연구 범위 및 방법 15
1.3. 논문의 구성 17
제2장 관련연구 18
2.1. 자유시점 비디오 서비스 18
2.1.1. 자유시점 서비스 시점 종류 21
2.1.2. 자유시점 비디오 서비스 시스템 23
2.1.3. 자유시점 비디오 서비스 제공 방법 관련 연구 24
2.2. 객체 정보 구성을 위한 객체 인식 기술 27
2.2.1. 객체 공동 탐지기술 (Object Co-detection) 27
2.2.2. 딥러닝 기반 객체 인식 기술 29
2.2.3. 자유시점 비디오 내 객체 정보를 위한 객체 인식 32
2.3. 동적 적응형 전송을 위한 비디오 스트리밍 기술 33
2.3.1. HTTP 기반 동적 적응 스트리밍 기술(DASH) 35
2.4. 스트리밍 서비스를 위한 비디오 파일 포맷 42
2.4.1. ISO/IEC 기본 미디어 파일 형식 42
제3장 자유시점 비디오의 객체 중심 기반 동적 적응형 스트리밍 기법 46
3.1. 자유시점 비디오 스트리밍 서비스 시나리오 46
3.1.1. 서비스 요구사항 47
3.1.2. 자유시점 비디오의 객체 인식 방법 49
3.2. 객체 중심 기반 자유시점 비디오 서비스의 세그먼트 길이 설정 50
3.3. 자유시점 비디오 스트리밍 방법 설계 60
제4장 자유시점 비디오의 객체 중심 기반 Zoom In/Out 스트리밍 기법 68
4.1. 자유시점 비디오의 객체 중심 기반 이동형 Zoom In/Out 설계 68
4.1.1. 자유시점 비디오 서비스의 Zoom In/Out 범위 정의 68
4.1.2. 자유시점 비디오 서비스의 Zoom In/Out 영역 설정 71
4.1.3. 자유시점 비디오의 이동형 Zoom In/Out 스트리밍 방법 설계 74
4.2. 자유시점 비디오의 객체 중심 기반 고정형 Zoom In/Out 설계 78
4.2.1. 자유시점 비디오의 고정형 Zoom In/Out 서비스 시나리오 78
4.2.2. 자유시점 비디오의 고정형 Zoom In/Out을 위한 비디오 구성 79
4.2.3. 자유시점 비디오의 고정형 Zoom In/Out 스트리밍 방법 설계 81
제5장 모의실험 및 검증 89
5.1. 모의실험 환경 89
5.2. 모의실험 결과 및 분석 102
제6장 결론 112
참고문헌 115
ABSTRACT 120
표 1. 객체 공동 탐지 기술의 평균 인식률 28
표 2. OpenPose와 AlphaPose COCO test-dev 2015 테스트 비교 31
표 3. OpenPose와 AlphaPose MPII full test 테스트 비교 31
표 4. 대표적인 HAS 기술 비교 34
표 5. 세그먼트 길이에 따른 장단점 41
표 6. 자유시점 비디오 시나리오에 따른 요구사항 48
표 7. 식을 위한 변수 정의 51
표 8. 이동형 자유시점 비디오 획득을 위한 카메라 설정값 90
표 9. 이동형 자유시점 비디오 모의실험 인코딩 옵션 92
표 10. 세그먼트 길이에 따른 구간별 최적 비디오 세그먼트 선택 개수 96
표 11. 모의실험에 사용된 이동형 자유시점 비디오 세그먼트 크기 99
표 12. 모의실험에 사용된 고정형 자유시점 비디오 세그먼트 크기 101
표 13. 모의실험 이동형 자유시점 비디오 전송량 비교 106
표 14. 모의실험 고정형 자유시점 비디오 전송량 비교 106
그림 1. 자유시점 비디오 시스템의 구성 예시 19
그림 2. 자유시점 비디오 서비스 종류 21
그림 3. 자유시점 비디오 내 시점 정의 예시 22
그림 4. 자유시점 비디오 서비스 시스템 주요 구성 23
그림 5. 객체 공동 탐지 기술 예시 28
그림 6. DASH 표준 내 포함 범위 35
그림 7. DASH 접근 클라이언트의 정보 입출력 36
그림 8. DASH 내 정의된 프로파일 37
그림 9. MPD 문서 내부 구성도 38
그림 10. MPD 문서 구성 예시 40
그림 11. ISOBMFF 관련 비디오 표준 관계 42
그림 12. ISOBMFF 콘텐츠 생성 파일 구조 43
그림 13. 저장용 서비스를 위한 ISOBMFF 구조 45
그림 14. 스트리밍 서비스를 위한 ISOBMFF 구조 45
그림 15. 자유시점 비디오 서비스 시나리오 46
그림 16. 객체를 기준으로 최적의 비디오를 탐색하는 방법 예시 49
그림 17. Slength에 따라 변화하는 세그먼트 구성[이미지참조] 52
그림 18. Slength에 따라 결정되는 구간별 비디오 세그먼트[이미지참조] 54
그림 19. 제안하는 방법을 적용한 최적전송량 세그먼트 구성 결과 57
그림 20. 제안하는 방법을 적용한 최소전송량 세그먼트 구성 결과 59
그림 21. 자유시점 비디오 스트리밍 시스템 구성 60
그림 22. 제안하는 객체 중심의 MPD 문서 구조 62
그림 23. 제안하는 객체 중심의 MPD 문서 예시 64
그림 24. 객체 비디오 요청을 위한 클라이언트 Pseudo Code 65
그림 25. 자유시점 비디오 서비스 클라이언트 동작 흐름 67
그림 26. Zoom In/Out 범위에 따른 합성 시점 생성 예시 69
그림 27. Zoom In 적용의 일반적인 방식과 제안 방식 비교 71
그림 28. 객체 움직임에 따른 좌표 정보의 예시 72
그림 29. 세그먼트 내 객체의 x, y 좌표값 설정 예시 73
그림 30. 제안하는 객체 정보를 포함한 ISOBMFF 미디어 세그먼트 구조 74
그림 31. 제안하는 객체 정보에 대한 'obin' box의 구조 75
그림 32. 자유시점 비디오 내 고정시점 서비스 시나리오 79
그림 33. 자유시점 내 고정 시점 Zoom In/Out을 위한 비디오 구성 80
그림 34. 자유시점 내 고정시점 비디오 Zoom In/Out 동작 예시 81
그림 35. Zoom In 비디오 구성과 객체 정보 매핑 예시 82
그림 36. Zoom In 비디오 구성을 위한 비디오 우선순위 결정 Pseudo Code 84
그림 37. 전체 화면과 분할화면의 구성 예시 85
그림 38. 비디오 Zoom In을 위한 전체 화면과 분할 화면 관련 MPD 예시 86
그림 39. 제안하는 분할화면 정보를 포함한 ISOBMFF 미디어 세그먼트 구조 87
그림 40. 콘텐츠 비디오 이름 규칙 설정 예시 87
그림 41. 객체 관련 분할 화면에 대한 'obpv' Box의 구조 88
그림 42. 자유시점 비디오 서비스 스트리밍 구성 89
그림 43. 이동형 자유시점 비디오 획득을 위한 카메라 배열 90
그림 44. 카메라 캘리브레이션 작업 및 비디오 획득 환경 설정 91
그림 45. 이동형 자유시점 비디오 모의실험을 위한 비디오 구성 92
그림 46. 실험에 사용한 이동형(위)과 고정형(아래) 영상 94
그림 47. 객체 정보 기반으로 선택된 이동형 자유시점 비디오 스트림 98
그림 48. 세그먼트 길이(5 sec.)에 따라 분할된 이동형 자유시점 비디오 스트림 98
그림 49. 제안하는 기법을 적용한 최적의 세그먼트별 이동형 비디오 스트림 98
그림 50. 제안하는 기법을 적용한 최소의 세그먼트별 이동형 비디오 스트림 98
그림 51. 제안하는 기법을 적용한 최적의 세그먼트별 고정형 비디오 스트림 100
그림 52. 제안하는 기법을 적용한 최소의 세그먼트별 고정형 비디오 스트림 100
그림 53. 제안하는 방법의 객체 중심의 비디오 획득 방법 104
그림 54. 전체 비디오 전송량과 이동형 객체 선택 전송량 107
그림 55. 객체 선택 전송량과 제안방법을 적용한 이동형 최적/최소 전송량 107
그림 56. 기존 방식을 적용한 이동형 최적 전송량과 최소 전송량 비교 108
그림 57. 제안 방법을 적용한 이동형 최적 전송량과 최소 전송량 비교 108
그림 58. 제안 방법을 적용한 이동형 최적 전송량과 기존 방법 비교 109
그림 59. 제안 방법을 적용한 이동형 최소 전송량과 기존 방법 비교 109
그림 60. 원본 비디오 전송량과 제안방법을 적용한 고정형 최적 전송량 111
그림 61. 제안방법을 적용한 고정형 최적 전송량과 최소 전송량 111