[표지]
제출문
요약문
목차
제1장 서론 14
1. 사업배경 및 필요성 14
1.1. 사업배경 14
1.2. 사업의 필요성 15
2. 성과목표 16
제2장 딥러닝 추론기 전후처리 시스템 모듈 개발 및 전주기 시스템 구성 17
1. 개요 17
2. 딥러닝 기반 CCTV 유고상황 감지 및 관리용 시스템 개발 18
3. 열악조건 별 유고영상 확장 및 딥러닝 시스템 최적화 학습 19
4. 연구 성과 23
4.1. 특허출원 및 소프트웨어 등록 23
제3장 실내 최적화 실험용 CCTV 연계 전주기 시스템 구축 26
1. 개요 26
2. 영상 데이터 수집부 및 제어부 시제품 제작 28
2.1. 영상 데이터 수집부 및 제어부의 하드웨어 구성 및 사양 28
2.2. 영상 데이터 제어부 소프트웨어의 구성 31
3. 실시간 영상 객체 추론기 시제품 제작 33
3.1. 실시간 영상 객체 추론기의 하드웨어 구성 및 사양 33
3.2. 실시간 영상 객체 추론 소프트웨어 개발 34
4. 영상 분석 알고리즘 학습기 시제품 제작 36
4.1. 영상 분석 알고리즘 학습기의 하드웨어 구성 및 사양 36
4.2. 영상 분석 알고리즘 학습기 소프트웨어 개발 37
5. 통합 플랫폼 구축 40
제4장 열악조건 하 CCTV 연계 전주기 시스템 성능평가 및 최적화를 위한 실내 실증 실험 41
1. 개요 41
2. 실내 실험을 통한 전주기 핵심 프로세스 최적화 연구 41
2.1. 돌발상황 별 역치값 최적화 연구 41
2.2. 영상 왜곡의 효과와 유효성 확인 47
2.3. 영상 왜곡을 통한 가탐거리 확보에 대한 실증 실험 49
3. 연구 성과 50
3.1. 특허등록 50
제5장 현장용 CCTV 영상 모니터링 및 딥러닝 기반 유고상황 감지 전주기 시스템 구축 52
1. 개요 52
2. 현장 설치용 딥러닝 기반 실시간 이동객체 탐지 시스템 제작 53
2.1. 딥러닝 기반 실시간 이동 객체 탐지 시스템의 구성 및 하드웨어 사양 53
2.2. 딥러닝 기반 실시간 이동 객체 탐지 시스템 제작 54
2.3. 딥러닝 기반 객체 탐지 알고리즘 구동 환경 구축 56
3. 위치정보 기반 관제 보조 시스템 소프트웨어 개발 58
3.1. 위치정보 기반 관제 보조 시스템 화면 구성 58
3.2. 위치정보 기반 관제 보조 시스템 터널 및 CCTV 등록 60
3.3. 위치정보 기반 알림 기능 61
4. 통합 시스템 구축 64
4.1. 통합 시스템 구축 64
제6장 시험 현장 섭외, 현장 성능개선과 평가 실험 및 기술 자료화 69
1. 개요 69
2. 다릿재 터널관리사무소 시험 현장 섭외 70
2.1. 현장용 통합 시스템 시험 현장 설치 70
3. 시험 현장 시스템 성능 개선 73
3.1. 시스템 오작동 발생 유형 및 오탐율 분석 73
3.2. 오작동 데이터를 활용한 돌발상황 감지 성능 개선 77
4. 시험 현장 성능평가 실험 83
4.1. 가탐거리별 3단계 AP 산출 83
4.2. 허용 가능한 오작동율에 대한 정의 89
참고문헌 93
서지자료 94
판권기 95
표 2-1. 객체 추적 성능 검토 실험 결과 20
표 3-1. 영상 데이터 수집부 및 제어부 시제품 및 하드웨어 사양 28
표 3-2. 실시간 영상 객체 추론기 시제품 및 하드웨어 사양 33
표 3-3. 영상 분석 알고리즘 학습기 시제품 및 하드웨어 사양 36
표 4-1. 변수 길이와 역치값 45
표 5-1. 딥러닝 기반 객체 탐지 모듈 사양 53
표 5-2. 필수 라이브러리 리스트 56
표 5-3. 돌발상황 발생 알림 메시지 종류 62
표 6-1. 객체인식 오작동이 발생하는 종류 89
그림 2-1. 전주기 시스템 흐름도 18
그림 2-2. 객체인식 및 추적기법이 조합된 다중 이동 객체 인식 및 추적 알고리즘 구성 개념도 19
그림 2-3. 학습율(좌)과 모멘텀(우) 대한 AP값의 변화 추이 20
그림 2-4. 객체 겹침 문턱값(좌)과 배경 겹침 문턱값(우)에 따른 AP값의 변화 추이 21
그림 2-5. RPN의 객체 겹침 문턱값(좌)과 RPN의 배경 겹침 문턱값(우)에 대한 AP값의 변화 추이 21
그림 2-6. RPN의 앵커 크기와 비율에 따른 AP값의 변화 추이 21
그림 2-7. 소프트웨어 저작권 등록증 25
그림 3-1. CCTV 모니터링 전주기 시스템 하드웨어 사양 26
그림 3-2. 전주기 시스템 실내 실증 실험 환경 및 프로세스 개념도 27
그림 3-3. 실시간 모니터링 기능 31
그림 3-4. 현재 영상 팝업 알람 기능 32
그림 3-5. 실시간 객체추론 테스트 코드 구동화면의 예 35
그림 3-6. 이상 신호 발신 코드 35
그림 3-7. 001-training.py의 실행화면의 예 38
그림 3-8. inference_graph 폴더가 정상적으로 생성된 화면 38
그림 3-9. 003-evaluation.py의 실행 결과 화면 39
그림 3-10. 구축된 시제품 통합 플랫폼 40
그림 4-1. 기존 이상 신호 발신 코드와 최적화된 코드의 차이점 42
그림 4-2. 돌발상황 리스트의 작동 원리 42
그림 4-3. 돌발상황 유형별 최소 감지 프레임 43
그림 4-4. 성능평가 및 최적화 연구 구성도 44
그림 4-5. 돌발상황 유형별 리스트의 알림 방법 45
그림 4-6. CSV와 JPG 파일 이름 형식의 개념도 46
그림 4-7. 돌발상황 발생 시 로그기록 저장 방법별 예시 46
그림 4-8. 영상 왜곡 시 화면의 변화 47
그림 4-9. 중심좌표를 구하는 공식 48
그림 4-10. 역주행 판별 원리 48
그림 4-11. 개인정보보호 측면에서의 비왜곡영상과 왜곡 영상의 차 49
그림 4-12. 가탐거리 200m와 250m의 차이 49
그림 4-13. 가탐거리 계산의 예 50
그림 4-14. 특허 등록서 51
그림 5-1. 전주기 시스템 운영 개념도 52
그림 5-2. 객체 탐지 모듈 케이스의 설계도 53
그림 5-3. 객체 탐지 모듈 케이스 설계도(3D 모델링) 54
그림 5-4. 제작된 딥러닝 기반 실시간 이동 객체 탐지 시스템 (전면) 54
그림 5-5. 제작된 딥러닝 기반 실시간 이동 객체 탐지 시스템 (후면) 55
그림 5-6. 운영체제(우분투 리눅스) 및 Anaconda 설치 56
그림 5-7. 딥러닝 기반 객체 탐지 알고리즘 구동 화면 57
그림 5-8. 위치정보 기반 관제 보조시스템 로그인 화면 58
그림 5-9. 위치정보 기반 관제 보조시스템 (1) 59
그림 5-10. 위치정보 기반 관제 보조시스템 (2) 59
그림 5-11. tunnel.json 파일 입력 구조 60
그림 5-12. camera.json 파일 입력 구조 60
그림 5-13. 돌발상황 발생 시 알림기능 (1) 61
그림 5-14. 돌발상황 발생 시 알림기능 (2) 62
그림 5-15. 돌발 상황 발생 시 알림기능 (3) 63
그림 5-16. 통합 시스템 개념도 64
그림 5-17. 단계별 테스트 코드의 역할 64
그림 5-18. 1단계 : 영상 스트리밍(RTSP) 테스트 65
그림 5-19. 2단계 : 스트리밍된 영상 왜곡 테스트 65
그림 5-20. 3단계 : 저장된 영상을 왜곡하여 객체 추론 테스트 66
그림 5-21. 4단계 : 돌발상황 발생 전파 테스트 66
그림 5-22. 5단계 : 실제 카메라 영상 스트리밍 및 추론 테스트 67
그림 5-23. 6단계 : 실제 CCTV 영상 돌발 상황 전파 테스트 68
그림 6-1. 객체 탐지 모듈 별 연결된 CCTV 정보 70
그림 6-2. 초기 시스템의 구성도 71
그림 6-3. 다릿재 터널, 백마령 터널 통합 시스템 구성도 72
그림 6-4. 6월 2주차(6/7~6/14) 돌발상황별 오작동 현황 73
그림 6-5. 6월 2주차(6/7~6/14) CCTV 별 오작동 현황 74
그림 6-6. 6월 2주차(6/7~6/14) 시간대별 화재 오작동 비율 74
그림 6-7. 6월 3주차 날씨 변화에 따른 화재 오작동율 감소 추이 74
그림 6-8. 시간대별(am 11시(상), pm 19시(하)) 터널 내 이미지의 변화 75
그림 6-9. 보행자 오작동의 대표적인 유형 75
그림 6-10. 정차 오작동의 대표적인 유형 76
그림 6-11. 돌발상황 성능 개선 프로세스의 개념도 77
그림 6-12. 화재 및 정차(차량) 오작동 레이블링 수정 78
그림 6-13. 보행자 오작동 레이블링 수정 79
그림 6-14. 월별(06/07~10/18) 화재 오작동 판단 횟수 변화 추이 79
그림 6-15. 월별(06/07~10/18) 보행자 오작동 판단 횟수 변화 추이 80
그림 6-16. 월별(06/07~10/18) 정차 오작동 판단 횟수 변화 추이 80
그림 6-17. 월별(06/07~10/18) 역주행 오작동 판단 횟수 변화 추이 80
그림 6-18. ROI 변경 전(좌), 후(우) 81
그림 6-19. 보행자 오작동 사례 81
그림 6-20. 월별 전체 오작동 현황 82
그림 6-21. 전체 데이터셋 내 목표객체 수 83
그림 6-22. 탐지거리 세분화 84
그림 6-23. 레이블링 데이터 분류 84
그림 6-24. 세분화된 데이터셋 내 목표객체 수 : 전체 데이터셋 85
그림 6-25. 중거리 및 장거리 객체 감소 이유 85
그림 6-26. 거리별 AP측정 결과 : 전체 데이터셋 86
그림 6-27. 세분화된 데이터셋 내 목표객체 수 : 백마/사패산 터널 86
그림 6-28. 거리별 AP측정 결과 : 백마/사패산 터널 데이터셋 87
그림 6-29. 세분화된 데이터셋 내 목표객체 수 : 다릿재 터널 87
그림 6-30. 탐지거리별 AP측정 결과 : 다릿재 터널 데이터셋 88
그림 6-31. ROI 비교 : 백마/사패산 터널(좌), 다릿재 터널(우) 88
그림 6-32. 오작동이 발생하는 경우 89
그림 6-33. 리스트형 돌발상황 개념도 90
그림 6-34. 정의한 오작동을 바탕으로 생성한 5주간(9/20~10/25) 오작동 수 90
그림 6-35. 타사 시스템의 시간대별 오작동 횟수(10월 2일 12시~10월 3일 12시) 91
그림 6-36. 딥러닝 기반 공공시설물 유고감지 시스템의 시간대별 오작동 횟수(10월 2일 12시~10월 3일 12시) 92