[표지] 1
제출문 3
요약문 4
SUMMARY 5
목차 7
제1장 서론 16
1.1. 연구 배경 및 목적 16
1.2. 연구 주요내용 17
1.3. 연구 범위 및 기대 효과 18
1.3.1. 연구 범위 18
1.3.2. 연구 기대효과 19
1.4. 연구 추진전략 및 방향 19
제2장 SLAM 기반 실내측위 및 영상인식 최신기술 조사 24
2.1. Vision 센서 기반 SLAM 최신 기술 조사·분석 24
2.1.1. Visual SLAM 개요 24
2.1.2. 베이지안 필터링과 그래프 최적화 25
2.1.3. 특징점 기반 방법과 direct 방법 27
2.1.4. Visual SLAM 방법론 29
2.2. 딥러닝기반 영상인식 기술 수준 조사·분석 37
2.2.1. 딥러닝 프레임워크 종류 37
2.2.2. 2D CNN 40
2.2.3. 3D 딥러닝 기술 47
2.3. SLAM 기반 실내 측위 및 맵핑 알고리즘을 위한 수식 정리 53
2.3.1. SO(3), SE(3), so(3), 리 대수 53
2.3.2. 로드리게스(Rodrigues) 공식 58
2.3.3. 점과 선 및 평면과의 거리 공식 59
2.4. 소결 60
제3장 Vision-LiDAR 모듈 구현 및 자료융합 기술 개발 연구 63
3.1. 다중센싱기반 실내조사 운용성능 및 임무설계 63
3.1.1. 조사로봇 운용 모드 및 실내환경 조건 설정 63
3.1.2. 운용 시나리오 설계 66
3.2. 다중센싱기반 실내측위 모듈 구현·개발 66
3.2.1. 다중센서모듈 센서 선정 66
3.2.2. 다중센서모듈 센서 캘리브레이션 67
3.2.3. 다중센서모듈 설계 70
3.2.4. 다중센서 모듈 탑재 위치에 따른 진동성향 분석 72
3.3. 조사로봇탑재 Vision센서의 영상 geo-referencing 기법 개발 74
3.3.1. LiDAR-Visual-SLAM 알고리즘 선정 및 적용 76
3.4. Vision 센서 자료 실시간 보정 및 맵핑 적용 79
3.4.1. 이미지 특징점 검출 및 매칭 성능 분석 79
3.4.2. Vision-LiDAR 자료융합 처리속도 개선 81
3.4.3. 3차원 지도 후처리 보정 기법 구현 81
3.5. 소결 83
제4장 Vision-LiDAR기반 재난정보 탐지·분석 기술 연구 87
4.1. 융합자료기반 실내 핵심 시설물 3차원 모델 생성 87
4.2. 시설물 부재별 정보추출·분류, 자료 구조화 방안 연구 88
4.2.1. 시설물 부재별 정보 추출 및 분류 88
4.2.2. 시설물 부재별 정보 추출 결과 91
4.3. 시설물 손상정보 탐지·추출, 손상물량 자료 관측 및 DB화 연구 94
4.3.1. 손상정보 탐지/추출 결과 95
4.3.2. 손상정보 추정 알고리즘 100
4.3.3. 손상정보 위치 표시 알고리즘 (시설물의 3차원 모델 생성) 및 DB화 연구 100
4.4. 소결 101
제5장 결론 105
참고문헌 107
부록 1. 실내측위 및 맵핑 프로그램 활용메뉴얼 115
판권기 122
표 2.1. 카메라 종류와 SLAM 결과 25
표 2.2. 딥러닝 프레임워크 지원 플랫폼 및 인터페이스 정리 40
표 3.1. 실내 측위 및 맵핑 기술 적용을 위한 환경설정 조건 66
표 3.2. 선정된 LiDAR와 Vision, IMU 67
표 3.3. 진동 감쇠비 73
그림 1.1. 재난사고 현장 예시 16
그림 1.2. 재난사고 현장에 투입된 조사로봇 16
그림 1.3. 2021년도 조사로봇 탑재용 다중센서모듈 17
그림 1.4. Vision-LiDAR 통합정보 기반 실내 맵핑 예시 18
그림 1.5. 연구 추진 전략 및 방향 20
그림 2.1. 베이지안 필터링과 BA를 이용한 SLAM의 그래프 표현 27
그림 2.2. 특징점 기반 방법과 direct 방법의 비교 28
그림 2.3. Visual SLAM의 두 가지 패러다임 변화의 관점에서 본 기술 흐름 29
그림 2.4. Rao-Blackwellized 입자 필터를 이용한 SLAM 결과 31
그림 2.5. 특징점 기반 SLAM과 Direct SLAM 결과 32
그림 2.6. 지도 학습과 비지도 학습 기반의 오도메트리 추정 기술 35
그림 2.7. 지도 학습과 비지도 학습을 이용한 매핑 기술 36
그림 2.8. 딥러닝 기반의 깊이 생성과 VO를 융합한 하이브리드 Visual SLAM 기술 37
그림 2.9. 동적 환경에 강인한 하이브리드 SLAM 기술 37
그림 2.10. AlexNet 아키텍처 41
그림 2.11. GoogleNet 아키텍처 42
그림 2.12. ResNet 아키텍처 43
그림 2.13. Faster R-CNN 아키텍처 및 주요 특징 44
그림 2.14. SSD 아키텍처 및 주요 특징 45
그림 2.15. Scale-Invariant feature를 추출하는 기법들 46
그림 2.16. YOLO-v3 아키텍처 및 주요 특징 47
그림 2.17. 방향 인코딩 포인트 컨벌루션 레이어의 세부 정보 그림. 48
그림 2.18. S3DIS 데이터 세트(3차원 포인트 클라우드 데이터에서 시멘틱 기반 객체 인식을 위한 딥러닝 학습 및 예측 모델)에 대한 시각화 결과 48
그림 2.19. 슈퍼 포인트 그래프 아키텍처 및 주요 특징 49
그림 2.20. 포인트 RCNN 아키텍처 및 주요 특징 50
그림 2.21. ImVoteNet 아키텍처 및 주요 특징 51
그림 2.22. pixelNeRF 아키텍처 및 주요 특징 52
그림 2.23. GANverse3D 아키텍처 및 주요 특징 52
그림 2.24. 3D-FCR-alphaGAN 아키텍처 및 주요 특징 53
그림 2.25. ω를 중심으로 회전 58
그림 2.26. 점과 선 및 면까지의 거리 60
그림 3.1. 실내 측위 및 맵핑 고도화 기술 검증 환경 64
그림 3.2. 재난환경 험지 모사 구조물 65
그림 3.3. 콘크리트 더미 65
그림 3.4. 카메라 캘리브레이션 68
그림 3.5. 카메라-LiDAR 캘리브레이션 69
그림 3.6. IMU 캘리브레이션 결과 70
그림 3.7. 센서 모듈 설계 및 탑재 71
그림 3.8. 센서 모듈 구성도 71
그림 3.9. 다중센서모듈의 실제 구성요소 및 배치 72
그림 3.10. 센서모듈의 Body 마운트(2021년도)와 Arm 마운트(2022년도)의 진동수준 비교 73
그림 3.11. 다중센서모듈의 영상 geo-referencing 74
그림 3.12. 조사로봇의 융합자료기반 손상정보 geo-referencing 구조도 75
그림 3.13. 시설물 손상정보의 geo-referncing 결과 76
그림 3.14. LVI-SAM 구조도 77
그림 3.15. R3LIVE 구조도 77
그림 3.16. R3LIVE를 이용하여 제작한 지도 78
그림 3.17. 특징점 검출자 별 매칭 결과 80
그림 3.18. 코드 최적화 전후 1프레임 계산속도 비교 81
그림 3.19. 3차원 지도 후처리 보정 기법 구조도 82
그림 3.20. Pose graph 지도 보정 기법 결과 82
그림 4.1. Mesh Reconstruction을 통한 3차원 모델 생성 88
그림 4.2. DeepLab 아키텍처 90
그림 4.3. 시설물 분할 네트워크 훈련 데이터셋(MIT SceneParse 150) 91
그림 4.4. 시설물 분할 클래스 및 표현 색 92
그림 4.5. 시설물 분할 결과 92
그림 4.6. 분할 결과 분석 93
그림 4.7. 재난환경 시설물 분할 결과(왼쪽 : 입력데이터, 오른쪽 : 분할 결과) 93
그림 4.8. 시설물 분할 클래스 및 표현 색 94
그림 4.9. 시설물 손상정보 탐지 및 추출을 위한 알고리즘 구성 95
그림 4.10. 근거리에서 균열 분할 결과 95
그림 4.11. 원거리에서 균열 분할 결과 96
그림 4.12. 실험데이터에서 균열 검출 결과 96
그림 4.13. 실험데이터에서 균열 검출 결과 97
그림 4.14. 균열 분할 결과(왼쪽 : 입력 영상, 오른쪽 : 분할 결과) 98
그림 4.15. 균열 분할 결과 분석 98
그림 4.16. 더미 분할 결과(왼쪽 : 입력 영상, 오른쪽 : 분할 결과) 99
그림 4.17. 더미 분할 결과 분석 99
그림 4.18. 단일 패턴 균열의 폭과 길이 추정 결과 100
그림 4.19. 다중 패턴 균열의 폭과 길이 추정 결과 100
그림 4.20. 손상정보 위치 표시 결과 101