본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색

결과 내 검색

동의어 포함

고급검색

인명/단체명

저자정보 상세정보
인명/단체명을 입력하세요.

키워드

  • 대표어

  • 외국어

-

목차보기

Title Page 1

ABSTRACT 4

Contents 6

Nomenclature 12

1. Introduction 13

1.1. Background 13

1.2. Previous works 14

1.3. Contributions 18

1.4. Summary and Paper Organization 19

2. Autonomous Driving System 21

2.1. Bicycle Models 21

2.2. Autonomous Vehicle Navigation System 23

3. DQN-based Steering Control Algorithm 26

3.1. MDP formulation and DQN Training Process 26

3.2. Model Transfer with Fine-Tuning 28

4. DQN-based Joint Acceleration and Steering Control Algorithm 31

4.1. Joint DQN Approach 31

4.2. Hierarchical DQN Approach 33

5. Simulation Results 37

5.1. Simulation Environments 37

5.2. Performance of the Proposed DQN-Based Steering Control Algorithm 38

5.2.1. Path-Tracking Accuracy 38

5.2.2. Adaptability to Alternative Reference Paths 40

5.3. Performance of the Proposed DQN-Based Joint Acceleration and Steering Control Algorithm 51

5.3.1. J-DQN-Based Path-Tracking Algorithm 51

5.3.2. H-DQN-Based Path-Tracking Algorithm 53

6. Conclusion 60

Bibliography 61

Summary in Korean 64

List of Tables 7

Table 5.1. Simulation parameters for autonomous driving system 37

Table 5.2. Hyperparameters for DQN-based steering control algorithm 38

Table 5.3. Hyperparameters for model transfer with fine-tuning 41

Table 5.4. Hyperparameters for H-DQN-based path tracking algorithm 53

List of Figures 9

Fig. 1.1. Geometric illustration of the pure pursuit algorithm 15

Fig. 1.2. Geometric illustration of the Stanley controller 16

Fig. 2.1. Geometry of a kinematic bicycle model 21

Fig. 2.2. Geometry of dynamic bicycle model 22

Fig. 2.3. Navigation of an autonomous vehicle along a predefined reference path. (Red, black, and... 24

Fig. 3.1. The proposed model transfer with fine-tuning (MT-FT) framework for adaptation to new... 29

Fig. 4.1. The J-DQN training and execution framework. (Dotted arrows indicate training flow and... 32

Fig. 4.2. The proposed H-DQN framework for high-accuracy path tracking in unmanned vehicle... 33

Fig. 5.1. Predefined reference path near the main gate of Hankyong National University main gate,... 38

Fig. 5.2. Comparison of average lateral errors over training episodes for the reference path in Fig. 5.1 39

Fig. 5.3. Snapshot comparison of the lateral errors for the reference path in Fig. 5.1 39

Fig. 5.4. Statistical analysis of average lateral errors over 1000 trials for the reference path in Fig. 5.1 40

Fig. 5.5. Alternative reference path in Yeoksam, Seoul 41

Fig. 5.6. Alternative reference path near the west gate of Hankyong National University, Anseong... 41

Fig. 5.7. Comparison of the average lateral errors for the alternative reference path in Fig. 5.5 under... 43

Fig. 5.8. Statistical analysis of the average lateral errors over 1000 trials for the alternative reference... 43

Fig. 5.9. Comparison of the average lateral errors for the alternative reference path in Fig. 5.6 under... 44

Fig. 5.10. Statistical analysis of the average lateral errors over 1000 trials for the alternative reference... 44

Fig. 5.11. Comparison of the average lateral error for the alternative reference path in Fig. 5.5 under... 46

Fig. 5.12. Statistical analysis of the average lateral errors over 1000 trials for the alternative reference... 46

Fig. 5.13. Comparison of the average lateral errors for the alternative reference path in Fig. 5.6 under... 47

Fig. 5.14. Statistical analysis of the average lateral errors over 1000 trials for the alternative reference... 47

Fig. 5.15. Comparison of the average lateral errors for the alternative reference path in Fig. 5.5 under... 49

Fig. 5.16. Statistical analysis of the average lateral errors over 1000 trials for the alternative reference... 49

Fig. 5.17. Comparison of the average lateral errors for the alternative reference path in Fig. 5.6 under... 50

Fig. 5.18. Statistical analysis of the average lateral errors over 1000 trials for the alternative reference... 50

Fig. 5.19. Predefined reference path in the Gangnam district area, Seoul 51

Fig. 5.20. Comparison of the average lateral errors over training episodes for the reference path in... 52

Fig. 5.21. Snapshot comparison of the lateral errors for the reference path in Fig. 5.19 52

Fig. 5.22. Statistical comparison of lateral error over 1000 episodes for the reference path in Fig. 5.19 53

Fig. 5.23. Alternative reference paths in Yangjae, Seoul 54

Fig. 5.24. Comparison of the average lateral errors over training episodes for the reference path in Fig.... 54

Fig. 5.25. Snapshot comparison of the average lateral errors for the reference path in Fig. 5.19 55

Fig. 5.26. Statistical analysis of the averate lateral errors over 1000 trials for the reference path in Fig. 5.19 55

Fig. 5.27. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 57

Fig. 5.28. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 57

Fig. 5.29. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 57

Fig. 5.30. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 58

Fig. 5.31. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 58

Fig. 5.32. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 58

Fig. 5.33. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 59

Fig. 5.34. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 59

Fig. 5.35. Statistical analysis of the average lateral errors over 1000 trials for the reference path in Fig.... 59

List of Algorithms 8

Algorithm 3.1. Proposed DQN Training Algorithm 27

Algorithm 3.2. MT-FT Training Algorithm 30

Algorithm 4.1. H-DQN Training Algorithm 36

초록보기

 센서 기술과 연산 능력의 발전에 따라, 자율주행 차량은 지능적이고 안전하며 효율적인 차세대 모빌리티 구현을 통해 교통 시스템의 패러다임을 전환할 것으로 기대된다. 그러나, 다양한 도로 지형, 환경 노이즈, 제한된 학습 자원 하에서 높은 정밀도와 강인한 경로 추적을 달성하는 것은 여전히 중요한 기술적 도전 과제로 남아 있다. 본 학위논문은 자율주행 경로 추적의 정확도, 적응성, 학습 효율성을 개선하기 위한 심층 강화학습 기반 제어 프레임워크를 단계적으로 제안한다.

먼저, 경로 추적 문제를 마르코프 결정 과정(Markov decision process, MDP)으로 정의하고, 불필요한 하이퍼파라미터 없이도 정밀한 조향 제어가 가능한 DQN 기반 알고리즘을 제안한다. 이어서, 미학습 환경에서의 학습 효율을 높이기 위하여 사전 학습된 모델을 전이하고 미세 조정하는 model transfer with fine-tuning (MT-FT) 기법을 도입하여, 학습 시간을 절감하면서도 높은 경로 추적 성능을 유지한다.

이후, 조향 제어만으로는 한계가 있는 정밀 주행 문제를 해결하기 위해 가속도와 조향각을 동시에 제어하는 joint DQN (J-DQN) 알고리즘을 제안한다. J-DQN 기법은 경로 추적 성능을 향상시킬 수 있으나, 동작 공간(action space) 확대로 인해 훈련 및 연산 복잡도가 증가하는 한계를 가진다. 이를 해결하기 위해, 가속도와 조향각 제어를 계층적으로 분리하여 학습하는 hierarchical DQN (H-DQN) 구조를 제안한다. H-DQN 기법은 향상된 제어 정밀도, 미학습 환경에 대한 강한 일반화 성능, 그리고 J-DQN 대비 연산 복잡도의 감소를 동시에 달성할 수 있다.

마지막으로, 제안된 알고리즘들의 경로 추적 성능을 검증하기 위하여 다양한 도로 환경과 노이즈 조건을 고려한 시뮬레이션을 수행하여, 기존 경로 추적 기법 대비 뛰어난 추적 정확도, 적응 속도, 학습 효율성을 확보함으로써 실제 자율주행 환경에 적용 가능한 경량 고성능 경로 추적 제어기로서의 가능성을 확인한다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차

권호

기사명 원문보기 기사목차
닫기