본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색

결과 내 검색

동의어 포함

고급검색

인명/단체명

저자정보 상세정보
인명/단체명을 입력하세요.

키워드

  • 대표어

  • 외국어

-

목차보기

Title Page 2

Abstract 4

Contents 5

Chapter 1. Introduction 14

1.1. Problems 15

1.1.1. Contextual Combinatorial Bandits 15

1.1.2. Reinforcement Learning with Function Approximation 16

1.2. Summary of Contributions 16

Chapter 2. Contextual Combinatorial Bandits with Deep Neural Networks 19

2.1. Introduction 19

2.2. Problem setting 21

2.2.1. Contextual Combinatorial Bandit 21

2.3. Combinatorial Neural UCB (CN-UCB) 23

2.3.1. CN-UCB Algorithm 23

2.3.2. Regret of CN-UCB 24

2.3.3. Proof Sketch of Theorem 1 25

2.4. Combinatorial Neural TS (CN-TS) 27

2.4.1. Challenges in Worst-Case Regret Analysis for Combinatorial Actions 27

2.4.2. CN-TS Algorithm 28

2.4.3. Regret of CN-TS 29

2.4.4. Proof Sketch of Theorem 2 30

2.5. Numerical Experiments 31

2.6. Concluding Remarks 33

Chapter 3. Optimism-based Exploration for Multinomial Logistic Markov Decision Processes 34

3.1. Introduction 34

3.1.1. Related Work 37

3.2. Preliminaries 38

3.2.1. Notations 38

3.2.2. Problem Formulation 38

3.2.3. Linear Transition Model vs. Multinomial Logistic Transition Model 40

3.3. Algorithm and Main Results 41

3.3.1. UCRL-MNL Algorithm 41

3.3.2. Regret Bound for UCRL-MNL Algorithm 43

3.3.3. Proof Sketch and Key Lemmas 44

3.4. Numerical Experiments 45

3.5. Concluding Remarks 47

Chapter 4. Randomized Exploration for Multinomial Logistic Markov Decision Processes 48

4.1. Introduction 48

4.1.1. Related Work 50

4.2. Problem Setting 52

4.2.1. Multinomial Logistic Markov Decision Processes (MNL-MDPs) 53

4.2.2. Assumptions 54

4.3. Randomized Algorithm for MNL-MDPs having constant-time computational cost 54

4.3.1. Algorithm: RRL-MNL 54

4.3.2. Regret bound of RRL-MNL 57

4.4. Statistically Improved Algorithm for MNL-MDPs 58

4.4.1. Algorithms: ORRL-MNL 59

4.4.2. Regret Bound of ORRL-MNL 61

4.5. Numerical Experiments 62

4.6. Concluding Remarks 63

Conclusion and Future Directions 64

Bibliography 65

Appendices 77

Appendix A. Contextual Combinatorial Bandits with Deep Neural Networks 77

A.1. Regret Bound for CN-UCB 77

A.2. Regret Bound for CN-TS 86

A.3. Auxiliary Lemmas 93

A.4. Extensions from Neural Bandits for Single Action 94

A.5. Extension of Regret Analysis to α-approximation Oracle 96

A.6. When Time Horizon T Is Unknown 97

A.7. Specific Examples of Combinaotrial Feedback Models 99

A.8. Additional Related Work 102

A.9. Additional Experiments 103

Appendix B. Optimism-based Exploration for Multinomial Logistic Markov Decision Processes 105

B.1. Further Discussion on the Limitations of the Linear Transition Model 105

B.2. Proof of Theorem 3 107

B.3. Supporting Lemmas Used in Appendix B.2 115

B.4. Auxiliary Lemmas 119

B.5. Experiment Details 119

Appendix C. Randomized Exploration for Multinomial Logistic Markov Decision Processes 121

C.1. Additional Notations & Definitions 121

C.2. Detailed Regret Analysis for RRL-MNL (Theorem 4) 128

C.3. Detailed Regret Analysis for ORRL-MNL (Theorem 5) 153

C.4. Optimistic Exploration Extension 186

C.5. Experiment Details 190

C.6. Auxiliary Lemmas 191

초록 193

List of Tables 9

Table 2.1. Comparison with the related contextual combinatorial work. For the neural ... 20

Table 3.1. Average returns over 10 independent runs in RiverSwim environments 47

Table 4.1. Comparison with the related RL algorithms using function approximation. This... 50

List of Figures 10

Figure 2.1. Cumulative regret of CN-UCB, CN-TS, and CN-TS(M ＝ 1) compared with algo-... 31

Figure 2.2. Experiment results of CN-UCB, CN-TS, and CN-TS(M ＝ 1) as context dimension... 31

Figure 3.1. The "RiverSwim" environment with n states Osband et al 45

Figure 3.2. Episodic returns over 10 independent runs under the different RiverSwim... 46

Figure 4.1. Riverswim experiment results of algorithms for MNL-MDPs 63

List of Appendix Figures 10

Figure A.2. Cumulative regret of CN-TS and CombLinTS with respect to the network width 104

Figure B.3. Episodic returns over 10 independent runs under the different RiverSwim... 119

초록보기

 순차적 의사결정 문제에서 학습자(또는 에이전트)는 환경과 직접 상호작용하며 과제를 학습하는 데 필요한 데이터를 획득한다. 다른 머신러닝 패러다임과의 가장 큰 차이점은 학습자가 환경으로부터의 피드백을 활용하여 학습에 적합한 데이터를 직접 수집해야 한다는 점이다. 이러한 순차적 의사결정 문제를 위한 알고리즘을 설계할 때 다음 세 가지 주요 도전 과제가 존재한다: (ⅰ) 탐색-활용 균형(Exploration-Exploitation Trade-off): 더 나은 데이터를 획득하기 위해 학습자는 현재의 지식을 활용하여 최적의 결정을 내리는 것과 새로운 정보를 탐색하여 학습을 촉진하는 것 사이에서 균형을 유지해야 한다. (ⅱ) 일반화(Generalization): 현실 세계의 의사결정 문제에서는 선택해야 할 옵션의 집합이 방대하며, 학습 과정에서 동일한 데이터를 반복적으로 마주칠 가능성이 낮다. 따라서 알고리즘은 이전에 본 적 없는 데이터에 대해서도 성능을 보장할 수 있어야 한다. (ⅲ) 지연된 피드백(Delayed Feedback): 바둑과 같은 보드게임 환경에서는 학습자의 초기 행동에 대한 피드백이 게임이 끝난 후에야 주어지는 경우가 있다. 이러한 도전 과제를 해결하는 것뿐만 아니라, 현실 세계의 의사결정 문제를 위한 알고리즘은 성능 보장을 제공해야 한다. 이는 게임과 같은 시뮬레이션 환경과 비교했을 때, 현실 세계에서의 의사결정이 훨씬 더 중요한 영향을 미치기 때문이다. 본 논문에서는 두 가지 주요 순차적 의사결정 문제에 대해 성능 보장을 갖춘 알고리즘을 설계하는 데 초점을 맞춘다.

조합적 컨텍츄얼 밴딧 문제(Contextual Combinatorial Bandits, 2장): 학습 환경에서 제공되는 피드백에 대한 모델링 가정에 의존하지 않는 조합적 컨텍츄얼 밴딧 알고리즘을 논의한다. 심층 신경망의 강력한 표현력을 활용하여 제안된 알고리즘은 뛰어난 일반화 성능을 보이며, UCB 및 톰슨 샘플링을 활용한 효율적인 탐색을 통해 리그렛(regret) 유계에 대한 성능을 보장을 달성한다.

비선형 함수 근사 기반 강화학습(Reinforcement Learning with Non-linear Function Approximation, 3장 & 4장): 비선형 함수 근사를 기반으로 한 강화학습 알고리즘을 소개한다. 먼저, 기존의 선형 함수 근사 기반 강화학습 알고리즘의 한계를 분석하고, 이를 극복하기 위한 새로운 비선형 강화학습 프레임워크를 제안한다. UCB 및 무작위 탐색 전략을 활용함으로써 제안된 알고리즘이 계산 및 통계적으로 효율적임을 보인다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차

권호

기사명 원문보기 기사목차
닫기