CHAPTER 1 딥러닝을 위한 선형대수학 기초1.1 데이터 구조와 연산 __1.1.1 행렬 연산 __1.1.2 벡터 연산 __1.1.3 행렬-벡터 곱셈 1.2 기본 공간 __1.2.1 열공간 __1.2.2 영공간 1.3 고유벡터와 고유값 요약 CHAPTER 2 확률 기초2.1 사건과 확률 2.2 조건부 확률 2.3 확률 변수 2.4 기댓값 2.5 분산 2.6 베이즈 정리 2.7 엔트로피, 교차 엔트로피 및 KL 발산 2.8 연속 확률 분포 요약 60CHAPTER 3 신경망3.1 지능형 머신 구축 3.2 전통적인 컴퓨터 프로그램의 한계 3.3 머신러닝 동작 원리 3.4 뉴런 3.5 뉴런으로 나타낸 선형 퍼셉트론 3.6 순방향 신경망 3.7 선형 뉴런과 그 한계 3.8 시그모이드 뉴런, Tanh 뉴런, ReLU 뉴런 3.9 소프트맥스 출력 레이어 요약 CHAPTER 4 순방향 신경망 훈련4.1 패스트푸드 문제 4.2 경사하강법 4.3 델타 규칙과 학습률 4.4 시그모이드 뉴런을 이용한 경사하강법 4.5 역전파 알고리즘 4.6 확률적 경사하강법과 미니배치 경사하강법 4.7 테스트셋, 검증셋, 과적합 4.8 심층 신경망 과적합 방지 CHAPTER 5 PyTorch 기반 신경망 구현5.1 PyTorch 소개 5.2 PyTorch 설치 5.3 PyTorch 텐서 __5.3.1 텐서 초기화 __5.3.2 텐서 속성 __5.3.3 텐서 연산 5.4 PyTorch에서의 경사 5.5 PyTorch nn 모듈 5.6 PyTorch 데이터셋과 데이터 로더 5.7 PyTorch에서 MNIST 분류기 구축 요약 CHAPTER 6 경사하강법6.1 경사하강법의 도전 과제 6.2 심층 신경망 오차 표면의 극소점 6.3 모델 식별성 6.4 심층 신경망에서 가짜 극소점이 미치는 영향 6.5 오차 표면의 평평한 영역 6.6 경사 방향이 잘못된 경우 6.7 모멘텀 기반 최적화 6.8 간략한 이차 근사 방법 개요 6.9 학습률 적응 __6.9.1 AdaGrad: 경사 누적 알고리즘 __6.9.2 RMSProp: 경사 지수 가중 이동 평균 __6.9.3 Adam: 모멘텀과 RMSProp의 결합 6.10 옵티마이저 선택의 철학 요약 CHAPTER 7 합성곱 신경망 7.1 인간 시각에서의 뉴런 7.2 피처 선택의 한계 7.3 기본 심층 신경망의 확장 한계 7.4 필터와 피처 맵 7.5 합성곱 레이어에 대한 상세 설명 7.6 맥스 풀링 7.7 합성곱 신경망 아키텍처 상세 설명 7.8 합성곱 신경망으로 MNIST 문제 해결 7.9 이미지 전처리 파이프라인으로 더욱 강건한 모델 지원7.10 배치 정규화를 통한 훈련 가속화 7.11 메모리 제약이 있는 학습 작업을 위한 그룹 정규화7.12 CIFAR-10을 위한 합성곱 신경망 구축7.13 합성곱 신경망에서 학습 시각화 7.14 복잡한 심층 신경망을 위한 잔차 학습과 스킵 연결 7.15 인간을 초월한 시각을 지닌 잔차 신경망 구축 7.16 합성곱 필터를 활용한 예술 스타일 재현7.17 다른 문제 도메인에 적용되는 합성곱 필터 학습요약CHAPTER 8 임베딩과 표현 학습8.1 저차원 표현 학습 8.2 주성분 분석8.3 오토인코더 아키텍처의 필요성 8.4 PyTorch에서 오토인코더 구현 8.5 노이즈에 강한 표현을 위한 디노이징 8.6 오토인코더에서의 희소성 8.7 입력 벡터보다 컨텍스트에서 더 많은 정보를 제공하는 경우 8.8 Word2Vec 프레임워크 8.9 Skip-Gram 아키텍처 구현요약 CHAPTER 9 시퀀스 분석 모델9.1 가변 길이 입력 분석 9.2 신경망 N-Gram으로 seq2seq 처리 9.3 품사 태거 구현 9.4 의존성 파싱과 SyntaxNet 9.5 빔 서치와 전역 정규화 9.6 스테이트풀 딥러닝 모델 사례 9.7 순환 신경망 9.8 경사 소실의 문제점9.9 장단기 메모리 유닛 9.10 RNN 모델을 위한 PyTorch 기본 요소 9.11 감정 분석 모델 구현 9.12 순환 신경망으로 seq2seq 작업 해결 9.13 어텐션으로 순환 신경망 증강 9.14 번역 신경망 분석 9.15 셀프 어텐션과 트랜스포머 요약CHAPTER 10 생성 모델10.1 생성적 적대 신경망 10.2 변이형 오토인코더 10.3 변이형 오토인코더 구현 10.4 점수 기반 생성 모델 10.5 디노이징 오토인코더와 점수 매칭 요약CHAPTER 11 해석 가능성 방법론11.1 개요 11.2 결정 트리와 트리 기반 알고리즘 11.3 선형 회귀 11.4 피처 중요도 평가 방법 __11.4.1 순열 피처 중요도 __11.4.2 부분 의존도 그래프 11.5 추출적 합리화11.6 LIME 11.7 SHAP 요약CHAPTER 12 메모리 증강 신경망12.1 신경망 튜링 머신 12.2 어텐션 기반 메모리 접근 12.3 NTM 메모리 주소 지정 메커니즘 12.4 미분 가능 신경망 컴퓨터 12.5 DNC에서의 간섭 없는 쓰기12.6 DNC 메모리 재사용 12.7 DNC 쓰기의 시간적 연결 12.8 DNC 읽기 헤드 이해 12.9 DNC 컨트롤러 신경망 12.10 동작 중인 DNC 시각화 12.11 PyTorch에서 DNC 구현하기 12.12 DNC에 독해를 가르치기 요약CHAPTER 13 강화 학습13.1 Atari 게임을 마스터한 심층 강화 학습 13.2 강화 학습 소개 13.3 마르코프 결정 과정 __13.3.1 정책 __13.3.2 미래 보상 __13.3.3 할인된 미래 보상 13.4 탐색과 활용 비교 __13.4.1 𝜖-그리디 __13.4.2 어닐링된 𝜖-그리디 13.5 정책 학습과 가치 학습 비교 13.6 정책 경사를 이용하는 폴 카트 __13.6.1 OpenAI Gym __13.6.2 에이전트 만들기 __13.6.3 모델 및 최적화기 구축 __13.6.4 샘플링 액션__13.6.5 이력 추적 __13.6.6 정책 경사 main 함수 __13.6.7 폴 카트에서의 PGAgent 성능13.7 신뢰 영역 정책 최적화 13.8 근접 정책 최적화 13.9 Q러닝과 DQN __13.9.1 벨만 방정식 __13.9.2 가치 이터레이션의 문제 __13.9.3 Q함수 근사화하기 __13.9.4 DQN __13.9.5 DQN 훈련하기 __13.9.6 학습 안정성 __13.9.7 타깃 Q네트워크 __13.9.8 경험 리플레이 __13.9.9 Q함수에서 정책으로 __13.9.10 DQN과 마르코프 가정 __13.9.11 마르코프 가정에 대한 DQN의 해법 __13.9.12 DQN으로 Breakout 플레이 __13.9.13 아키텍처 구축 __13.9.14 프레임 스태킹 __13.9.15 훈련 연산 설정 __13.9.16 타깃 Q네트워크 업데이트 __13.9.17 경험 리플레이 구현 __13.9.18 DQN 메인 루프 __13.9.19 Breakout에 대한 DQNAgent 결과 13.10 DQN의 개선과 그 이상의 발전 __13.10.1 심층 순환 Q네트워크 __13.10.2 비동기 우위 액터 크리틱 에이전트 __13.10.3 비지도 강화 및 보조 학습 요약