본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색

결과 내 검색

동의어 포함

고급검색

인명/단체명

저자정보 상세정보
인명/단체명을 입력하세요.

키워드

  • 대표어

  • 외국어

-

목차보기

Title Page

ABSTRACT

Contents

1. Introduction 10

1.1. Magnetic microrobots and their uses 12

1.2. Magnetic nanoparticles and swarm control 13

1.3. Reinforcement Learning and applications 15

2. Experimental Setup 18

3. Simulation Environment 20

4. Training with a single magnet 24

4.1. Training on the simulation environment 24

4.2. Training on the physical system 27

5. Training with magnetic nanoparticles 31

5.1. Swarm detection and size estimation 31

5.2. Training parameters and results 32

5.3. Limitations 34

6. Conclusion 35

6.1. Limitations and possible solutions 36

6.2. Future Work 36

7. References 37

요약문 41

List of Tables

Table 1. Training parameters for the simulation environment 26

Table 2. Training parameters for the MNPs Swarm 32

List of Figures

Figure 1-1. A) SEM images of cylindrical, hexahedral, helical and spherical type 3D scaffold microrobots. Scale... 13

Figure 1-2. A-i) MNP chain formation and interchain interaction due to major and minor vortex stream. A-ii)... 14

Figure 1-3. Learning process in Reinforcement learning. S is the state of the environment, R is the reward, and A is... 15

Figure 1-4. A-i) Melamine agent with heating laser for discreet action, gridworld setup with reward definition and... 17

Figure 2-1. Experimental setup: Raspberry Pi 4 is used to communicate between Coil System and PC over... 18

Figure 2-2. EMAS Setup and PC connection 19

Figure 3-1. Iron fillings around a big magnet. The iron filling follows the expected magnetic field shape. 20

Figure 3-2. A) Simulation environment and physical setup with a microrobot in workspace. B) Evaluation... 21

Figure 3-3. Image processing for robot speed calculation in four-coil magnetic actuation system.... 22

Figure 3-4. Orange line in the graphs shows the robot's velocity in the simulation environment, while the... 23

Figure 4-1. Simulation environment on left and training scenario inside workspace on the right. 25

Figure 4-2. Moving average of normalized episode reward over time for TRPO, TD3, DDPG, and PPO 26

Figure 4-3. The Physical setup on the left and training scenario inside workspace on the right, the target is... 27

Figure 4-4. A) Equally distributed 5 x 5 grid for the heatmap. B) Normalized rewards heatmap over the entire... 28

Figure 4-5. A) Training the pre-trained simulation environment model for 170,000 steps. B) Normalized... 29

Figure 4-6. A) Agent's behavior at different learning stages. The behavior improved over time. B)... 30

Figure 5-1. The leftmost frame is the RGB frame retrieved through a camera, the middle frame is... 31

Figure 5-2. A) shows training 1, with no delays during steps and episodes. B) shows results of training 2,... 33

Figure 5-3. The swarm formatting was done, and after 20 secs of maintaining the shape, the environment... 34

초록보기

자성 나노 입자는 약물 정밀 전달부터 세포 단계의 치료까지 다양한 의공학 분야에서 사용된다. 이러한 자성 나노 입자는 영구 자석이나 전자석으로부터 생성된 외부 자기장을 통해 제어되고, 더 많은 약물 전달과 구동의 용이성을 위해 군집을 형성하여 이동할 수도 있다. 그러나 나노 입자의 군집 제어는 자기장의 비선형적인 특징, 자기장 제어 시스템의 복잡한 수학적인 모델링, 유체 내에서의 나노 입자의 운동 그리고 군집 제어의 복잡한 알고리즘으로 인해 매우 도전적인 연구이다.

본 연구에서는 심층 강화 학습을 통한 나노 입자의 군집 구동을 제어하는 새로운 접근법이 소개되었다. 강화 학습은 실험 환경과 피드백 간의 상호작용을 통해 특정 문제를 해결하는데 도움을 줄 수 있으며, 심층 신경망과 결합하여 자기장의 복잡한 특성과 나노 입자와의 상호작용을 모델링 하는 것도 가능하다. 나노 입자를 이용한 실험을 진행하기 전에, 밀리미터 사이즈 이하의 자기 로봇과 4 코일 전자기석 구동 시스템을 위한 시뮬레이션 소프트웨어가 Unity 3D 상에서 디자인되었다. 이러한 시뮬레이션 환경은 심층 강화 학습과 전자기석 구동 시스템의 통합 가능성을 확인하고, 서로 다른 심층 강화 학습 방법들의 성능을 평가하며, 훈련 시간을 줄이기 위해 이용되었다. 우리는 시뮬레이션 작업 공간 내에서 로봇의 조작을 제어하기 위해 모델을 훈련시켰다. 물리적인 환경에서 시뮬레이션의 성능을 평가하기 위해, 훈련된 모델을 전자기 구동 시스템 상에서 테스트하였고, 자기장의 비선형적 동작을 반영하고, 성능을 향상시키기 위해 다시 훈련시켰다. 마지막으로, 군집의 형성과 이동을 향상시키기 위해, 500 nm 의 초상자성체 산화철 나노 입자와 심층 강화 학습에서 사용되었던 것과 동일한 4 코일 전자기석 구동 시스템을 이용하여 군집 제어를 위한 훈련이 이루어졌다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차

권호

기사명 원문보기 기사목차
닫기