본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색

결과 내 검색

동의어 포함

고급검색

인명/단체명

저자정보 상세정보
인명/단체명을 입력하세요.

키워드

  • 대표어

  • 외국어

-

목차보기

표제지

목차

초록 10

I. 서론 12

1. 연구의 배경 및 필요성 12

2. 연구의 목적 및 범위 13

3. 연구의 방법 및 구성 14

II. 관련연구 16

1. 클라우드 컴퓨팅 16

1) 클라우드 컴퓨팅의 개요 16

2) 클라우드 컴퓨팅의 선행연구 18

2. 가상 네트워크 25

1) SDN 25

2) NFV 26

3) SDN과 NFV의 비교 28

3. 분산처리 시스템 30

1) Hadoop 분산처리 시스템 30

2) Spark 분산처리 시스템 31

3) Storm 분산처리 시스템 32

4) Hadoop, Spark, Storm의 비교 34

III. SDN가상 네트워크기반 Hadoop 분산처리 시스템의 기술 및 설계 35

1. SDN 및 Hadoop 핵심 기술 35

1) SDN의 핵심 기술 35

2) Hadoop의 핵심 기술 44

3) SDN기반 Hadoop시스템의 기대효과 52

2. SDN가상 네트워크기반 Hadoop 분산처리 시스템의 구조설계 53

1) 논리적 구조 설계 53

2) 물리적 구조 설계 54

3. SDN기반 대역폭감지 자동 스케줄링 기법의 설계 56

1) Hadoop의 기존 스케줄링 기법 56

2) SDN기반 대역폭감지 자동 스케줄링 기법 58

3) SBAS스케줄링 기법의 추출 60

4) FIFO, FSS, SBAS 스케줄링 기법의 비교 62

5) SBAS스케줄링 기법의 성능검증 63

4. SDN기반 Hadoop 분산처리 시스템의 설계 72

1) SDN기반 Hadoop 분산처리 시스템의 업무흐름 72

2) MapReduce 설계 74

3) Hadoop 분산 파일 시스템의 설계 74

4) SDN기반 자동 스케줄링 모델의 설계 76

IV. SDN가상 네트워크기반 Hadoop 분산처리 시스템의 구현 및 평가 79

1. 구현환경 79

1) 하드웨어 환경 79

2) 소프트웨어 환경 80

3) 네트워크 환경 80

4) 구현할 시스템의 업무환경 81

2. SDN기반 Hadoop 분산처리 시스템의 구현 91

1) Hadoop 분산 파일 시스템 구현 91

2) MapReduce 구현 93

3) SBAS 스케줄링 모델의 구현 95

3. 구현결과의 평가 99

1) 구현의 결과 99

2) 결과에 대한 평가 107

V. 결론 112

1. 연구의 결론 112

2. 연구의 한계점 및 향후 연구방향 113

참고문헌 114

Abstract 123

표목차

표 1. 클라우드 컴퓨팅의 정의 17

표 2. 클라우드 컴퓨팅과 타 컴퓨팅과의 비교 19

표 3. SDN과 NFV의 비교 29

표 4. Spark의 구성요소 32

표 5. Storm의 구성요소 33

표 6. Hadoop, Spark, Storm의 비교 34

표 7. 기존 OpenFlow 컨트롤러의 종류 및 특징 39

표 8. FIFO, FSS, SBAS 스케줄링 기법의 비교 62

표 9. Hadoop 분산 파일 시스템의 설계 75

표 10. 물리기계의 정보 79

표 11. Hadoop 분산처리 시스템의 각 SW의 버전 80

표 12. 네트워크 정보 80

표 13. 네트워크 설정값 81

표 14. NOX-FlowTable 81

표 15. 연간 최저기온 추출작업의 실행 결과 104

표 16. 연간 최고기온 추출작업의 실행 결과 105

표 17. 연간 평균기온 추출작업의 실행 결과 106

그림목차

그림 1. 클라우드 컴퓨팅 개념도 16

그림 2. 컴퓨팅의 발전 18

그림 3. 국내 클라우드 컴퓨팅 시장 현황 21

그림 4. 아마존의 스토리지 모델 22

그림 5. SDN의 구조 25

그림 6. NFV의 구조 27

그림 7. NFV와 SDN의 관계도 28

그림 8. Hadoop의 구조 30

그림 9. Spark의 구조 31

그림 10. Storm의 구조 33

그림 11. SDN의 논리적 구조 36

그림 12. SDN의 물리적 구조 37

그림 13. OpenFlow의 구조 38

그림 14. HDFS의 구조 45

그림 15. HDFS의 파일을 읽어오는 순서 47

그림 16. HDFS에 파일을 저장하는 순서 48

그림 17. MapReduce 작업의 구성요소와 그 실행 순서 49

그림 18. MapReduce 작업의 종료 순서 51

그림 19. SDN기반 Hadoop 시스템의 논리적 구조 53

그림 20. SDN기반 Hadoop 시스템의 물리적 구조 54

그림 21. MasterNode(A)와 SlaveNode (B)의 구조 55

그림 22. FIFO스케줄링 기법의 알고리즘 56

그림 23. FIFO스케줄링과 공정 스케줄링 기법의 비교 57

그림 24. SDN기반 대역폭 감지 자동 스케줄링 기법의 알고리즘 설계 61

그림 25. 검증 시스템의 구조 63

그림 26. Node의 처리 대기시간 및 DataNode에의 DataBlock 64

그림 27. FIFO기법의 작업 스케줄링 65

그림 28. FSS기법의 작업 스케줄링 67

그림 29. SBAS기법의 작업 스케줄링 69

그림 30. FIFO, FSS, SBAS 성능비교 71

그림 31. SDN기반 Hadoop 분산처리 시스템의 업무흐름 72

그림 32. Hadoop 분산 파일 시스템의 구조 75

그림 33. SDN기반 자동 스케줄링 모델의 구조 76

그림 34. 태스크 행렬 저장 모델 설계 77

그림 35. 작업 전처리 모델 설계 78

그림 36. Hadoop 분산처리 시스템의 구현도 79

그림 37. Map와 Reduce의 Task처리 흐름도 83

그림 38. HDFS의 Masters, Slaves의 구현 결과 93

그림 39. MapReduce 구현 결과 94

그림 40. 작업 초기화 관리모델 구현 결과 95

그림 41. 작업행렬 관리모델 구현 결과 96

그림 42. 태스크 분배 모델 구현 결과 97

그림 43. 태스크 행렬 저장모델 구현 결과 98

그림 44. 각 노드에 Map Task 및 Reduce Task의 분배 101

그림 45. Map Task 및 Reduce Task 각 노드에 실행 101

그림 46. Job MapTime 102

그림 47. Job ReduceTime 103

그림 48. 연간 최저기온 추출 작업의 결과 화면 103

그림 49. 각 스케줄링 기법의 연간 최저기온을 추출하는 작업의 실행 결과 107

그림 50. 각 스케줄링 기법의 연간 최고기온을 추출하는 작업의 실행 결과 108

그림 51. 각 스케줄링 기법의 연간 평균기온을 추출하는 작업의 실행 결과 108

그림 52. 데이터 크기 500MB, 8GB, 16GB일 때 각 기법의 MT, RT비교 109

그림 53. FIFO기준으로 FSS, SBAS의 성능비교 110

초록보기

 본 연구는 클라우드 컴퓨팅에 관한 선행연구를 고찰하고, 본 연구의 핵심기술인 가상 네트워크 기술과 분산처리 시스템에 대해 고찰하였다. 가상 네트워크 기술은 SDN과 NFV의 개념, 구조 및 특징에 대해 비교분석을 하였다. 분산처리 기술은 Hadoop, Spark, Storm 분산처리 시스템의 개념, 구성 및 특징을 비교분석하였으며, Hadoop 분산처리 시스템의 핵심기술인 Hadoop 분산 파일 시스템, MapReduce 병렬처리 모델, 스케줄링 기법에 대해 고찰하였다. 이를 근거로 Hadoop분산처리 시스템의 문제점을 아래와 같이 도출하였다.

첫째, 데이터 전송과정의 부하발생. 중간 데이터 전송 단계에서 상황에 따라 많은 디스크 I/O 및 Network 트랙픽을 야기할 수 있다.

둘째, 반복작업의 비효율성. MapReduce로 이어지는 2단계 구조로 데이터를 프로세싱하기 때문에 반복 작업이 많을 경우 비효율적이다.

셋째, 비동기적 발생 데이터 처리의 한계성. 비동기적이며 산발적으로 일어나는 데이터 처리 또는 연산 작업에는 적합하지 않은 구조이다.

그러므로 본 논문에서는 가상화 네트워크 기술을 이용해서 Hadoop분산처리 시스템의 문제점을 보완하기 위하여 SDN의 구조 및 특징 그리고 핵심기술인 OpenFlowAPI에 대해 연구하였으며, SDN에 관한 연구를 통해서 SDN의 기능효과 및 SDN기반 Hadoop분산처리 시스템의 기대효과를 도출하였다. Hadoop분산처리 시스템에서 SDN기술을 도입하기 위해 SDN기반 Hadoop분산처리 시스템의 논리적, 물리적 모델을 설계하고, SBAS스케줄링 모델, Hadoop분산처리 시스템의 분산 파일 시스템 및 MapReduce병렬처리 모델을 설계하였다. SDN기반 자동 스케줄링 모델의 대역폭 감지 기능 및 SBAS스케줄링 기법을 설계하였으며, SBAS스케줄링 기법과 기존 Hadoop의 스케줄링 기법을 비교분석하여 설계된 SDN기반 자동 스케줄링 모델의 성능을 검증하였다. 이들을 기반으로 SDN가상 네트워크기반 Hadoop분산처리 시스템을 구현 하였으며, 이들 시스템에 대해 테스트를 실행한 후 그 결과를 바탕으로 FIFO, FSS, SBAS스케줄링에 대해 성능평가를 실시하였으며, 그 결과 본 논문에서 제안한 SBAS스케줄링 기법이 우수한 것으로 검증되었다.

그러나 본 연구에서 MapReduce 병렬처리 업무 중심으로 시스템을 설계하며 그래프 처리, 실시간 처리 등 다양한 처리 방식을 적용 하지 못한 것이 본 논문의 한계점이다. 또한 구현한 SBAS 스케줄러는 기존 Hadoop의 JobTracker를 통해서 작업을 배치하며, 기존 JobTracker는 클러스터의 리소스를 관리하고 MapReduce 병렬처리의 스케줄링 및 모니터링을 동시에 작동하는 것은 불가능하다.

향후에는 클러스터의 리소스 등의 고유한 자원 관리를 연구하여 애플리케이션에 높은 성능 및 일관성을 제공하는 세분화된 자원(메모리, CPU, 디스크 I/O) 관리까지 연구하고자 한다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차

권호

기사명 원문보기 기사목차
닫기