표제지
목차
국문요약 13
Ⅰ. 서론 15
Ⅱ. 연구 배경 및 동기 18
1. 저전력 소형 컴퓨팅 시스템 : 라즈베리 파이 (Raspberry Pi) 18
1) 전력 소비량 20
2) CPU 성능 21
3) 네트워크 성능 22
4) 스토리지 미디어 성능 23
2. 고성능 컴퓨팅 시스템 : 인텔 옵테인 영구 메모리 (Intel Optane Persistent Memory) 28
1) 앱 다이렉트 모드 (App Direct Mode) 29
2) 메모리 모드 (Memory Mode) 30
3. 빅데이터 플랫폼 33
1) 빅데이터 처리 및 분석 플랫폼 : Apache Hadoop, Apache Spark 33
2) 빅데이터 검색 플랫폼 : ElasticSearch 33
Ⅲ. 싱글 보드 컴퓨터 클러스터를 활용한 저전력 소형 컴퓨팅 시스템 37
1. 연구 배경 37
1) 관련 연구 39
2. Cluster Architecture and Configurations 41
3. 싱글 보드 컴퓨터 클러스터 빅데이터 처리 성능 45
1) Wordcount 46
2) TeraSort 50
3) TestDFSIO Read and Write 54
4) Pi Computation 57
5) 라즈베리 파이 4B, 라즈베리 파이 3B 61
6) 라즈베리 파이 4B, 데스크탑 PC 64
4. Discussion 66
1) CPU 온도 스로틀링 66
2) CRC 비활성화 68
3) 마스터 노드 분리 69
4) 다양한 성능 관점 71
5) 데이터 크기 72
5. 결론 73
Ⅳ. 차세대 영구 메모리를 활용한 고성능 컴퓨팅 시스템 76
1. 연구 배경 76
1) 관련 연구 76
2. ElasticSearch Architecture 77
3. ElasticSearch 기본 성능 실험 79
1) 색인 성능 실험 80
2) 검색 성능 실험 83
3) 색인/검색 성능 실험 86
4. 차세대 영구 메모리 기반 성능 최적화 작업 89
1) 프라이머리 샤드 개수 89
2) Bulk Indexing Client 93
3) 영구 메모리 데이터 저장 비율 95
5. Discussion 97
1) 색인 작업 호출 함수 변경 97
2) 영구 힙 파일을 이용한 노드 메모리 생성 100
6. 결론 102
Ⅴ. 결론 104
참고문헌 105
ABSTRACT 112
〈표 1〉 RPi 3B, RPi 4B 사양 비교 19
〈표 2〉 라즈베리 파이 유휴 상태, 부하 상태 전력 소비량 20
〈표 3〉 라즈베리 파이 평균 CPU 성능 (events per second) 21
〈표 4〉 라즈베리 파이 평균 온보드 네트워크 성능 23
〈표 5〉 SD 카드 용량 타입 24
〈표 6〉 SD 카드 속도 등급 24
〈표 7〉 버전별 UFS 카드 비교 25
〈표 8〉 저장 매체 성능 27
〈표 9〉 클러스터 사양 43
〈표 10〉 세 가지 저장 매체 특성과 사양 44
〈표 11〉 하둡 환경 설정 45
〈표 12〉 하둡 Wordcount 벤치마크 결과 49
〈표 13〉 스파크 Wordcount 벤치마크 결과 50
〈표 14〉 하둡 TeraSort 벤치마크 결과 53
〈표 15〉 스파크 TeraSort 벤치마크 결과 54
〈표 16〉 하둡 TestDFSIO 결과 56
〈표 17〉 스파크 TestDFSIO 결과 56
〈표 18〉 하둡 Pi 벤치마크 결과 60
〈표 19〉 스파크 Pi 벤치마크 결과 60
〈표 20〉 하둡 TeraSort 벤치마크 결과 : 3B vs. 4B 62
〈표 21〉 스파크 TeraSort 벤치마크 결과 : 3B vs. 4B 62
〈표 22〉 데스크탑 PC와 RPi 4B의 다양한 벤치마크 성능 비교 64
〈표 23〉 서버 사양 78
〈표 24〉 시스템 환경 별 구성 78
〈표 25〉 ElasticSearch 기본 성능 실험 환경 설정 79
〈표 26〉 샤드 개수와 색인 성능 90
[그림 1] 영구 메모리 계층 구조 28
[그림 2] 옵테인 영구 메모리 운영 모드 29
[그림 3] 앱 다이렉트 모드 대역폭 30
[그림 4] 메모리 모드 대역폭 31
[그림 5] 메모리 모드 지연 시간 31
[그림 6] ElasticSearch 클러스터 구조 34
[그림 7] ElasticSearch 인덱스 구조 35
[그림 8] 라즈베리 파이 4B 클러스터 구조 42
[그림 9] RPi 4B 클러스터 하둡 Wordcount 2GB 벤치마크 평균 수행 시간 47
[그림 10] RPi 4B 클러스터 스파크 Wordcount 2GB 벤치마크 평균 수행 시간 47
[그림 11] RPi 4B 클러스터 하둡 TeraSort 2GB 벤치마크 평균 수행 시간 52
[그림 12] RPi 4B 클러스터 스파크 TeraSort 2GB 벤치마크 평균 수행 시간 52
[그림 13] RPi 4B 클러스터 하둡 Pi 평균 수행 시간 59
[그림 14] RPi 4B 클러스터 스파크 Pi 평균 수행 시간 59
[그림 15] 하둡 TeraSort 1GB 벤치마크 3B vs. 4B 63
[그림 16] 스파크 TeraSort 1GB 벤치마크 3B vs. 4B 63
[그림 17] 데스크탑 PC, RPi 4B 하둡 벤치마크 성능 비교 65
[그림 18] 데스크탑 PC, RPi 4B 스파크 벤치마크 성능 비교 65
[그림 19] RPi 4B 클러스터 테라소트 2GB 벤치마크 쿨링 효과 67
[그림 20] CRC 비활성화 (TeraSort 2GB 벤치마크 CPU 사용량) 69
[그림 21] 마스터 노드 분리 효과 (TeraSort 1GB 벤치마크 자원 사용량) 70
[그림 22] 색인 성능 벤치마크 수행 시간 81
[그림 23] 색인 성능 벤치마크 평균 처리량 81
[그림 24] 색인 벤치마크 CPU 사용량 83
[그림 25] 색인 벤치마크 %iowait 83
[그림 26] 검색 성능 벤치마크 지연 시간 (Light) 85
[그림 27] 검색 성능 벤치마크 지연 시간 (Heavy) 85
[그림 28] 색인/검색 성능 벤치마크 지연 시간 (Light) 87
[그림 29] 색인/검색 성능 벤치마크 지연 시간 (Heavy) 87
[그림 30] 목표 처리량에 따른 지연 시간 변화 88
[그림 31] 샤드 개수별 색인 벤치마크 수행 시간 91
[그림 32] 샤드 개수별 색인 벤치마크 처리량 91
[그림 33] 샤드 개수별 CPU 사용률 92
[그림 34] Bulk 작업 수에 따른 색인 벤치마크 수행 시간 94
[그림 35] Bulk 작업 수에 따른 색인 벤치마크 처리량 94
[그림 36] 샤드 비율별 색인 벤치마크 처리량 96
[그림 37] 샤드 비율별 색인 벤치마크 저장 용량 96
[그림 38] 데이터 쓰기 작업 처리 시간 비교 99
[그림 39] JVM 힙 메모리 할당 위치에 따른 색인 수행 시간 101
[그림 40] JVM 힙 메모리 할당 위치에 따른 색인 처리량 101