다양한 빅데이터 기술의 발전은 기존에 존재하던 컴퓨팅 환경뿐 아니라 새롭게 나타나는 여러 가지 컴퓨팅 환경에서의 빅데이터 처리에 대한 수요를 증가시키고 있다. 이러한 수요를 충족시키기 위해 차세대 대용량 영구 메모리 모듈이나 저비용, 저전력의 싱글 보드 컴퓨터와 같은 다양한 컴퓨팅 환경이 나타나고 있다. 영구 메모리 모듈은 기존 고가의 DRAM 기반 시스템을 대체하거나 보조하여 컴퓨팅 시스템 성능을 효과적으로 향상시킬 수 있다. 싱글 보드 컴퓨터는 단일 회로 기판으로 구성되어 있는 CPU, 메모리 등의 필수적인 기능을 가진 소형 컴퓨터이다.
최근 인텔은 새로운 대용량 비휘발성 메인 메모리 모듈인 옵테인 영구 메모리(Optane Persistent Memory)를 발표하였다. 학계와 업계는 미래의 컴퓨터 메인 메모리 형태가 비휘발성 속성을 지닌 영구 메모리 형태가 될 것으로 예측하고 있다. 이처럼 빅데이터 처리를 위한 강력한 영구 메모리 기반 서버가 각광받고 있다. 한편, 싱글 보드 컴퓨터 클러스터는 빅데이터 처리를 위한 새로운 서버 환경으로 떠오르고 있다. 특히 라즈베리 파이 모델 4B는 전작에 비해 상당한 성능 향상이 있어 주류 운영체제를 실행하고 무거운 워크로드를 수행할 수 있는 싱글 보드 컴퓨터로 주목받고 있다.
본 연구에서는 앞서 언급한 두 가지 기술을 기반으로 빅데이터 처리 환경에 대하여 분석하고자 한다. 먼저, 싱글 보드 컴퓨터 클러스터에서 효과적인 빅데이터 처리의 가능성을 연구하기 위해 라즈베리 파이 3B와 4B 모델 각각의 클러스터를 구성하였다. 종합적인 평가와 분석을 수행하여 비용당 성능과 전력당 성능 측면에서 높은 성능이 나타나는 것을 확인할 수 있었다.
두 번째로는 인텔 옵테인 영구 메모리를 사용하여 고성능 서버에서의 빅데이터 처리 성능을 평가하였다. 오픈 소스 빅데이터 검색 엔진 플랫폼인 ElasticSearch를 사용하여 영구 메모리를 효율적으로 활용하기 위한 여러 최적화 기법을 적용하였다. 그러나 눈에 띄는 성능 향상이 이루어지지는 않아, 검색 엔진과 차세대 영구 메모리의 특성 측면에서 이러한 결과가 나타난 이유에 대한 분석을 진행하였다.