머신러닝 모델 서빙(Machine Learning Model Serving)은 머신러닝 모델을 개발하고, 해당 모델을 다른 애플리케이션에서 사용할 수 있도록 배포하거나 모델 API를 제공하는 과정을 의미한다.
배포된 모델을 서비스하기 위해서는 Flask나 Django와 같은 Python 웹 프레임워크 사용하게 된다. Python은 인터프리터 언어로 개발 편의성이 높지만, 바이너리 파일만 실행시키면 되는 컴파일러와 달리, 변환과 실행을 동시에 진행해야 하므로 프로그램 자체 속도는 컴파일러보다 느리다. 본 논문은 오픈소스 H2O를 이용하여 Python으로 개발된 머신러닝 모델을 Java환경에서 모델 서빙을 하는 방법으로 머신러닝 모델 서빙의 모델 로드 시간, 안정성, 모델 처리 속도를 개선하는 방법에 대한 연구를 진행하였다. 성능 평가를 위해 Python기반의 Django 웹프레임워크를 활용한 머신러닝 모델 서빙 API Server의 구성하여 비교하였다.