2016년 3월에 개최된 알파고와 이세돌의 바둑 대결은 우리를 충격에 빠트리게 했다. 인간의 영역이라 생각했던 바둑에서 인공지능에게 자리를 내준 것이다. 현재에 이르러 인공지능은 산업과 생활 전반에 걸쳐 다양한 형태로 활용되고 있다. 세계 유수의 기업들은 인공지능에 대한 주도권을 장악하기 위해 치열한 경쟁을 하고 있으며 각국 정부 차원의 적극적인 지원과 개발이 뒷받침되고 있다. 우리나라도 'AI+X'를 지향하며 미래 먹거리로서 인공지능이 4차 산업 혁명을 이끌어갈 수 있도록 분주하게 준비하고 있다.
하지만 인공지능의 활용에는 장밋빛 미래만이 존재하는 것은 아니다. 가트너와 벤처비트의 보고서에 따르면 80% 이상의 인공지능 프로젝트는 실패했다. 연구단계에서 좋은 성능을 보인 인공지능이라 하더라도 산업현장에 그대로 적용하기에는 무리가 따르기 때문이다. 인공지능에도 여러 범주가 존재하는데 현재 인공지능 기술의 대부분은 딥러닝을 포함한 머신러닝이기 때문에 본 논문에서 인공지능은 머신러닝을 일컫는다. 머신러닝의 성능을 평가하는 지표에는 여러 가지가 있지만 실제 상황에서도 머신러닝이 기존의 성능을 유지할 것인가에 대한 물음에는 대답하기가 어렵다. 이러한 점은 머신러닝의 실제 활용에 대한 어려움을 보여주는 단적인 예가 된다.
이에 따라 본 연구에서는 CNN 기반의 이미지 분류 모델에 대한 메타모픽 테스트 케이스 생성 기법을 제안한다. 제안하는 기법은 주어진 테스트셋을 변형시킨 후 모델에 입력하여 얻어진 출력 결과와 기존의 출력 결과를 비교하여 메타모픽 관계를 위반하는지 확인하는 방법이다. 제안하는 기법을 이용하면 모델이 CNN의 특성에 맞게 잘 학습되었는지를 확인할 수 있으며 이를 통해 실제 상황에서 모델이 어떻게 동작할 것인지 예측할 수 있다.
제안한 기법을 적용하기 위해 CNN 알고리즘에 MNIST와 CIFAR-10 데이터셋을 학습시켜 실제 모델을 생성하고 테스트를 진행하였다. 제안한 기법을 이용하여 모델이 CNN의 특성대로 잘 학습되었는지를 확인하고 실제 입력상황에서 어떻게 동작할 것인지를 예측하였다.