인공신경망 모델이 점점 커지면서, 연산 비용과 메모리 요구 사항이 증가하여 저전력 및 제한된 자원을 가진 장치에서 인공신경망을 구현하는 것이 어려운 문제에 대한 해결책으로서, 최근 몇 년간 모델 압축 및 최적화에 대한 다양한 방법들이 제안되고 있다. 이들 방법 중, 가지치기(pruning), 양자화(quantization), 증류(distillation) 등이 제안되었으며, 이러한 방법은 신경망의 메모리 요구 사항과 연산 비용을 줄이지만, 정확도 손실 문제가 따른다.
본 논문에서는 인공 신경망을 하드웨어적인 측면에서 접근하였다. 이 중에서도, 입력이 '0'인 경우의 합성곱 연산을 생략하고, '0' 가중치의 데이터는 메모리로 전송하지 않으며, '0'이 되는 데이터 부분을 탐색하여 합성곱 연산을 생략하는 등 3가지 방법을 제안하였다.
제안된 방법을 평가하기 위해 MNIST 데이터셋과 Alexnet 이용하여 실험을 수행하였다. 실험 결과, 제안된 방법은 정확도를 유지하면서 신경망의 메모리 요구 사항과 연산 비용을 줄일 수 있음을 확인하였다. 특히, 제안된 방법은 메모리 사용량을 최대 51.6%, 연산 시간을 최대 21%까지 감소시키면서 정확도를 유지할 수 있었다.
위의 결과를 바탕으로, 정확도를 유지하면서 신경망의 메모리 요구 사항과 연산 비용을 크게 줄일 수 있음이 확인되었다. 이러한 방법은 다양한 신경망 아키텍처에 적용할 수 있으며, 저전력 및 제한된 자원을 가진 장치에 딥 러닝 모델을 적용할 수 있다고 기대된다.