4차 산업혁명으로 딥러닝을 활용한 인공지능 분야가 급성장하였고, COVID-19로 언택트 문화가 우리 삶에 밀접하게 스며들면서 간접적으로 신원 확인을 하는 얼굴 인식 분야의 활용도가 높아지고 있다. 하지만 마스크를 착용하거나 얼굴의 일부가 가려지게 되면 얼굴 인식률이 급격히 저하되는 문제가 발생되고 있으며, 특히 아이폰의 경우에는 얼굴인식 기능을 잠금 장치로 사용하고 있어 전 세계의 많은 사용자가 마스크 착용 시 잠금해제 기능이 제대로 작동 되지 않아 매번 마스크를 벗어야 하는 불편함을 겪고 있다. 공항의 신분확인과 병원에서 환자의 정보 확인 등 얼굴인식 기능의 사용이 늘어나고 있는 만큼 얼굴이 가려지면 인식률이 떨어지는 문제점을 개선하기 위해 최근에는 관련 분야에 많은 연구가 활발하게 이루어지고 있다.
본 연구에서는 얼굴 인식 딥러닝 모델 중 구글에서 개발한 VGGFace2 데이터 셋이 학습된 Inception ResNet 모델의 일부를 미세조정하고, 직접 촬영한 얼굴 이미지에 맞게 전이 학습된 모델을 구현하였다. 컨볼루션 레이어가 포함된 Feature Extraction 구조에는 인식률이 검증된 VGGFace2 가중치를 그대로 사용하고, 모델의 마지막 계층에 해당되는 Classification layer 영역에서 Fully connected layer 등을 일부 미세조정하며 실험에 사용된 데이터 셋에 맞게 훈련된 가중치를 활용하여 이미지 인식률 변화를 확인하였다.
얼굴 이미지 테스트 결과는 얼굴 인식률에서 이미지 전처리가 인식률에 큰 영향을 준다는 것을 확인하였다. 또한, 테스트 이미지로 얼굴이 가려지면 인식률이 상당히 저하되는 것을 실험으로 다시 한 번 확인할 수 있었다. 본 논문에서는 마스크로 가려진 얼굴 인식률을 향상하기 위해 눈 이미지를 대체 인식률로 사용하기 위해 테스트를 진행하였다. 눈 이미지 인식률 실험에서 얼굴인식에 사용하였던 딥러닝 모델을 그대로 사용하였을 때에는 인식률이 50%도 되지 않는 결과가 나왔다. 얼굴보다 적은 이미지 정보로 인식률을 향상하기 위해 기존 모델에 Hidden layer를 추가하여 더 깊은 구조로 모델을 조정하였고, 테스트 이미지에서 인식률이 약 80%까지 증가하며 기존의 모델보다 더 안정적인 인식률을 갖는 것을 확인하였다. 이 실험 결과를 바탕으로 FaceNet의 유클리디안 거리(Euclidean distance)로 얼굴인식을 하는 방법에 적용하여, 얼굴 이미지와 눈 이미지의 인식률을 함께 사용하게 되면 마스크를 착용한 이미지보다 인식률이 향상할 수 있는 것을 확인하였다.