초해상화는 저해상도 영상을 고해상도 영상으로 복구하는 것을 목표로 한다. 이는 의학, 생물학, 천문학 등 다양한 분야에서 활용되고 있다. 초해상화 기술은 처리하는 이미지 수에 따라 크게 단일 이미지 초해상화와 비디오 초해상화로 나눌 수 있다. 그 중 비디오 초해상화는 여러 개의 연속적인 프레임들을 처리하며 초해상화 대상 프레임 내의 공간적인 정보와 이웃한 프레임들로부터의 시간적인 정보도 활용한다.
대부분의 딥러닝 기반 비디오 초해상화 기법들은 정렬, 특징 추출, 특징 결합, 재건의 과정으로 이루어져 있다. 이 중 정렬은 시간적으로 다른 시점의 프레임들을 공간적으로 변환해주는 과정이다. 이때 프레임간의 움직임 정보를 가진 옵티컬 플로우를 활용하는 움직임 추정 및 보상을 사용할 수 있다. 하지만 이는 저해상도 도메인에서 이루어지는 연산이라 손실된 고주파 영역에 대해 추정 오류를 발생시킬 수 있다.
본 학위 논문에서는 움직임을 추정하기 전 저해상도 이미지를 개선하여 더 정확한 정렬을 가능하게 하고 후에 이어지는 과정에서도 긍정적인 영향을 미칠 수 있는 모듈을 제안한다. 저해상도의 입력 이미지들을 바로 사용하는 대신, 모듈을 통해 개선된 것을 사용하면 추출한 특징에 대한 정보들이 추가되었기 때문에 더 정확한 계산을 할 수 있다.
모듈은 그 기능에 따라 세부분으로 나누어져 있는데 그 중 head, body는 특징 추출을 하고 tail은 채널 수를 조정한다. 특히 body에서는 어텐션 메커니즘을 사용하여 중요한 정보에 집중함으로써 깊은 특징을 추출한다. 결과를 더욱 향상시키기 위해, body에서 추출한 특징은 은닉 상태와 추가적으로 결합하는 과정을 거친다. 이는 양방향 순환 신경망의 영 특징 초기화 문제를 완화할 수 있으며 정보의 다양성도 증가시킬 수 있다.
우리는 다양한 실험과 시각화를 통해 제안한 방법의 효과와 다양한 구조의 모델에 대한 확장성을 보여준다. 그 결과, 제안된 개선 모듈은 바이큐빅 보간법에 의해 저하된 REDS4, Vimeo90K-T, Vid4 데이터셋에 대해 기준 모델 대비 각각 0.32 dB, 0.33 dB, 0.28 dB 성능 향상을 가져온다. 블러한 후 다운 샘플링한 데이터셋의 경우 Vimeo90K-T와 Vid4를 각각 0.26 dB와 0.14 dB 개선했다.