본 논문에서는 애니메이션 제작을 위한 3D 캐릭터에 적용할 수 있는 오토립싱크 시스템을 3D 프로그램 MAYA에서 사용할 수 있는 플러그인으로 개발하였다. 이 시스템에서는 Microsoft Speech API 엔진 "SAPI"에서 제공하는 영어음소와 Recognition Engine을 기반으로 한글에 맞는 음소로 재분할하여 한국어의 음성 데이터에서 음소와 시간을 추출하는 디지털 사운드 분석기를 개발하였다. 또한 모음과 자음의 수많은 발음들은 다양한 입모양을 가지고 있지만 동형이음의 대한 음소들에 대해서는 같은 입모양이 적용될 수 있도록 Viseme Manager를 개발하였다. 이들을 통합하여 파이썬(Python)기반의 "오토 립싱크 시스템"을 개발하여 립싱크 애니메이션이 자동으로 한 번에 구현할 수 있을뿐만 아니라, 애니메이션을 제작하기 위해 리깅(Rigging)1)이 되어있는 모든 3D 캐릭터에 적용이 가능하도록 구현 하였다. 또한 음성 데이터와 3D 캐릭터의 입모양이 좀 더 정확하게 일치하기 위한 여러 방법을 연구하고 해결방안을 제시하였으며, 3D 캐릭터의 보다 자연스러운 입모양을 출력하기 위해 실제 사람의 입모양과 사운드를 분석하여 시스템에 적용하였다.
본 논문에서 개발된 3D 애니메이션을 위한 오토 립싱크 시스템은 가상현실, 한국어 페이셜 사운드 관련 분야, 청각 장애인, 유아 및 외국인을 위한 콘텐츠 개발에도 활용할 수 있을 뿐만 아니라 3D 애니메이션 또는 VFX영화 제작 시 작업시간을 단축시킬 수 있을 것이며, 이것은 생산성을 높이고 조금이나마 인건비를 줄일 수 있으므로 기업 성장의 도움을 줄 것으로 기대할 수 있을 것이다.