본 연구자는 한국연구재단의 지원을 받아 서울 도심 지역의 자연 조명 환경을 파노라마로 제작하고 활용하는 방안에 대해서 3년에 걸쳐 연구를 진행하였다. 1차 연도에는 초고해상의 파노라마 HDRI를 촬영하는 방법에 대해서 연구하였고, 2차 연도에는 기 구축된 HDRI를 활용한 매우 사실적인 영상 기반 렌더링 기법에 대해서 소개하였다. 최초 제시된 연구 목표에 따르면 3차 연도에는 HDRI를 사용한 영상 기반 렌더링의 실무 적용 사례를 구체적으로 제시하기 위해 3D 컴퓨터그래픽 툴을 사용한 실사 합성 광고 영상 제작 과정을 소개할 계획이었다. 그러나 과제 기획 당시에는 미처 예상하지 못했던 실시간 렌더링 엔진의 품질 향상이나, 광학식 모션캡처 시스템의 실시간 사용, HMD의 놀라운 발전 등에 힘입어 게임 엔진 기반 VR 콘텐츠 개발 관련 기술이 급속도로 발전하고 있다. 이러한 연구 환경의 급격한 변화를 새롭게 반영하여 기존에 구축된 HDRI 관련 연구 성과를 SR 콘텐츠 개발에 적용할 수 있는 방안을 새롭게 제시해 보고자 한다. 기존의 VR 콘텐츠가 책상 앞에 앉아서, 혹은 아주 제한적인 넓이의 공간에 서서 체험하는 방식을 갖는 것과는 달리, 본 연구에서는 광학식 모션캡처 시스템의 실시간 활용 방법을 제시함으로써 카메라 촬영 범위가 허용되는 범위 내에서 자유롭게 이동 체험이 가능한 SR 콘텐츠를 제작하였다. 이동 체험을 위한 광범위한 배경 제작을 위해 콘텐츠의 배경이 되는 실제 공간을 정밀하게 측정하고 사진 촬영 자료를 바탕으로, 실제 공간과 정확하게 일치하는 가상공간을 제공하고 있다. 이 공간에 배치되는 여러 종류의 가상 오브젝트들은, 실제 공간의 조명환경을 초고해상도의 파노라마 HDRI로 제작해, 실시간 영상 기반 렌더링을 통해 실시간 렌더링되었다. 그 결과, 실제와 매우 흡사한 가상의 배경 속에 배치되어도 전혀 이질감을 느끼지 못할 만큼의 매우 사실적인 결과를 나타내고 있다.
During last three years, I have been researching how to make a panorama HDRI by the natural lighting in downtown Seoul with support from the National Research Foundation of Korea. The shooting technique for ultra high definition panorama HDRI had been built in year 1, and image based rendering techniques for photo realistic images by using the HDRI were introduced in year 2. According to the first target of study, in year 3, I was planning to make a filming for an ad which crosses over between 3D CG and reality by using HDRI to present the application instance of the image based rendering with HDRI. However, on account of the quality improvement of realtime rendering engine, the application of motion capture system in realtime, and the alarming development of head mounted display, those were unpredictable at that time of planning the research, the production techniques for VR contents based on game engine has grown rapidly. Reflecting drastic changes of research condition, I will provided a new way to apply the techniques about HDRI to the development of SR contents. Contrary to existing VR contents people experience sitting at a desk or confined space standing, using motion capture system in realtime, I produced SR contents in which people can move freely over a wide area. The huge virtual environment for free movement that matches exactly a real environment was created by taking photograph and measuring the length and magnitude of the actual space. Without any differences, many kinds of virtual objects placed in the virtual space were rendered by using the image based rendering in realtime with the ultra high definition panorama HDRI of the actual space.