본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색
결과 내 검색 동의어 포함
결과 내 검색 동의어 포함

-

목차보기

표제지

목차

용어설명[내용없음] 4

국문요약 9

1. 서론 12

1.1. 연구배경 12

1.2. 연구의의 16

2. 관련 연구 19

2.1. 가상 아이돌 관련 선행연구 19

2.2. 마커리스(markerless) 페이셜 모션 캡처 기술 관련 연구 20

3. 한중일 3국의 가상 아이돌의 발전 현황 24

3.1. 중국 가상 아이돌 산업의 발전 추세 26

3.2. 일본 가상 아이돌의 발전 현황 33

3.3. 한국의 가상 아이돌 발전 추세 42

4. 페이셜 모션 캡처 관련 기술 연구 48

4.1. 페이셜 모션 캡처 관련 해외 기술 현황 48

4.2. ARKit 페이셜 모션 캡처의 한계성 및 최적화 방안 55

5. 가상 아이돌 페이셜 모션 캡처 예시 57

5.1. 가상 아이돌 페이셜 모션 캡처 장비의 설치 및 사용 57

5.1.1. 사진측량 및 Advanced Skeleton을 이용한 마커리스 페이셜 모션 캡처 57

5.2. 안면 모델링의 처리 70

5.2.1. 안면 모델링의 간소화 70

5.2.2. 안면 모델링 토폴로지 73

5.2.3. 베이킹 모델링 스티커 75

5.2.4. 모델링 스키닝(Skinning) 및 Blendshapes 제작 75

5.3. 페이셜 모션 캡처 테스트 77

5.3.1. 페이셜 모션 캡처 효과 최적화 79

5.4. 실시간 페이셜 모션 캡처 예시 105

6. 결론 109

참고문헌 111

ABSTRACT 114

표목차

표 1. 마크리스 안면 포착 프로그램 53

표 2. 본 연구에서 사용된 장비 60

표 3. 모델링에 UV 전개 및 텍스쳐 추가 후 실행하는 과정 73

표 4. FACS의 안면 동작 단위(AU 부분 일부 제시) 82

표 5. Blend Shapes 최적화 전후 페이셜 모션 캡처 효과 비교 101

표 6. Blend Shapes 최적화 전후 페이셜 모션 캡처 효과 비교 106

그림목차

그림 1. 가상 아이돌 '린 민메이' 과 '하츠네 미쿠' 24

그림 2. 일본의 2차원 아이돌 '러브 라이브(Love Live)' 26

그림 3. 중국 가상 아이돌 시장규모와 가상 아이돌 핵심 시장 규모 27

그림 4. 중국 네티즌의 연예인 '덕질' 관련 조사 데이터(좌), 중국 네티즌의 가상 아이들 '덕질' 비율(우) 28

그림 5. 중국의 가상 아이돌 브랜드 모델 30

그림 6. 중국 가상 아이돌 그룹 'Quiet' 앨범 커버 및 가상 아이돌 오디션 '디멘션노바' 31

그림 7. 중국 가상 아이돌 '뤄텐이'(좌)와 사실주의 가상인간 'AYAYI'(우) 32

그림 8. 일본 2016년~2020년 가상 아이돌 투자 상황 33

그림 9. 가상아이돌 활동을 지원하던 'upd 8' 기획 35

그림 10. 데뷔 1년 미만인 Vtuber 인기순위(좌)와 일본 Vtuber 그룹인 hololive(우) 38

그림 11. 일본 가상 아이돌 '하츠네 미쿠', '키즈나 아이', '카구야 루나' 와 '전뇌소녀 시로' 40

그림 12. 일본 극사실주의 가상 아이돌 SAYA 42

그림 13. 한국 AI K-pop 걸그룹 Eternity멤버 43

그림 14. 한국 가상 아이돌 그룹 'Aespa' 멤버들과 그들의 프로필 사진 44

그림 15. 리그 오브 레전드의 가상 여자 아이돌 'K/DA'와 한국 가상 아이돌 아포키(Apoki)' 45

그림 16. 뮤직비디오 'One' 의 엔딩장면(좌)과 〈Black Mamba〉의 엔딩 장면(우) 47

그림 17. Vicon & Motion Analysis & OptiTrack 페이셜 모션 캡처 시스템(좌에서 우로) 49

그림 18. 영화 『아바타』 에서 활용된 페이셜 모션 캡처 기술 49

그림 19. 영화 『닌자터틀 : 어둠의 히어로』 에서의 페이셜 모션 캡처 기술 50

그림 20. Kinect 설비 53

그림 21. ARKit 페이셜 모션 캡처 최적화 방안 56

그림 22. 가상 아이돌 페이셜 모션 캡처 작업 흐름도 58

그림 23. 본 연구에서 사용된 사진측량 장비 63

그림 24. 본 연구에서 수작업으로 제작한 헤드커버 64

그림 25. 사진측정 촬영 흐름도 65

그림 26. 머리카락이 모델링에 미치는 영향 66

그림 27. 하이라이터가 모델링에 미치는 영향 67

그림 28. 라즈베리파이 카메라의 문서를 구글 클라우드에 업로드 68

그림 29. Reality Capture 소프트웨어에서의 사진 매칭(Align images) 68

그림 30. Reality Capture 수동으로 사진 Control Points 추가 69

그림 31. Control Points 추가 후 사진 매칭 69

그림 32. Reality Capture 소프트웨어로 생성된 고품질 모델링 70

그림 33. Reality Capture 소프트웨어 내 모델링 조감도 71

그림 34. Reality Capture소프트웨어 내의 Set Reconstruction Region 71

그림 35. Reality Capture 소프트웨어 내 나머지 Poly 필터링 72

그림 36. Wrap R3ds에서의 모델링 토폴로지 74

그림 37. Wrap소프트웨어 토폴로지 Graph 및 그 결과 74

그림 38. Wrap소프트웨어 베이킹 스티커 Graph 및 그 결과 75

그림 39. Advanced Skeleton 플러그인을 이용한 모델링 rigging 77

그림 40. Uneal Engine에서 Iphone 기기와 실시간 페이셜 모션 캡처 링크 78

그림 41. Unreal Engine에서의 업데이트 편집기 78

그림 42. Unreal Engine에서 실시간 페이셜 모션 캡처 Event Graph 79

그림 43. 애플의 AR Blend Shape Location 볼 쪽 Blend Shape 예시(좌) 및 동작단위 AU35 (우) 85

그림 44. AR Blend Shape Location Mouth Left 예시 및 최적화 전 가상 아이돌의 Blend Shape 86

그림 45. 가상 아이돌 Mouth Left Blend Shape 최적화 87

그림 46. AR Blend Shape Location Mouth Frown Left&Right 예시 및 최적화 전 가상 아이돌 Blend Shape 88

그림 47. 가상 아이돌 Mouth Frown Left & Right Blend Shapes 최적화 88

그림 48. AR Blend Shape Location Mouth Funnel 예시 및 최적화 전 가상 아이돌 Blend Shape 89

그림 49. 가상 아이돌 Mouth Funnel Blend Shapes 최적화 90

그림 50. AR Blend Shape Location Mouth Upper Up Left&Right 예시 및 최적화 전의 가상 아이돌 Blend Shape 90

그림 51. 가상 아이돌 Mouth Upper Up Left & Right Blend Shapes 최적화 91

그림 52. AR Blend Shape Location Mouth Smile Left&Right 예시 및 최적화 전 가상 아이돌 Blend Shapes 92

그림 53. 가상 아이돌 Mouth Smile Left&Right Blend Shapes 최적화 93

그림 54. AR Blend Shape Location Jaw Open 예시 및 최적화 전 가상 아이돌 Blend Shape 93

그림 55. 가상 아이돌 Jaw Open Blend Shapes 최적화 94

그림 56. AR Blend Shape Location Brow Down Left&Right 예시 및 최적화 전 가상 아이돌 Blend Shapes 95

그림 57. 가상 아이돌 Brow Down Left & Right Blend Shapes 최적화 96

그림 58. AR Blend Shape Location Brow Outter Up Left&Right예시 및 최적화 전 가상 아이돌 Blend Shapes 97

그림 59. 가상 아이돌 Brow Outter Up Left & Right 최적화 98

그림 60. AR Blend Shape Location Eye Squint Left&Right 예시 및 최적화 전 가상 아이돌 Blend Shapes. 98

그림 61. 가상 아이돌 Eye Squint Left&Right 최적화 99

그림 62. Blend Shape Location Nose Sneer Left&Right 예시 및 최적화 전 가상 아이돌 Blend Shapes 100

그림 63. 가상 아이돌 Nose Sneer Left & Right 최적화 101

초록보기

가상과 현실이 융복합 되는 메타버스(Metaverse) 시대에 가상 아이돌은 디지털 기술의 발전에 따라 형성된 새로운 시각 예술적 표현 형식이다. 넓은 의미에서 볼 때 가상 아이돌은 전통 대중적 유행문화에서 비롯된 것으로 시각적 하위문화를 융합시킨 표현 형식이라고 할 수 있다. 이는 주류문화와 통하는 독특한 예술적 스타일을 형성하고 있다. 아시아는 가상 아이돌 시장의 거대한 잠재력을 보유하고 있으며 특히 한국, 중국, 일본은 아이돌 소비 시장의 주력으로 자리 잡고 있다. 일본의 '하츠네 미쿠(初音はつねミク, Hatsune Miku)'는 홀로그램 기술로 콘서트를 개최한 최초의 가상 아이돌로 여러 나라에서 콘서트를 개최한 바 있다. 특히 기술의 발전은 가상 아이돌의 형성과 발전에 중요한 추진력 역할을 하고 있다. 예컨대 3D 모델링 기술, 음향 라이브러리 기술, 홀로그램 기술 등은 모두 가상 아이돌을 구축하는데 필요한 물질적 조건을 제공하였다. 하지만 후반 작업을 진행함에 있어 과도한 업무량과 가상 콘서트 개최 비용이 많이 소요되는 등 문제가 존재하였다. 과학 기술이 발전하면서 가상 아이돌은 다양한 형식으로 진화되었고 더욱 생동감 있게 다양한 캐릭터를 구현하는 수요 또한 점점 증가되고 있는 추세이다.

현재 가상 아이돌은 인터넷 라이브 방송을 비롯해 소셜네트워크 서비스(SNS)에서 사진과 동영상을 주기적으로 공개하며 팬들과 오프라인에서 소통하는 등 다양한 방식으로 교류를 진행하고 있다. 빠른 시일 내에 시장의 요구에 부합하기 위해서 애니메이션 제작 회사도 끊임없이 기존 기술을 업그레이드하고 있다. 또한 모델, 특수효과 및 렌더링 기술이 끊임없이 발전함에 따라 효율과 품질 면에서도 또한 크게 개선되었다. 따라서 과거의 전통적인 2차원적 형식의 가상 아이돌은 현재 시장에서의 화면 해상도 품질에 대한 요구를 충족시키지 못하고 있다. 사실주의 가상 아이돌은 실제 아이돌의 이미지에게 더욱 가깝고 친숙한 이미지로 대중의 사랑을 받고 있다. 라이브 생방송 분야에서의 가상 아이돌의 부상함에 따라 과거 전통적인 키프레임(key Frame) 형식의 애니메이션 제작방식은 실시간 라이브 방송 방식에는 적합하지 않다. 실제로 사람이 웨어러블 기기를 착용하고 실시간 캡처 기술과 가상 생방송 시스템을 통해 사람의 신체와 표정 데이터를 수집하여 가상 인플루언서의 페이셜 모션 캡처 시스템을 작동시키는 방식이 훨씬 효율적이고 사실적이라는 면에서 강점으로 작용하여 현재 널리 활용되고 있다.

페이셜 모션 캡처 기술은 연기자의 얼굴 표정을 복제할 수 있는 특수한 모션 캡처 기술이다. 안면 표정 복제는 주로 소스 모델에 존재하는 정점 운동 벡터 등 데이터를 목표 모델에 다시 포지셔닝하고 최초의 안면 모션의 상대적인 운동과 동역학적 특징을 동시에 유지한다. 현재 가장 널리 사용되고 있는 실시간 페이셜 모션 캡처도구인 애플 'ARKit'은 페이셜 모션 캡처 데이터가 정확하지 않고 복잡 다양한 표정변화를 포착·인식하지 못하는 경우가 파다하다. 따라서 ARKit는 2차원적인 캐릭터 이미지에 더 많이 활용되고 있으며 고해상도의 사실주의에 입각한 가상 아이돌을 표현하기에는 역부족이다. ARKit 페이셜 모션 캡처 기술은 애플 디바이스의 Dot projector를 이용하여 육안으로 볼 수 없는 적외선 점을 사람의 얼굴에 투사하며 얼굴 윤곽에 따라 안면에 찍힌 적외선 파장의 점들이 변화하면서 안면을 인식한다. 애플 TOF Camera는 이러한 점선들을 통하여 생체 특징을 인식해 사람의 안면 인식 정보를 얻는다. 하지만 ARKit이 제공하는 얼굴 특징 점선에 관한 정보가 적기 때문에 애플 디바이스로 인식할 수 있는 특징 점선들은 제한적이며 따라서 사람의 표정 변화를 정확하게 인식하지 못하는 경우가 많아 효율성이 다소 떨어지며 자유롭게 사용하기에 제한적이다.

요컨대 본 논문에서는 한중일 3국의 가상 아이돌의 페이셜 모션캡처 기술 현황을 조사해 당면한 문제를 분석하고, 연구 모델의 진실성과 사실주의에 입각한 연구를 진행하기 위해 사진측량의 방식으로 가상 아이돌 이미지를 생성하였다. 또한 안면 동작 코딩 시스템인 FACS에 기반하여 애플 ARKit 페이셜 모션 캡처에 대한 데이터를 수정하여 더 나은 페이셜 모션 캡처 효과를 제공하기 위해 제작 전 과정을 온전하게 제공하였으며, 또한 그 과정에서의 문제점을 제시하여 향후 가상 아이들 관련 페이셜 모션 캡처 기술의 다양한 연구에 시사점을 제시하고자 하였다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차