본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색
결과 내 검색 동의어 포함
결과 내 검색 동의어 포함

-

목차보기

표제지

목차

국문 초록 14

1. 서론 17

1.1. 연구의 배경 17

1.2. 연구의 목적과 방향 23

2. 본론 26

2.1. 작품의 이론적 배경 26

2.1.1. 소재로서의 얼굴 30

2.1.2. 이미지의 왜곡과 변형 33

2.2. 관련 기술 연구 48

2.2.1. AI 생성이미지 GAN 49

2 2.2. 딥러닝을 이용한 이미지 애니메이션 57

2.2.3. 얼굴 랜드마크 추출 방법 61

2.2.4. FOMM 모델과 학습 66

2.3. 실시간 인공지능 예술작품 71

2.3.1. 시스템 환경 73

2.3.2. 관객이 얼굴을 스스로 조작할 수 있는 두 가지 방식 74

2.2.3. 연구에 대한 고찰 97

3. 결론 99

참고 문헌 101

Abstract 109

표목차

표 1. 감독과 예술가(미디어아티스트)의 페르소나 비교 설명 28

표 2. 관객의 페르소나와 배우의 페르소나 비교 설명 29

표 3. 저자의 작품에서의 페르소나의 주체와 대상 47

표 4. 학습과정의 기본 모델 구조 51

표 5. 연구 작품의 기술의 이해를 바탕으로 한 페르소나 주체와 대상 72

표 6. 키포인트 초기화 및 얼굴 검출과정 프로그래밍 순서도 Detail 77

표 7. 소스 이미지와 드라이빙 비디오 제작과정 77

표 8. 'A. 방법'을 사용한 작품의 전체적 플롯(plot) 78

표 9. 〈청동거울〉 프로그램 설계 과정 87

표 10. 'B. 방법'을 사용한 작품의 전체적 플롯(plot) 93

그림목차

그림 1. 페르소나를 설명하는 지도, 머레이 스타인, Map of the Soul: PERSONA our many faces, p13 26

그림 2. 〈안보여주기〉 히토 슈타이얼 31

그림 3. 영화 아일랜드의 도플갱어의 예 33

그림 4. 발레 메카니크, 영상부분, 1924 35

그림 5. 오브제의 초현실주의 展, 1936 36

그림 6. 만레이, 느와르와 블랑쉬, 1926 36

그림 7. 에드바르 뭉크, 절규, 1983 37

그림 8. 프렌시스 베이컨, 조지다이어의 초상을 위한 세 가지 연구, 1963 37

그림 9. 오를랑, The Reincarnationof Saint, 1990 38

그림 10. 오를랑, Self Hybridization pre-Colombian No.4, 1998 38

그림 11. 오를랑, Self Hybridization pre-Colombian No.28, 1998 38

그림 12. 샤빌과 루크포드, 폐쇄된 접촉#14, 1995 39

그림 13. 유에민쥔, Leisure-10〉, 2003 39

그림 14. 오비우스, 에드문드 벨라미의 초상, 2018 40

그림 15. 마리오 클린게만, 행인의추억, 2018 40

그림 16. 제임스 쿠페, WARRIORS: WAR, 2020 41

그림 17. 제임스쿠페, 6만 명의 군인, 2020 42

그림 18. 제임스 쿠페, WARRIORS: GENERATIVE ADVERSARIAL NETWORK, 2020 43

그림 19. 조던 필, Obama Deep Fake, 2018 43

그림 20. Obama Deep Fake, 48초, still image 43

그림 21. 숫자 분류 모델에 의해 학습된 표현 49

그림 22. CNN을 통과한 레이어 첫 번째 층의 특성 시각화 50

그림 23. GAN의 적대적 학습관계를 설명하기 위한 위조지폐범과 경찰의 예 53

그림 24. 이미지 생성과정과 판별과정 54

그림 25. GAN의 훈련과정 55

그림 26. Invertible Conditional GAN 56

그림 27. Age Conditional GAN 56

그림 28. 이미지 애니메이션 비디오 생성 방법 57

그림 29. Face2Face 58

그림 30. Vid2Vid 59

그림 31. 2D이미지와 3D 모델 기반 방법 60

그림 32. 얼굴의 히트맵 63

그림 33. 랜드마크 추출 학습 중간 과정과 종료 후의 히트맵 64

그림 34. 히트맵을 통해 랜드마크 좌표 표시 64

그림 35. hourglass 모듈 기본 구조 65

그림 36. Stacked Hourglass Networks의 구조 66

그림 37. FOMM과 Monkey-Net 비교 67

그림 38. FOMM 모델의 구조 68

그림 39. FOMM 모델의 Discriminator 과정 68

그림 40. VoxCeleb dataset, 유명인들의 얼굴 비디오 데이터셋 69

그림 41. θ를 찾는 model agnotic meta learning의 다이어그램 70

그림 42. Source Image, Driving Video, Generation(FOMM모델 사용) 70

그림 43. SSD를 사용한 얼굴 검출 75

그림 44. 키포인트에 따른 왜곡 75

그림 45. 대신 웃어주는 거울 81

그림 46. 절규하는 거울 81

그림 47. 슬픔을 나누는 거울 81

그림 48. 이해하는 거울 81

그림 49. 〈당신을 이해하는 거울〉 프로그램 설계과정 82

그림 50. 작품명: 당신을 이해하는 거울 (왼쪽 실시간 카메라 모습) 82

그림 51. 작품명: 당신을 이해하는 거울(왼쪽: Source (Still 1 장) 이미지) 83

그림 52. 〈당신의 거울〉시리즈 드라이빙 비디오 85

그림 53. 작품명: 청동거울 86

그림 54. 〈청동거울〉작품을 위한 거울조각 마스크 및 좌표 위치 계산 87

그림 55. 5가지 다른 말을 하는 드라이빙 비디오 테스트 88

그림 56. 5가지 감정표현 드라이빙 비디오 테스트 89

그림 57. 강한 머리 포즈에 따른 왜곡을 보여주는 드라이빙 비디오 테스트 90

그림 58. 움직임과 표정 드라이빙 비디오 91

그림 59. 움직임과 표정 드라이빙 비디오에 따른 생성비디오 91

그림 60. 윤두서 자화상 오마주 94

그림 61. 〈윤두서 자화상 오마주〉 작품의 프로그램 설계과정 96

초록보기

본 논문에서는 실시간으로 캡쳐한 관객의 얼굴 표정을 타인의 표정+모션을 사용하여 변형하는 '가상의 가면 즉 페르소나'를 만드는 작품을 구현하였다. 여기서 가상의 가면으로서 페르소나는 가식적인 모습으로서의 가면이 아닌 자신이 표현하고 싶은 모습으로서의 가면이다. 관객은 자신의 얼굴에 타인의 표정을 입혀 만들어진 가상 가면의 표정을 선택하고, 자신이 선택한 가면이 출현한 작품을 감상하게 된다면 변형된 자신의 얼굴을 보며 이질감을 느낄 수 있을 것이다. 왜냐하면 자신의 얼굴이지만 자신이 짓지 않은 표정을 보기 때문이다. 이렇게 가상의 가면을 쓴 낯선 자신의 모습을 보는 경험을 하게 됨으로써, 관객은 자신을 돌아보고 자신의 페르소나에 대해 생각하는 계기를 가질 수 있다. 본 논문의 작품에서는 타인의 표정과 움직임으로 만들어진 거울 작품 속 페르소나를 몇 가지로 구성하여 관객 스스로 가면을 선택할 수 있도록 하였다.

본 연구에서는 AI를 사용하여 자신의 얼굴 이미지에 타인의 표정+모션이 적용된 가면을 만들었다. 본 연구에는 인공지능을 사용한 관객의 페르소나 표현이 약식으로 연구된 단점이 있다. 하지만 타인의 표정과 모션을 개입시키는 인공지능 기술 방법을 사용함으로써 페르소나의 표현적 한계를 개선한 장점이 있다.

작가의 의도가 담긴 표정 비디오와 관객 얼굴을 이용해 AI가 페르소나를 만들어내는 이 작품에서 'AI 페르소나와의 조우'는 관객이 자신의 얼굴을 가진 도플갱어를 대면하게 된다는 것을 의미한다. 타인의 표정의 변화에 따라 작품에 비친 자신의 얼굴 표정의 움직임을 새롭게 덧입히는 방식을 사용한 도플갱어를 통해 이 작품은 마치 나와 같은 얼굴이지만 또 다른 사람인 것처럼 표현할 수 있었다. 작품에서 자신의 도플갱어, 즉 AI로 표정이 변형된 자신의 얼굴이 특정한 움직임을 보이는 장면을 볼 때 관객은 도플갱어가 자신 얼굴로 만들어져 있으므로 얼굴표정 변형에 개입된 '타인의 표정 움직임'의 존재에 대해 알아채기는 쉽지 않다. 그러므로 관객은 도플갱어를 자신의 페르소나로 생각할 수 있게 된다. 다시 말해 작품은 작가의 페르소나이자 관객의 페르소나가 되며 관객은 본 연구의 결과인 AI작품을 통해 자신의 페르소나와 만날 수 있다. 페르소나를 만나는 것이 중요한 이유는 관객이 자신이 선택한 작품 속 다양한 페르소나 거울을 보며 자신의 내면을 성찰하고, 때로는 고민하며, 스스로 위로받고, 감상의 즐거움을 느낄 수도 있기 때문이다.

본 논문은 실시간으로 관객의 얼굴 사진 1장을 캡쳐하고 이것을 미리 준비한 얼굴 동영상에 따라 해당 페르소나를 표현하는 인공지능 예술 작품을 실현하였다. 작가의 의도가 담긴 특정 표정의 움직임을 담은 비디오를 가져와 관객의 얼굴이 작가가 의도한 표정으로 변화되는 영상을 만들기 위해 본 연구는 딥러닝을 기반으로 얼굴의 키포인트를 찾아 모션을 생성하는 방법을 탐구하였다. 이 기술은 한 장의 사진으로부터 얼굴 움직임과 표정 등을 생성하여 보여주는 이미지 애니메이션인 방법에 기반하였는데 인공지능 생성 모델인 GAN(Generative Adversarial Network)을 연구하고 자연스러운 표정 움직임을 생성하는 여러 인공지능 모델 중 하나인 FOMM(First Order Motion Model)을 활용하였다.

앞서 연구된 이론과 기술연구를 바탕으로 한 첫번째 작품 연구로는 카메라에 비친 관객의 얼굴을 거울에 비치도록 하는 실시간 인터랙티브 AI 미디어 아트 작품을 제작하였다.

이 작품은 거울에 비친 자신의 또 다른 행동과 표정을 모습을 페르소나 적 양상으로 표현하였다. 본 논문에서 연구한 저자의 작품 〈당신을 이해하는 거울〉은 무의식과 관련된 상상계로서 페르소나를 표현한 초현실적 인터랙티브 영상 작품이다. 두 번째 작품 〈청동거울〉은 관객의 얼굴을 반영하는 거울 이미지를 통해 자아를 반영하는 이미지를 분절 시켜 또 다른 도플갱어들을 생산하는 작품이다. 세 번째 작품 〈윤두서 자화상 오마주〉는 윤두서를 자신의 가면으로 사용하여 관객 스스로 윤두서의 표정과 모션이 되는 작품이다.

정리하면, 본 논문은 작품 속 인물과 타인의 움직임이 합쳐져 가면의 역할 즉 페르소나가 되는 형식의 작품을 연구 제작하였다. 작품에서 보여지는 대상은 인공지능을 통해 만들어진 페르소나로서의 역할을 하게 된다. 본 연구는 기존의 완성된 영상으로만 존재하는 딥페이크와는 다르게 작품 대상의 얼굴표정을 딥러닝 모델을 통해 실시간으로 조작 변형하여 페르소나를 생성하는 새로운 인공지능 미디어아트 작품을 실현하였다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차