본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색

결과 내 검색

동의어 포함

고급검색

인명/단체명

저자정보 상세정보
인명/단체명을 입력하세요.

키워드

  • 대표어

  • 외국어

-

목차보기

Title Page 2

Contents 5

Abstract 9

Chapter 1. INTRODUCTION 11

1.1. Motivation and Problem Statement 11

1.2. Research Questions 15

1.3. Contributions 19

Chapter 2. RELATED WORK 21

2.1. Deepfake Generation 21

2.2. Deepfake Detection 23

Chapter 3. MOIRÉ-AFFECTED SCENARIO 27

3.1. Introduction 27

3.2. Experimental Design 28

3.2.1. Dataset Subset Selection 29

3.2.2. Evaluated Detection Models 29

3.2.3. Authentic Moiré Patterns 30

3.2.4. Synthetic Moiré Patterns 31

3.2.5. Demoiréing Methods 33

3.2.6. Other Type of Image Distortions 34

3.3. Results 35

3.3.1. Detection Performance under Authentic Moiré Patterns 35

3.3.2. Detection Performance under Synthetic Moiré Patterns 39

3.3.3. Other Type of Image Distortions 40

3.3.4. Mitigation Strategies 41

3.4. Discussion 46

1. Real-world capture artifacts severely degrade detection performance 47

2. Attackers can easily exploit synthetic Moiré to bypass detection 47

3. Naive demoiréing may harm detection accuracy by erasing forensic cues 47

4. Retraining with Moiré-affected data significantly enhances generalization 48

5. Fine-grained distortions like blurring and sharpening provide additional insight into model behavior 48

Chapter 4. MULTI-STEP MANIPULATION SCENARIO 50

4.1. Introduction 50

4.2. Experimental Design 51

4.2.1. Generative Techniques Used 51

4.2.2. Stepwise Manipulations and Metadata 53

4.3. Results 56

4.3.1. Quantitative Results 56

4.3.2. Qualitative Results 67

4.4. Discussion 70

1. The Role of Final Manipulation in Detection Robustness 70

2. Importance of Manipulation Depth in Training 70

3. Generator-Specific Generalization Behavior 71

4. Feature Representation Encodes Manipulation Provenance 71

5. Semantic Collapse in StyleSwin-Based Multi-Step Outputs 71

6. Implications for Detection and Dataset Design 72

Chapter 5. CONCLUSION 73

References 76

Appendix 85

논문요약 98

List of Tables 7

Table 1. AUC performance comparison of image-based deepfake detectors on... 36

Table 2. Detection performance was measured using the AUC metric for three... 39

Table 3. Detection performance (AUC) comparison across original (OG),... 42

Table 4. Detection performance (Accuracy) of two deepfake detectors-MAT,... 45

Table 5. Generation logic and modality-specific input configurations for... 54

Table 6. Detection accuracy of models trained on 1-step data and tested... 59

Table 7. Detection accuracy of models trained on 2-step data and tested... 59

Table 8. Detection accuracy of three detectors (Xception, F3Net, MAT)... 61

Table 9. Fréchet Inception Distance (FID) scores measured for images... 68

List of Figures 8

Figure 1. Overview of experimental scenarios. (a) Traditional deepfake... 12

Figure 2. Examples of Moire pattern distortions applied to deepfake images.... 32

Figure 3. Comparison of demoréing methods applied to an image affected by... 34

Figure 4. Performance comparison of image-based deepfake detectors under... 38

Figure 5. Impact of Gaussian blurring and sharpening on AUC scores for two... 41

Figure 6. t-SNE visualization of feature embeddings extracted from the... 63

Figure 7. FFT-based frequency analysis of manipulated images. Each row... 66

Figure 8. Final-stage manipulations using StyleSwin result in identity... 68

Figure 9. Real and One-Step Manipulations 86

Figure 10. Two-Step Manipulations Ending with FaceFusion 87

Figure 11. Two-Step Manipulations Ending with StyleGAN3 88

Figure 12. Two-Step Manipulations Ending with StyleSwin 89

Figure 13. Two-Step Manipulations Ending with Stable Diffusion3 90

Figure 13. Two-Step Manipulations Ending with Stable Diffusion XL 91

Figure 14. Three-Step Manipulations Ending with FaceFusion 92

Figure 15. Three-Step Manipulations Ending with FaceFusion 93

Figure 16. Three-Step Manipulations Ending with StyleGAN3 94

Figure 17. Three-Step Manipulations Ending with StyleSwin 95

Figure 18. Three-Step Manipulations Ending with Stable Diffusion 3 96

Figure 19. Three-Step Manipulations Ending with S Table Diffusion XL 97

초록보기

 딥페이크 생성 기술의 급속한 발전에 따라, 실제 환경에서도 신뢰할 수 있는 포렌식 모델의 견고성을 확보하는 것이 중요한 과제로 부상하였다. 기존의 딥페이크 탐지기는 정제된 벤치마크 환경에서는 우수한 성능을 보였지만, 실제 환경에서의 왜곡이나 다단계 변조에는 취약할 수 있다는 점은 충분히 조명되지 않았다. 이에 본 연구에서는 두 가지 현실적 시나리오를 중심으로 딥페이크 탐지기의 견고성과 일반화 성능을 종합적으로 평가하였다.

첫 번째로, 화면 촬영 과정에서 발생하는 모아레(Moiré) 패턴 왜곡이 탐지 성능에 미치는 영향을 분석하기 위해 DeepMoiréFake(DMF) 데이터셋을 구축하였다. 해당 데이터셋은 스마트폰으로 다양한 모니터를 촬영하여 수집한 실제 모아레 패턴과, Moiré Attack(MA) 및 Screen Photo Simulator(SPS)를 활용해 생성한 합성 모아레 패턴을 포함하도록 구성하였다. 실험 결과, 실제 모아레는 최대 11.7%의 AUC 성능 저하를 유발하였고, 단순한 디모아레 처리(demoiréing)는 오히려 포렌식 단서를 제거하여 탐지 성능을 더욱 떨어뜨리는 것으로 나타났다. 원본 및 모아레 왜곡을 포함한 데이터로 재학습한 결과, 모아레 패턴이 없는 깨끗한 원본 데이터에 대한 성능 저하 없이 탐지기의 강인성이 크게 향상되었으며, 원본, 실제 모아레, 합성 모아레 조건 모두에서 일관된 성능 향상을 달성할 수 있었다.

두 번째로, 다단계 변조(multi-step manipulation) 시나리오를 분석하기 위해 FaceSwap, GAN, 디퓨전 기반 생성기 5종을 조합하여 1단계, 2단계, 3단계로 구성된 FakeChain 벤치마크를 제안하였다. 정량적·정성적 분석 결과, 마지막 단계에 사용된 생성기가 탐지 성능에 가장 큰 영향을 미치며, 이전 단계의 변조 흔적은 대부분 덮어지는 경향을 보였다. 특히, FaceSwap은 변조 단계 수와 무관하게 안정적인 포렌식 특성을 유지하는 반면, GAN 기반 모델은 마지막 단계의 아티팩트가 이전 정보를 덮어버리는 경향을 나타냈다. 디퓨전 기반 모델은 변조 이력을 효과적으로 보존함으로써 특징 공간에서 뚜렷한 분리를 유도하였다.

이러한 결과를 바탕으로, 본 연구는 기존 딥페이크 탐지 파이프라인의 한계를 지적하고, 현실적인 왜곡에 강인한 탐지기를 개발하기 위해 다음과 같은 전략의 필요성을 제시하였다: (1) 왜곡 인지 기반 학습, (2) 다단계 조합 변조에 대한 평가, (3) 포렌식 신호의 보존. 본 연구는 실사용 환경에서도 신뢰할 수 있는 딥페이크 탐지기를 설계하는 데 있어 실질적인 방향성과 통찰을 제공하였다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차

권호

기사명 원문보기 기사목차
닫기