표제지
논문요약
목차
약어표 17
1. 서론 19
1.1. 소프트웨어 테스팅 19
1.2. 랜덤 테스팅 및 응용 22
1.2.1. 랜덤 테스팅 22
1.2.2. 퍼징 23
1.3. 오류의 특성 25
2. 관련 연구 27
2.1. 적응적 랜덤 테스팅 27
2.1.1. 정의 27
2.1.2. ART 개요 30
2.2. 거리기반 ART 31
2.3. 분할기반 ART 36
2.4. 반복 분할을 통한 ART의 개선 정책 40
3. 유닛 테스팅을 위한 ART 43
3.1. 입력 도메인의 가상 확장을 이용한 분할기반 ART 43
3.1.1. 최초 분할 수치 변화에 따른 테스트 케이스 분포 47
3.1.2. 노름(Norm)을 이용한 제한 영역 설정 48
3.1.3. 수행 알고리즘 52
3.1.4. 성능 평가 54
3.1.5. 입력 도메인 확장 정책 평가 65
3.2. 테스트 케이스 분포 분석 기반 ART 66
3.2.1. IP-ART 테스트 케이스 분포 분석 66
3.2.2. ED-IP-ART의 테스트 케이스 분포 분석 69
3.2.3. 테스트 케이스 선택 제어 정책 70
3.2.4. 접근 방법별 비교 76
3.2.5. 성능 평가 79
3.2.6. 테스트 케이스 분포 제어 정책 평가 89
3.3. 테스트 케이스 선택제한영역의 관리를 이용한 ART 91
3.3.1. 확장된 제한 영역 관리 91
3.3.2. 입력 도메인의 가상 배치 - 입력 도메인 타일링 94
3.3.3. 성능 평가 96
3.3.4. 실험 결과 98
3.3.5. 제한 영역 관리 방법의 평가 107
3.4. 유닛 테스팅을 위한 ART 평가 108
4. 통합 테스팅을 위한 ART 109
4.1. ART의 통합 테스트 적용 시 고려사항 109
4.2. 분포기반 ART 114
4.2.1. 분포기반 ART 개요 114
4.2.2. 성능 평가 117
4.2.3. 출력 분포 기반 ART 평가 121
4.3. 분포 예측기반 ART 122
4.3.1. 고려사항 122
4.3.2. 분포 예측을 통한 ART 기반 통합 테스트 정책 122
4.3.3. 성능 평가 130
4.3.4. 출력 분포 예측기반 ART 평가 134
5. 결론 135
참고문헌 137
ABSTRACT 144
표 1. 블록 패턴 예제 프로그램 29
표 2. 선형 패턴 예제 프로그램 29
표 3. 점형 패턴 예제 프로그램 30
표 4. 입력 도메인 확장 기반의 IP-ART 알고리즘 53
표 5. 입력 도메인 확장 방법에 대한 실험 환경 54
표 6. 파티션 선택 빈도 비율 70
표 7. 배제 알고리즘 72
표 8. 이동 알고리즘 74
표 9. 제한 영역 제어 알고리즘 75
표 10. 접근 방법별 주요 사항 비교 78
표 11. 테스트 케이스 분포 분석 기반 ART의 성능 평가 실험 환경 79
표 12. 테스트 케이스 분포 확인 실험 환경 80
표 13. 제한 영역 관리 알고리즘 - 2차원 입력 도메인 92
표 14. 입력 도메인 타일링 알고리즘 - 2차원 입력 도메인 96
표 15. 제한영역 관리방법의 성능 평가 실험 환경 97
표 16. 테스트 케이스 분포 확인 실험 환경 97
표 17. IP-ART 기준 오류 영역 검출 시간 비율 (IP-ART=1) 102
표 18. 통합 시스템의 평균 F-지수 (θ=0.01) 112
표 19. 출력 분포 기반 ART (ART-D) 115
표 20. 출력 분포 기반 ART의 실험 환경 117
표 21. 로그 분포형 출력에서의 평균 F-지수 119
표 22. 지수 분포형 출력에서의 평균 F-지수 119
표 23. 정규 분포형 출력에서의 평균 F-지수 (IDT) 120
표 24. 정규 분포형 출력에서의 평균 F-지수 (ART-D) 120
표 25. 분포 예측기반 ART 알고리즘 (DES-ART) 129
표 26. 출력 분포 예측 기반 ART 실험 환경 131
그림 1. 오류 패턴 28
그림 2. D-ART의 테스트 케이스 선택 예제(k=3) 32
그림 3. RRT의 테스트 케이스 선택 예제 33
그림 4. N번째 테스트 케이스의 분포 (D-ART) 35
그림 5. IP-ART 수행 예 37
그림 6. IP-ART 테스트 케이스 편중 현상 38
그림 7. M-IP-ART의 제한 영역 마스크 40
그림 8. 그리드 방식의 특징 42
그림 9. 제한 영역 마스크 및 테스트 케이스 분포 편중 현상 44
그림 10. 입력 도메인 확장 (EF=1) 45
그림 11. 초기 P값 변화에 따른 테스트 케이스 분포 48
그림 12. 노름(Norm)을 이용한 제한 영역 마스크 51
그림 13. 2차원 입력 도메인에서의 오류 패턴 55
그림 14. 파티션 여백 지수 55
그림 15. 오류 비율에 따른 성능 변화-2차원 입력 도메인 57
그림 16. 오류 비율에 따른 성능 변화-3차원 입력 도메인 60
그림 17. 파티션 여백 지수 적용 시 성능 변화 (CP=0.4) 62
그림 18. 입력 도메인 차원 수에 따른 성능 변화 63
그림 19. 테스트 케이스 분포-IP-ART 67
그림 20. 입력 도메인 분할 증가에 따른 첫 번째 입력 데이터 좌표의 분포 68
그림 21. 테스트 케이스의 첫 번째 입력 데이터 분포 81
그림 22. 오류 비율에 따른 평균 상대 F-지수 변화 84
그림 23. 입력 도메인 차원 수 증가에 따른 평균 상대 F-지수 변화 86
그림 24. 오류 영역 검출 시간 비용 증가율 87
그림 25. IP-ART 대비 단위 시간당 오류 검출 수 88
그림 26. 제한 영역 관리 93
그림 27. 입력 도메인 타일링의 제한 영역 설정 - 2차원 입력 도메인 95
그림 28. 파티션 선택 분포 99
그림 29. 오류 영역 검출 시간 증가율 101
그림 30. 평균 F-지수 비교 104
그림 31. 입력 도메인 차원 수 증가에 따른 성능 변화 107
그림 32. 통합 테스트 환경의 시스템 110
그림 33. 가상 전단 시스템의 출력 분포 112
그림 34. ART를 이용한 통합 테스트 절차 114
그림 35. 테스트 환경 123
그림 36. 분포 예측 방법 124
그림 37. 입력 구간 부분 생략 125
그림 38. 출력 분포 예측 방식의 기본 개념 126
그림 39. ODR 생성 방법 127
그림 40. 평균 F-지수, probks 132
그림 41. 평균 F-지수, bessj0 132
그림 42. 초기 입력 데이터를 테스트 케이스로 이용한 경우의 평균 F-지수, probks 133
〈수식 1〉 평균 상대 F-지수 28
〈수식 2〉 유클리드 거리 31
〈수식 3〉 D-ART 테스트 케이스 선택 방법 32
〈수식 4〉 RRT의 제안 영역 연산식 34
〈수식 5〉 파티션의 위치 벡터 49
〈수식 6〉 IP-ART의 제한 영역 표현을 위한 l∞ 노름(이미지참조) 50
〈수식 7〉 M-IP-ART의 제한 영역 표현을 위한 l₂ 노름 50
〈수식 8〉 통합 테스팅 환경에서의 평균 상태 F-지수 111
〈수식 9〉 후단 모듈의 입력 도메인내의 파티션 크기 116
〈수식 10〉 후단 모듈의 한 파티션에 대한 출력 발생 확률 116
〈수식 11〉 전단 입력 도메인 내의 한 파티션 크기 116
〈수식 12〉 전단 입력 도메인의 파티션 분할 시 분할 방법 117