표제지
목차
발간사 3
국문요약 20
영문요약 31
제1장 서론 36
제1절 연구의 필요성과 목적 37
1. 연구의 필요성 37
2. 연구의 목적 40
제2절 연구의 범위와 방법 및 연구흐름도 42
1. 연구의 범위 및 흐름도 42
2. 연구의 방법 46
제3절 연구의 기대효과 49
제2장 이론적 논의 및 선행연구 검토 52
제1절 ODA사업과 메타평가 53
1. ODA사업 53
2. 메타평가 57
3. ODA사업 메타평가 72
제2절 ODA사업 메타평가 연구 82
1. 국내 ODA사업 메타평가 선행연구 82
2. 해외 ODA사업 메타평가 선행연구 85
제3절 소결론: 이론적 검토를 통한 분석틀 도출 91
제3장 정부의 ODA사업 운영ㆍ평가 시스템 현황 93
제1절 정부의 ODA사업 운영시스템 94
1. 한국 ODA사업 총괄 조정기구 94
2. 한국 ODA사업 주관 및 시행기관 96
제2절 정부의 ODA사업 평가시스템 99
1. 정부의 ODA사업 통합평가체계 99
2. ODA사업 자체평가보고서 101
3. 정부의 ODA사업 통합평가보고서 103
제3절 소결론 112
제4장 해외 ODA사업 메타평가사례분석 114
제1절 해외 ODA사업 메타평가 분석틀 115
제2절 미국의 ODA사업 메타평가 사례 126
1. 메타평가의 설계 126
2. 메타평가지표별 평가결과 139
3. 미국 메타평가의 시사점 159
제3절 영국의 ODA사업 메타평가 사례 161
1. 메타평가의 설계 162
2. 메타평가지표별 평가결과 174
3. 영국 메타평가의 시사점 188
제4절 핀란드의 ODA사업 메타평가 사례 191
1. 메타평가의 설계 191
2. 메타평가지표별 평가결과 198
3. 핀란드의 메타평가 시사점 204
제5절 소결론 207
제5장 ODA사업 자체평가에 대한 메타평가 210
제1절 국내 ODA사업 메타평가 설계 211
1. 국내 ODA사업 메타평가의 방향 211
2. 국내 ODA사업 메타평가의 목적 및 필요성 214
3. 국내 ODA사업 메타평가 지표개발 215
4. 국내 ODA사업 메타평가의 대상범위 222
제2절 국내 ODA사업평가에 대한 메타평가결과 226
1. 평가투입 226
2. 평가과정 284
3. 평가결과 327
4. 평가활용 377
제3절 소결론: 국내 ODA사업 평가의 문제점 391
1. 평가투입 차원 391
2. 평가과정 차원 395
3. 평가결과 차원 399
4. 평가활용 차원 402
제6장 ODA사업 메타평가시스템 인식분석 405
제1절 조사설계 406
1. 연구설계 406
2. 조사 및 분석방법 410
3. 문항 신뢰도 분석결과 414
제2절 ODA사업평가에 대한 인식 분석결과 420
1. 평가투입차원에 대한 전문가 인식 420
2. 평가과정차원에 대한 전문가 인식 432
3. 평가결과차원에 대한 전문가 인식 444
4. 평가활용차원에 대한 전문가 인식 449
5. ODA사업성과에 대한 전문가 인식 456
제3절 ODA사업평가가 성과에 미치는 영향분석 462
1. ODA사업 평가투입차원이 성과에 미치는 영향 462
2. ODA사업 평가과정차원이 성과에 미치는 영향 465
3. ODA사업 평가결과차원이 성과에 미치는 영향 468
4. ODA사업 평가활용차원이 성과에 미치는 영향 471
제4절 소결론 474
1. 평가투입차원에 대한 평가결과 474
2. 평가과정차원에 대한 평가결과 475
3. 평가결과차원에 대한 평가결과 476
4. 평가활용차원에 대한 평가결과 477
5. ODA사업성과에 대한 평가결과 478
6. 회귀분석결과: 평가지표가 성과에 미치는 영향 479
제7장 ODA사업 메타평가시스템 개선방안 480
제1절 법제도적 개선방안 483
1. 「국제개발협력기본법」에 메타평가 관련 조항 제정 483
2. 「정부업무평가기본법」과 「국제개발협력기본법」 간 연계를 통한 법적 근거 마련 485
3. 통합평가시스템 안에 정기 메타평가시스템 구축 486
4. 메타평가를 위한 가이드라인 구축 488
5. KOICA에 의한 연도별ㆍ부문별 메타평가 실시 시스템 정교화 491
6. 「국제개발협력기본법 시행령」을 통해 메타평가 예산 할당 조항 제정 492
7. 메타평가를 위한 TF를 평가소위원회에 구성 494
제2절 제도운영적 개선방안 495
1. ODA사업 메타평가 주체 선정기준 및 방법 개발 495
2. ODA사업 메타평가지표 개발 및 적용 497
3. 양적ㆍ질적 평가를 통한 메타평가제도 구축 499
4. 성과관리시스템을 통한 결과(outcome) 중심의 메타평가 시스템 구축 501
5. 영향(impact) 평가를 위한 메타평가 실시방안 모색 503
6. 수원국 정부 및 전문가의 참여에 의한 평가ㆍ메타평가 수행방안 제시 505
7. 효율성 측정을 위한 VfM 평가 실시방안 제시 507
8. 메타평가를 통해 개별 ODA사업에 대한 종합평가 실시 방안 제시 508
9. 중간평가를 통한 모니터링으로 개별 사업평가의 환류기능 강화 510
10. 평가상황 및 위험/문제점 분석을 통한 평가 우선순위 선정 511
11. 성과정보에 대한 모니터링 시스템 개선을 통한 평가자료 확보 512
12. 개별 ODA사업 평가과정 표준화를 통한 메타평가 실시 기반 구축 513
13. 수원국의 환경 및 상황에 적합한 평가방법 활용 및 평가지표 개발 필요 515
14. 평가보고서 기술 수준 개선: 근거기반, 심층분석, 가시화 516
15. 여성 및 환경에 관한 평가 강화 517
제3절 인식론적 개선방안 519
1. 메타평가 필요성에 관한 실무가(공무원, ODA사업 관련 이해관계자) 교육 실시 519
2. 메타평가 결과 피드백을 통한 개별 ODA사업 담당 공무원의 인식개선 유도 520
3. 메타평가 결과 피드백을 통한 개별 ODA사업 수행 민간기관 인식 개선 유도 523
4. 평가자의 평가역량 강화를 위한 교육 실시 523
5. 수원국 및 이해관계자 의견수렴 실질화 필요성 교육 실시 524
참고문헌 526
[부록] ODA 전문가 의견조사용 설문지 538
판권기 549
〈표 1-1〉 연구의 범위 42
〈표 2-1〉 새천년개발목표의 세부 과제 56
〈표 2-2〉 메타평가의 개념과 특징 61
〈표 2-3〉 메타평가 개념에 대한 견해 62
〈표 2-4〉 메타평가의 목적에 대한 연구자들의 의견 64
〈표 2-5〉 메타평가의 목적을 이루기 위한 질문들 66
〈표 2-6〉 메타평가의 구성요소에 따르는 평가항목 67
〈표 2-7〉 메타평가 보고서의 구성요소와 평가항목 69
〈표 2-8〉 CIPOU 메타평가모형의 구성요소 70
〈표 2-9〉 기능에 따른 분류: 일본 74
〈표 2-10〉 OECD DAC의 평가품질표준 77
〈표 2-11〉 OECD DAC의 평가시스템과 활용을 위한 지침 78
〈표 2-12〉 국내 ODA사업 메타평가 선행연구 정리 84
〈표 2-13〉 해외의 ODA사업 메타평가 선행연구 85
〈표 3-1〉 통합평가체계 운영절차 99
〈표 3-2〉 통합평가체계와 역할분담 100
〈표 3-3〉 ODA사업 자체평가보고서의 지표 유형 102
〈표 3-4〉 KOICA의 ODA사업 자체평가보고서의 구성 예시 102
〈표 3-5〉 통합평가보고서의 구성 104
〈표 3-6〉 보건 분야 ODA사업 통합평가를 위한 평가질문 106
〈표 3-7〉 통합평가의 사업수행체계 평가결과 및 보고서 기술 예시 107
〈표 3-8〉 향후 추진계획 기술 예시: 보건 분야 ODA 통합평가의 기술 사례 110
〈표 4-1〉 해외 ODA사업 메타평가 리스트 116
〈표 4-2〉 개별 보고서의 분석대상 및 분석방법 117
〈표 4-3〉 개별보고서의 지표 구성 118
〈표 4-4〉 해외사례 분석틀 124
〈표 4-5〉 미국의 역대 ODA사업 메타평가 주체 127
〈표 4-6〉 평가보고서 샘플링계획 및 실제 샘플 선정결과 130
〈표 4-7〉 MSI의 메타평가를 위한 "Getting to Answers Matrix" 135
〈표 4-8〉 메타평가 지표의 체크리스트 137
〈표 4-9〉 평가주체에 관한 메타평가결과 139
〈표 4-10〉 메타평가대상 평가의 평가팀 구성 비율 141
〈표 4-11〉 지표별 메타평가결과 간 상관관계 분석 예시 142
〈표 4-12〉 평가목적별 분포: 과거의 메타평가와 비교 145
〈표 4-13〉 평가방법 및 평가수준 관련 지표에 대한 측정결과 147
〈표 4-14〉 메타평가 대상 평가보고서의 평가질문 수 151
〈표 4-15〉 평가자료 수집방법: 계획과 실제 사이의 비교 155
〈표 4-16〉 주요 평가자료 수집방법: 연도별 비교 156
〈표 4-17〉 평가방법 및 평가수준 관련지표와 평가주체 관련 지표와의 관계 158
〈표 4-18〉 평가주체에 대한 지표와 평가내용에 관한 지표간 상관관계 158
〈표 4-19〉 메타평가단계별 주요 활동 165
〈표 4-20〉 인터뷰 대상자 167
〈표 4-21〉 보고서별 평가프레임워크: 2단계 170
〈표 4-22〉 우선순위 설정과정에 대한 메타평가결과 175
〈표 4-23〉 지역사회 참여에 대한 메타평가결과 177
〈표 4-24〉 평가자료 수집과정에서의 커뮤니케이션에 대한 평가 결과 178
〈표 4-25〉 메타평가 결과 요약표 181
〈표 4-26〉 평가결과 도출근거: 평가내용 요약 182
〈표 4-27〉 VfM에 대한 평가 예시 186
〈표 4-28〉 개별 평가보고서가 제시하는 제언에 대한 메타평가 결과 188
〈표 4-29〉 메타평가팀의 구성과 메타평가팀 구성기준 192
〈표 4-30〉 평가보고서 평가점수체계 197
〈표 4-31〉 개발협력의 질 평가점수체계 198
〈표 4-32〉 메타평가결과: 평가주체 199
〈표 4-33〉 메타평가결과: 평가방법 및 평가수준 201
〈표 4-34〉 3개국 메타평가의 특징 비교 207
〈표 5-1〉 국내 ODA사업 메타평가결과 기술의 구성 214
〈표 5-2〉 국내 ODA사업 자체평가에 대한 메타평가지표 218
〈표 5-3〉 수원국의 지역별 분포 224
〈표 5-4〉 평가투입에 관한 메타평가지표 226
〈표 5-5〉 평가자(조직)의 전문성 수준 229
〈표 5-6〉 평가자(조직)의 중립성 수준 234
〈표 5-7〉 평가수행과정에서 평가중립성이 저해될 수 있는 가능성이 있는 사례: 현지조사 과정에서 KOICA 현지 담당자와 사업대상자를 한자리에서 인터뷰 한 예 236
〈표 5-8〉 수원국 및 이해관계자 참여여부 239
〈표 5-9〉 평가팀의 규모(평가팀원 수) 분포 242
〈표 5-10〉 KOICA의 예산총괄표: 2012년과 2013년 비교 247
〈표 5-11〉 「국제개발협력기본법(시행령)」과 「정부업무평가기본법」의 평가관련 조문 248
〈표 5-12〉 평가기간의 분포 252
〈표 5-13〉 "미얀마 직업훈련원 건립사업" 사후 평가 일정 253
〈표 5-14〉 평가예산의 규모 분포 257
〈표 5-15〉 현지조사 일정 수행의 충실성 판단 가능성 우수사례 259
〈표 5-16〉 현지조사 일정 수행의 충실성 판단 가능성 미흡사례 260
〈표 5-17〉 사업추진과정 및 평가절차 기술(필리핀 부수앙가 공항개발 사후평가 용역사업 최종보고서의 예시) 265
〈표 5-18〉 사전타당성조사보고서의 내용: 평가계획 타당성 검증의 부재 266
〈표 5-19〉 KOICA 사후평가보고서에 적용되는 평가기준표 269
〈표 5-20〉 요구 사전조사 여부 수준 271
〈표 5-21〉 평가자료 기술의 예 276
〈표 5-22〉 평가과정에 대한 메타평가지표 284
〈표 5-23〉 평가자와 국내 사업담당자, 협력기관, 전문가 간의 커뮤니케이션 수준 286
〈표 5-24〉 평가자와 수원국 직원, 수혜자, 전문가 간의 커뮤니케이션 수준 290
〈표 5-25〉 이해관계자 별 인터뷰 대상자와 인터뷰를 통한 주요 수집 자료 기술의 예시 294
〈표 5-26〉 평가방법 및 평가지표 선정 방법 298
〈표 5-27〉 논리모형과 OECD DAC 기준을 결합해 평가지표를 개발한 예2 300
〈표 5-28〉 평가지표의 분포 303
〈표 5-29〉 일부 분야에 대해 평가지표가 집중된 사례 305
〈표 5-30〉 "필리핀 부수앙가 공항개발사업"의 성과목표 체계 예시 309
〈표 5-31〉 "필리핀 부수앙가 공항개발사업"의 평가지표 일부의 예시 310
〈표 5-32〉 "한-베 친선 IT 대학 건립사업 사후평가 보고서"의 효과성 평가지표 311
〈표 5-33〉 평가방법의 활용 분포 316
〈표 5-34〉 DR콩고의 "츄엔게 농촌종합개발사업" 현장조사 일정 320
〈표 5-35〉 "스리랑카 지프나 기능대학 기능개선사업" 평가의 현지조사 일정 예시 323
〈표 5-36〉 "이종욱 펠로우십 의사 1년과정 성과평가" 현장방문 설계 예 324
〈표 5-37〉 평가결과 세부지표 327
〈표 5-38〉 '적절성' 메타평가 결과 330
〈표 5-39〉 '적절성' 평가지표 우수사례 332
〈표 5-40〉 '적절성' 평가지표 미흡사례 334
〈표 5-41〉 '효과성' 메타평가 결과 337
〈표 5-42〉 채소작물 시험재배를 통한 우수품종 선발실적 340
〈표 5-43〉 '효율성' 메타평가 결과 343
〈표 5-44〉 계획대비 인력 및 예산투입 기술 예시 345
〈표 5-45〉 '효율성'에 대한 설문조사 문항 예시 346
〈표 5-46〉 '지속가능성' 메타평가 결과 350
〈표 5-47〉 '영향력' 메타평가 결과 355
〈표 5-48〉 평가보고서의 증거기반 기술수준 359
〈표 5-49〉 '효과성'에 대한 증거기반 기술의 예시 361
〈표 5-50〉 유형별 취약항목 및 우선개선국가 365
〈표 5-51〉 투입예산 계획과 지출 기술의 예시 366
〈표 5-52〉 심층분석 기술에 관한 평가결과 368
〈표 5-53〉 평가활용의 메타평가지표 377
〈표 5-54〉 제언의 기술수준 384
〈표 5-55〉 ODA평가보고서 발간일과 ODA정보센터 등록 시기 비교 388
〈표 5-56〉 평가투입차원의 평가결과 394
〈표 5-57〉 평가과정에 대한 평가결과 398
〈표 5-58〉 평가결과에 대한 평가결과 402
〈표 5-59〉 평가활용의 평가결과 404
〈표 6-1〉 구조화된 설문문항 408
〈표 6-2〉 인구통계학적 정보 411
〈표 6-3〉 인구통계학적 정보평가투입차원에 대한 기술적 통계 415
〈표 6-4〉 평가과정차원에 대한 기술적 통계 416
〈표 6-5〉 평가결과차원에 대한 기술적 통계 417
〈표 6-6〉 평가활용차원에 대한 기술적 통계 418
〈표 6-7〉 ODA 사업에 대한 평가의 성과에 대한 기술적 통계 419
〈표 6-8〉 평가자의 타당성에 대한 평가 421
〈표 6-9〉 평가투입자원의 타탕성에 대한 평가 424
〈표 6-10〉 평가프레임의 타당성에 대한 평가 427
〈표 6-11〉 평가자료의 충분성에 대한 평가 431
〈표 6-12〉 평가자와의 커뮤니케이션 충분성에 대한 평가 433
〈표 6-13〉 평가과정의 표준화 수준에 대한 평가 436
〈표 6-14〉 평가설계 및 지표선정의 타당성에 대한 평가 439
〈표 6-15〉 평가방법의 타당성에 대한 평가 441
〈표 6-16〉 OECD DAC 기준별 평가의 적절성에 대한 평가 445
〈표 6-17〉 평가보고서의 기술 타당성에 대한 평가 448
〈표 6-18〉 평가결과의 활용의지에 대한 평가 451
〈표 6-19〉 평가보고서의 활용가능성에 대한 평가 453
〈표 6-20〉 ODA사업평가의 성과에 대한 평가 457
〈표 6-21〉 수원국에서의 ODA 사업성과에 대한 평가 461
〈표 6-22〉 평가투입차원과 평가의 성과 간 인과관계 463
〈표 6-23〉 평가과정차원과 평가의 성과 간 인과관계 466
〈표 6-24〉 평가결과차원과 평가의 성과 간 인과관계 469
〈표 6-25〉 평가활용차원과 평가의 성과 간 인과관계 472
〈표 7-1〉 ODA사업 메타평가 개선방안 482
〈표 7-2〉 ODA사업 평가에 관한 현행 법령 조항 신설 제안 484
〈표 7-3〉 정부업무평가기본법 개정시 ODA사업 메타평가에 관한 조항 신설 486
〈표 7-4〉 통합평가체계 운영절차 개선을 통한 메타평가 실시 제언 488
〈표 7-5〉 ODA사업 메타평가 가이드라인의 내용 제안(신설) 489
〈표 7-6〉 ODA사업 메타평가 제도의 3가지 방안 제시(신설) 492
〈표 7-7〉 시행령에서 메타평가 예산 할당 기준 제정(신설) 493
〈표 7-8〉 메타평가 주체 관련 운영지침 제안(신설) 496
〈표 7-9〉 ODA사업 메타평가지표의 제시(신설) 498
〈표 7-10〉 메타평가 및 평가의 성과관리시스템 적용방안 제시(신설) 503
〈표 7-11〉 영향에 대한 평가와 메타평가 방안 제시(신설) 505
〈표 7-12〉 VfM을 통한 효율성 평가 개선 방안 제안(신설) 508
〈표 7-13〉 ODA사업 종합평가로서 메타평가 방안 제언(신설) 509
〈표 7-14〉 ODA사업 메타평가 필요성에 대한 실무가 교육안 제안(신설) 520
〈그림 1-1〉 연구의 흐름도 45
〈그림 1-2〉 본 연구의 방법 46
〈그림 2-1〉 빈곤감소를 위한 OECD DAC의 가이드라인 54
〈그림 2-2〉 OECD DAC의 ODA사업 평가기준과 평가지표 81
〈그림 2-3〉 본 연구의 분석틀 92
〈그림 3-1〉 국제개발협력위원회 구조도 95
〈그림 3-2〉 보건분야 ODA 사업성과평가결과 기술예시 109
〈그림 4-1〉 USAID와 메타평가팀 사이의 역할분담 128
〈그림 4-2〉 미국 USAID의 연도별 평가보고서 발간 추이 131
〈그림 4-3〉 USAID 메타평가절차 133
〈그림 4-4〉 평가유형별 비율 분포 143
〈그림 4-5〉 평가시기별 분포 144
〈그림 4-6〉 평가보고서의 평가점수 분포 152
〈그림 4-7〉 부문별 평가결과 비교: 평가보고서의 평가점수 152
〈그림 4-8〉 연도별 평가보고서의 평가점수평균 변화 추이 153
〈그림 4-9〉 자료수집 및 분석방법 기술비율 154
〈그림 4-10〉 실험집단-통제집단간 비교분석 설계방식 사용시의 성과 우수성 157
〈그림 4-11〉 영국의 메타평가절차 164
〈그림 4-12〉 보고서별 평가프레임워크: 1단계 168
〈그림 4-13〉 지뢰제거가 국가개발추이에 미치는 영향 172
〈그림 4-14〉 메타평가결과의 활용 계획 173
〈그림 4-15〉 메타평가대상: 지원사업유형별 179
〈그림 4-16〉 평가대상: 수원국별 180
〈그림 4-17〉 증거기반한 평가를 실시했는지 여부에 대한 메타평가결과 종합 184
〈그림 4-18〉 연도별 수원국(수단)의 지속가능성 수준 모니터링 결과 185
〈그림 4-19〉 평가보고서의 유형 194
〈그림 4-20〉 평가들의 내적연결 관계 195
〈그림 4-21〉 핀란드의 평가지표별 메타평가결과 비교 203
〈그림 5-1〉 ODA사업 메타평가지표의 2가지 구성 기준 215
〈그림 5-2〉 국내 ODA사업 자체평가에 대한 메타평가지표의 구성 217
〈그림 5-3〉 수원국 유형 223
〈그림 5-4〉 평가자 유형 분포 225
〈그림 5-5〉 평가자(조직)의 전문성 평가기준 227
〈그림 5-6〉 비평가전문가에 의한 평가시 발생될 수 있는 한계의 예시 231
〈그림 5-7〉 평가자(조직)의 중립성 평가기준 233
〈그림 5-8〉 수원국 및 이해관계자 참여여부의 평가기준 238
〈그림 5-9〉 평가인력(조직) 충분성의 평가기준 242
〈그림 5-10〉 자문팀과 평가지원팀이 있는 사례 244
〈그림 5-11〉 매년 평가예산 할당 여부의 평가기준 246
〈그림 5-12〉 평가시기 및 기간 충분성의 평가기준 250
〈그림 5-13〉 평가시기의 분포 251
〈그림 5-14〉 평가예산 충분성의 평가기준 255
〈그림 5-15〉 평가예산의 규모 분포 257
〈그림 5-16〉 평가대상선정의 타당성 평가기준 261
〈그림 5-17〉 사업계획 수립시 계획대로 평가했는지 여부 평가기준 264
〈그림 5-18〉 평가우선순위 결정여부 평가기준 267
〈그림 5-19〉 사후평가보고서에서 평가우선순위 결정에 관한 논의가 이루어지지 않은 예 268
〈그림 5-20〉 정책이해관계자 및 정책대상자의 요구 사전조사 여부 평가기준 270
〈그림 5-21〉 KSP 국가정책자문사업 협력체계도 273
〈그림 5-22〉 평가 자료의 충분성 275
〈그림 5-23〉 평가자료 적기 제공여부 279
〈그림 5-24〉 평가자와 국내 사업담당자 및 전문가, 협력기관간 커뮤니케이션 충분성 285
〈그림 5-25〉 평가자와 수원국 직원 및 이해관계자와 커뮤니케이션 충분성 289
〈그림 5-26〉 5점척도의 설문문항으로만 구성된 예 292
〈그림 5-27〉 국내 개별 ODA사업 평가과정이 표준화 되었는지 여부 296
〈그림 5-28〉 평가절차의 대표적인 예 297
〈그림 5-29〉 논리모형과 OECD DAC 기준을 결합해 평가지표를 개발한 예1 299
〈그림 5-30〉 평가지표가 국제기준 및 국내 ODA평가가이드라인을 충분히 반영했는지 여부 302
〈그림 5-31〉 사업목표 및 평가대상사업의 특성에 맞는 지표가 선정되었는지 여부 309
〈그림 5-32〉 "한-베 친선 IT 대학 건립사업"의 성과체인 312
〈그림 5-33〉 "이라크 아르빌 교통관리시스템 현대화 사업"의 성과영역 313
〈그림 5-34〉 평가방법이 질적.양적 방법을 종합적으로 활용하는지 여부 315
〈그림 5-35〉 면담결과에 대한 기술 예: 단지 사진만이 있고 구체적 면담내용이 없는 경우 318
〈그림 5-36〉 현장조사 및 면담의 대상선정과 일정이 적절한지 여부 319
〈그림 5-37〉 '적절성'에 대한 메타평가 기준 329
〈그림 5-38〉 '효과성'에 대한 메타평가 기준 336
〈그림 5-39〉 "필리핀 부수앙가 공항개발사업 사후평가"의 목표달성여부 기술 예 338
〈그림 5-40〉 정책자문(KSP) 평가의 효과성 측정결과 기술 예 339
〈그림 5-41〉 '효율성'에 대한 메타평가 기준 343
〈그림 5-42〉 '지속가능성'에 대한 메타평가 기준 348
〈그림 5-43〉 지속가능성 저해요인에 대한 인터뷰 결과를 바탕으로 한 제언 기술의 예 351
〈그림 5-44〉 '영향력'에 대한 메타평가 기준 353
〈그림 5-45〉 의도된 성과여부에 대한 주요 평가결과 기술 예시 357
〈그림 5-46〉 증거에 기반 한 평가보고서 기술여부 평가기준 359
〈그림 5-47〉 증거에 기반한 기술의 예: 적정성 차원 363
〈그림 5-48〉 심층분석을 평가보고서에 기술했는지 여부 368
〈그림 5-49〉 3년간 수원국 총괄기관의 만족도 점수를 비교한 사례 370
〈그림 5-50〉 연도별 성과를 비교분석한 사례 371
〈그림 5-51〉 집단간 비교분석 사례1: 응답자간 비교분석 373
〈그림 5-52〉 집단간 비교분석 사례2: 효율성 설문조사 평가결과 기술 예 374
〈그림 5-53〉 국내 사업담당부서가 평가결과의 적극적 피드백 의지가 있는지 여부 378
〈그림 5-54〉 KOIAC의 평가-환류 시스템 378
〈그림 5-55〉 수원국 및 이해관계자와 평가결과 공유 및 개선방안 모색을 하는지 여부에 대한 측정기준 381
〈그림 5-56〉 평가보고서의 제언이 실무에서 활용가능한 수준으로 구체적인지 여부 383
〈그림 5-57〉 평가보고서의 평가결과가 빠르게 대중에게 공개되는지 여부 387
〈그림 6-1〉 제6장의 구조도 406
〈그림 6-2〉 평가자의 타당성에 대한 평가 421
〈그림 6-3〉 평가투입자원의 타탕성에 대한 평가 424
〈그림 6-4〉 평가프레임의 타당성에 대한 평가 427
〈그림 6-5〉 평가자료의 충분성에 대한 평가 430
〈그림 6-6〉 평가자와의 커뮤니케이션 충분성에 대한 평가 433
〈그림 6-7〉 평가과정의 표준화 수준에 대한 평가 436
〈그림 6-8〉 평가설계 및 지표선정의 타당성에 대한 평가 438
〈그림 6-9〉 평가방법의 타당성에 대한 평가 441
〈그림 6-10〉 OECD DAC 기준별 평가의 적절성에 대한 평가 445
〈그림 6-11〉 평가보고서의 기술 타당성에 대한 평가 447
〈그림 6-12〉 평가결과의 활용의지에 대한 평가 450
〈그림 6-13〉 평가보고서의 활용가능성에 대한 평가 453
〈그림 6-14〉 ODA사업평가의 성과에 대한 평가 457
〈그림 6-15〉 수원국에서의 ODA 사업성과에 대한 평가 460
〈그림 6-16〉 평가투입차원과 평가의 성과 간 인과관계 463
〈그림 6-17〉 평가과정차원과 평가의 성과 간 인과관계 466
〈그림 6-18〉 평가결과차원과 평가의 성과 간 인과관계 469
〈그림 6-19〉 평가활용차원과 평가의 성과 간 인과관계 471
〈그림 7-1〉 양적ㆍ질적 메타평가제도 방안 제시(신설) 501
〈그림 7-2〉 수원국 정부 및 전문가 참여에 의한 평가ㆍ메타평가 수행방안 제시(신설) 506
〈그림 7-3〉 평가우선순위 선정방법 제안(신설) 512
〈그림 7-4〉 평가 절차 표준화 제안(신설) 514
〈그림 7-5〉 평가 과정 표준화 제안(신설) 515
〈그림 7-6〉 평가환류시스템: 인사시스템 및 예산시스템과의 연계 방안 제시(신설) 521