표제지
목차
요약문 3
제1장 서론 16
1. 연구의 필요성 17
2. 연구의 목표 및 내용 19
제2장 국가연구개발사업 상위평가제도의 문제점 및 개선방안 22
제1절 주요국의 평가 제도 23
1. 미국 23
2. 일본 66
3. EU 103
4. 한국 145
제2절 국가연구개발 성과평가 개선방안 도출 181
1. 설문조사 181
2. 결과 요약 및 성과평가 제도개선 방향 205
제3장 특정평가 분석방법론 고도화 215
제1절 특정평가 배경 및 기본방향 216
1. 특정평가 제도의 연혁 및 법적 근거 216
2. 특정평가 주요내용 및 수행 현황 219
3. 특정평가 수행의 기본방향 222
제2절 특정평가 추진주체 230
1. 대상사업 선정 절차 230
2. 특정평가 추진체계 232
3. 특정평가 수행절차 235
제3절 특정평가 수행 240
1. 사업 개요 240
2. 주요 평가이슈 도출 241
3. 평가요소별 심층분석 243
4. 결론 및 권고사항 289
5. 특정평가 보고서 구성(안) 290
제4절 특정평가 결과활용 및 환류 291
제4장 결론 292
1. 연구내용의 요약 293
2. 정책적 시사점 299
참고문헌 301
[부록 1] 국가연구개발사업 인식조사 설문문항 314
[부록 2] 특정평가 지침(안) 325
제1장 서론 327
제2장 특정평가 배경 및 기본방향 329
제3장 특정평가 추진체계 347
제4장 특정평가 수행 358
제5장 특정평가 결과 활용 및 환류 431
참고문헌 432
[부록 1] 특정평가 실시 현황(08~18년) : 총 66개 사업 437
[부록 2] 조치계획 및 이행실적 점검 양식 440
〈표 1-1〉 제3차 국가연구개발 성과평가 기본계획의 주요 변화 19
〈표 2-1〉 미국 성과관리 및 평가제도 변화과정 25
〈표 2-2〉 정부성과결과법(GPRA)에 의해 작성되는 보고서 27
〈표 2-3〉 PART의 사업유형 29
〈표 2-4〉 PART의 평가분야 및 평가비중 30
〈표 2-5〉 PART와 GPRA의 비교 31
〈표 2-6〉 GPRA와 GPRAMA의 비교 33
〈표 2-7〉 미국의 성과관리 및 평가제도 변화과정 34
〈표 2-8〉 2단계 평가의 핵심분야 및 평가지표 41
〈표 2-9〉 BES 프로그램의 동료평가 기준 49
〈표 2-10〉 평가단계별 평가자 및 EERE 평가관리자의 역할 60
〈표 2-11〉 평가단계별 주요 평가내용 및 방법 61
〈표 2-12〉 과학기술기본법 요약 69
〈표 2-13〉 시기별 과학기술기본계획의 주요내용 및 특징 73
〈표 2-14〉 대강적지침의 대상 및 주요 지침항목 74
〈표 2-15〉 대강적 지침(2016년)의 평가대상별 평가방법 비교 76
〈표 2-16〉 부처별 연구개발평가지침의 실시관점 비교 82
〈표 2-17〉 국가적으로 중요한 연구개발의 평가(CSTI 평가) 83
〈표 2-18〉 문부과학성 연구개발 프로젝트의 경쟁적 자금제도의 평가 97
〈표 2-19〉 경제산업성의 기술평가지침에 따른 평가지표 99
〈표 2-20〉 NEDO의 주요 평가항목ㆍ평가기준 101
〈표 2-21〉 Horizon 2020의 중점추진 사항(3 pillar) 105
〈표 2-22〉 Horizon 2020의 주요 프로그램 영역별 핵심성과지표 112
〈표 2-23〉 Horizon 2020 공통 이슈에 대한 성과지표 113
〈표 2-24〉 FP 추진경과 118
〈표 2-25〉 FP 평가체제의 변화 119
〈표 2-26〉 FP의 평가기준 121
〈표 2-27〉 FP 예산 127
〈표 2-28〉 CIP의 평가 영역 129
〈표 2-29〉 EIT의 평가 기준 132
〈표 2-30〉 RTD 평가 네트워크의 논의 주제 134
〈표 2-31〉 FP7 사전영향평가 보고서(2005) 목차 136
〈표 2-32〉 7차 FP7 모니터링 보고서(2013) 목차 138
〈표 2-33〉 FP7 중간평가 보고서(2010) 목차 140
〈표 2-34〉 FP7 사후평가 보고서(2015) 목차 144
〈표 2-35〉 정부업무평가제도 변천과정 147
〈표 2-36〉 연구성과평가법 개정 및 국가연구개발 평가주체 변화 151
〈표 2-37〉 성과평가 기본계획에 따른 평가제도 변화 (1차~3차) 154
〈표 2-38〉 제1차 국가연구개발 성과평가 기본계획상의 중점과제 155
〈표 2-39〉 제2차 국가연구개발 성과평가 기본계획상의 중점과제 156
〈표 2-40〉 제3차 국가연구개발 성과평가 기본계획상의 중점과제 158
〈표 2-41〉 평가목적ㆍ평가대상에 따른 성과평가 유형 163
〈표 2-42〉 기술성 평가의 변화 165
〈표 2-43〉 기술성 평가 추진주체 및 역할 165
〈표 2-44〉 기술성 평가 평가항목별 평가지표 및 기준 166
〈표 2-45〉 중간평가ㆍ상위평가 주체 및 방식 168
〈표 2-46〉 국가연구개발사업 적절성 점검 기준 168
〈표 2-47〉 2019년 성과평가 사업별 평가지표 170
〈표 2-48〉 2018년 종료평가 : 자체평가지표 및 배점 173
〈표 2-49〉 종료 상위평가 점검 항목 및 기준 174
〈표 2-50〉 추적평가 : 자체평가 지표 및 내용 176
〈표 2-51〉 추적 상위평가 점검 항목 및 기준 176
〈표 2-52〉 중간평가(자체/상위) 등급 분포 (최근 3년) 178
〈표 2-53〉 중간평가(자체/상위) 지표별 평균 점수 비교 (2019년) 179
〈표 2-54〉 중간 상위평가 적절설 점검 결과 (최근 7년) 180
〈표 2-55〉 국가연구개발사업 총사업기간 (2019년 기준) 180
〈표 2-56〉 설문조사 개요 181
〈표 2-57〉 표본 구성 181
〈표 2-58〉 응답자 현황 및 특성 182
〈표 2-59〉 국가연구개발사업 평가시스템 전반에 대한 설문조사 문항 구성 183
〈표 2-60〉 세부 평가제도별 설문조사 문항 구성 184
〈표 2-61〉 평가내용별 만족 수준이 국가연구개발사업 성과평가 만족도에 미치는 영향 194
〈표 2-62〉 모형 검증 195
〈표 2-63〉 성과목표ㆍ지표점검에 관한 문항의 평균 점수(7점 척도) 197
〈표 2-64〉 중간평가에 관한 문항의 평균 점수(7점 척도) 199
〈표 2-65〉 종료평가에 관한 문항의 평균 점수(7점 척도) 201
〈표 2-66〉 추적평가에 관한 문항의 평균 점수(7점 척도) 203
〈표 2-67〉 특정평가에 관한 문항의 평균 점수(7점 척도) 204
〈표 2-68〉 국가연구개발사업 성과평가(공통평가시스템)의 유지ㆍ관리 및 상대적 강점 영역 205
〈표 2-69〉 국가연구개발사업 성과평가(공통평가시스템)의 개선 필요 영역 206
〈표 2-70〉 국가연구개발사업 성과평가(세부 평가시스템)의 유지ㆍ관리 및 상대적 강점 영역 207
〈표 2-71〉 국가연구개발사업 성과평가(세부 평가시스템)의 개선 필요 영역 208
〈표 2-72〉 국가연구개발사업 평가제도별 참여 형태에 따른 만족 수준(7점 척도) 208
〈표 2-73〉 국가연구개발사업 평가제도별 만족도 관련 의견(7점 척도) 209
〈표 2-74〉 중간평가와 종료평가의 지표 및 배점체계 개편(안) 212
〈표 3-1〉 성과평가실시계획을 바탕으로 한 특정평가 제도 변화 217
〈표 3-2〉 특정평가 수행현황 222
〈표 3-3〉 R&D사업 특정평가 및 재정사업 심층평가 주요 평가관점 228
〈표 3-4〉 특정평가 대상 사업 선정 기준 231
〈표 3-5〉 평가 주요 관점 예시 237
〈표 3-6〉 특정평가의 세부추진 절차(예시) 239
〈표 3-7〉 평가 주요 관점 예시 244
〈표 3-8〉 정부의 연구개발 개입 논거 : 시장실패와 시스템 실패 비교 251
〈표 3-9〉 국내 연구개발사업 수행 규모별 운영체제 분석 261
〈표 3-10〉 세계적인 창의적 기초원천연구 프로그램의 주요 유형별 특징 262
〈표 3-11〉 개인 및 소규모 R&D와 대형 중장기 R&D 비교 263
〈표 3-12〉 사업단 프로젝트 추진방식 비교 266
〈표 3-13〉 성과지표의 유형 276
〈표 3-14〉 계량정보 관련 분석방법론의 개념과 특징 278
〈표 3-15〉 정보계량분석의 세부기법 278
〈표 4-1〉 국가연구개발사업 성과평가시스템 전반에 대한 IPA분석 결과 및 영향 요인 295
[그림 1-1] 국가연구개발 성과평가 추진 경과 17
[그림 1-2] 국가연구개발 성과평가 체계 18
[그림 2-1] GPRA의 목적 26
[그림 2-2] GPRA의 실행과정 28
[그림 2-3] 미국 예산결정과정에 활용되는 정보 30
[그림 2-4] 영향 추정(Impact Estimate)의 기본 개념도 35
[그림 2-5] STAR Metrics의 거버넌스 구조 39
[그림 2-6] STAR Metrics 1단계 흐름도 40
[그림 2-7] 탁월성 평가(merit review) 절차 45
[그림 2-8] 2016년 5월 중순 이후에 개편된 NTIRD 조직구성 53
[그림 2-9] 일본 정책평가 시스템 67
[그림 2-10] 정책평가 업무 흐름도 68
[그림 2-11] 일본 국가연구개발사업 평가시스템 70
[그림 2-12] 「경로(道筋)」의 개념 75
[그림 2-13] 일본의 목표관리형 정책평가 개념 88
[그림 2-14] 문부과학성의 연구개발 평가시스템 90
[그림 2-15] 문부과학성 연구개발 평가시스템 개혁의 기본개념 92
[그림 2-16] 일본 문부과학성의 연구 및 개발에 관한 평가지침 개정과정 93
[그림 2-17] 경제산업성의 기술관련 사업에 관한 평가 유형 98
[그림 2-18] NEDO의 추적평가 추진절차 102
[그림 2-19] Horizon 2020 프로그램의 구조 105
[그림 2-20] Horizon 2020 평가체계도 106
[그림 2-21] Horizon 2020 사업의 평가기준과 성과모형과의 관계 개념도 109
[그림 2-22] Horizon 2020 사업의 로직모형 110
[그림 2-23] FP의 프로젝트와 프로그램 평가 115
[그림 2-24] EU의 연구개발 프로그램 평가구조 115
[그림 2-25] EU의 연구개발 프로그램 평가주기와 구조 116
[그림 2-26] 제7차 FP 평가체제 구성요소 120
[그림 2-27] 평가 논리모델과 지표의 영역 123
[그림 2-28] 평가지표의 구조와 영역 123
[그림 2-29] EU 연구개발 프로그램의 평가단계 125
[그림 2-30] 데이터 활용 강화 126
[그림 2-31] 정부업무평가체계도 150
[그림 2-32] 국가연구개발 성과평가 체계 159
[그림 2-33] 국가연구개발사업 중간평가 추진 개요 160
[그림 2-34] 기관평가 추진 절차 162
[그림 2-35] 기술성평가(예타 대상 선정)와 예타와의 연계 구조 164
[그림 2-36] 국가연구개발사업 중간평가 추진 절차 169
[그림 2-37] 국가연구개발사업의 전(全평)주기 평가 예시 177
[그림 2-38] 국가연구개발사업 성과평가 - 공통평가시스템 (정부부처 소속) 186
[그림 2-39] 국가연구개발사업 성과평가 - 세부평가시스템 (정부부처 소속) 187
[그림 2-40] 국가연구개발사업 성과평가 - 공통평가시스템 (연구관리 전문기관 소속) 188
[그림 2-41] 국가연구개발사업 성과평가 - 세부평가시스템 (연구관리 전문기관 소속) 189
[그림 2-42] 국가연구개발사업 성과평가 - 공통평가시스템 (산ㆍ학ㆍ연 소속) 190
[그림 2-43] 국가연구개발사업 성과평가 - 세부평가시스템 (산ㆍ학ㆍ연 소속) 191
[그림 2-44] 국가연구개발사업 성과평가 - 공통평가시스템 (응답자 전체) 192
[그림 2-45] 국가연구개발사업 성과평가 - 세부평가시스템 (응답자 전체) 193
[그림 2-46] 성과목표ㆍ지표점검의 만족 수준 197
[그림 2-47] 중간평가의 만족 수준 199
[그림 2-48] 종료평가의 만족 수준 201
[그림 2-49] 추적평가의 만족 수준 203
[그림 2-50] 특정평가의 만족 수준 204
[그림 2-51] 국가연구개발사업 평가체계 이슈와 평가관계자 인식과의 관계 210
[그림 2-52] 국가연구개발사업 전(全)주기에 걸친 평가 일정 211
[그림 2-53] 중간평가와 특정평가 연계 214
[그림 3-1] 특정평가 흐름도 221
[그림 3-2] 주요 평가 요소 225
[그림 3-3] 특정평가 운영체계 233
[그림 3-4] 특정평가의 틀 235
[그림 3-5] 산업기술분야 유형별 정부역할의 실천방안 253
[그림 3-6] 공공기술분야 유형별 정부역할의 실천방안 255
[그림 3-7] 국가연구개발사업 추진체계 260
[그림 3-8] 사업단 프로젝트 추진방식 구조 265
[표 2-1] 성과평가실시계획을 바탕으로 한 특정평가 제도 변화 330
[표 2-2] 정부업무평가 체계도 333
[표 2-3] 특정평가 수행현황 338
[표 2-4]/[표 2-5] R&D사업 특정평가 및 재정사업 심층평가 주요 평가관점 344
[표 3-1] 특정평가 대상 사업 선정 기준 348
[표 3-2] 평가 주요 관점 예시 354
[표 3-3] 특정평가의 세부추진 절차(예시) 355
[표 4-1] 평가 주요 관점 예시 362
[표 4-2] 정부의 연구개발 개입 논거 : 시장실패와 시스템 실패 비교 374
[표 4-3] 시스템 실패의 종류와 주요 내용 375
[표 4-4]/[표 4-3] 국내 연구개발사업 수행 규모별 운영체제 분석 388
[표 4-5]/[표 4-4] 창의적 공공연구개발조직의 연구환경 특징 390
[표 4-6]/[표 4-5] 세계적인 창의적 기초원천연구 프로그램의 주요 유형별 특징 391
[표 4-7]/[표 4-6] 개인 및 소규모 R&D와 대형 중장기 R&D 비교 392
[표 4-8]/[표 4-7] 사업단 프로젝트 추진방식 비교 396
[표 4-9]/[표 4-8] 성과지표의 유형 407
[표 4-10]/[표 4-9] 계량정보 관련 분석방법론의 개념과 특징 410
[표 4-11]/[표 4-10] 정보계량분석의 세부기법 410
[표 4-12]/[표 4-11] 서지분석 기법의 분류 412
[표 4-13]/[표 4-12] 텍스트 분석의 세부 기법 415
[표 4-14]/[표 4-13] 비실험적 분석방법의 선택편의 통제원리 426
[그림 2-1] 특정평가 흐름도 337
[그림 2-2]/[그림 83-2] 주요 평가요소 342
[그림 3-1] 특정평가 운영체계 350
[그림 3-2] 특정평가의 틀 352
[그림 4-1] 중장기계획 기술분야별 총괄 연계맵 367
[그림 4-2] 산업기술분야 유형별 정부역할의 실천방안 378
[그림 4-3] 공공기술분야 유형별 정부역할의 실천방안 379
[그림 4-4] 국가연구개발사업 추진체계 386
[그림 4-5] 사업단 프로젝트 추진방식 구조 395