표제지
목차
요약문 4
Ⅰ. 서론 13
1. 연구배경 및 필요성 14
2. 연구의 목표 및 내용 16
Ⅱ. 주요국 연구개발 성과평가 체계 및 특징 18
제1절 미국의 연구개발 성과평가 체계 및 특징 19
제2절 EU의 연구개발 성과평가 체계 및 특징 24
제3절 영국의 연구개발 성과평가 체계 및 특징 29
제4절 프랑스의 연구개발 성과평가 체계 및 특징 31
제5절 독일의 연구개발 성과평가 체계 및 특징 33
제6절 일본의 연구개발 성과평가 체계 및 특징 36
제7절 중국의 연구개발 성과평가 체계 및 특징 40
Ⅲ. 주요개념 설정 및 분석대상 44
제1절 성과평가방법의 유형과 분석대상 45
1. 성과평가방법 관련 문헌검토 45
2. 성과평가방법의 유형 50
3. 분석대상 및 분석범위 54
제2절 성과중심의 사업유형 구분 58
1. 기존의 사업유형 구분 58
2. 성과지표를 활용한 사업유형 구분 61
Ⅳ. 사업유형별 성과평가방법 분석: 자체ㆍ상위평가 평가항목을 중심으로 66
제1절 평가항목의 적절성 분석 67
1. 평가항목 적절성 검토 기준 67
2. 평가항목별 변별력과 객관성 68
제2절 사업유형별 평가항목의 적절성 검토 73
1. 사업유형별 '분야별 성과' 항목 검토 73
2. 사업유형별 '종합적 성과분석' 항목 검토 82
제3절 사업유형별 평가요소의 중요도: 설문조사 결과 86
1. 설문조사 개요 86
2. 주요 결과 88
제4절 소결 100
Ⅴ. 결론 및 시사점 106
1. 연구내용의 요약 107
2. 정책적 시사점 109
참고문헌 112
[부록 1] 주요국 연구개발 유형별 성과평가 동향조사 및 사례분석 115
제1절 미국 116
1. 미국의 연구개발 시스템 개요 116
2. 미국의 연구개발 성과평가 체계 125
3. 미국 성과평가 체계의 주요 특징 및 시사점 145
제2절 유럽연합(EU) 148
1. EU의 연구개발 시스템 개요 148
2. EU의 연구개발 성과평가 체계 163
3. EU 성과평가 체계의 주요 특징 및 시사점 177
제3절 영국 179
1. 영국의 연구개발 시스템 개요 179
2. 영국의 연구개발 성과평가 체계 186
3. 영국 성과평가 체계의 주요 특징 및 시사점 195
제4절 프랑스 197
1. 프랑스의 연구개발 시스템 개요 197
2. 프랑스의 연구개발 성과평가 체계 211
3. 프랑스 성과평가 체계의 주요 특징 및 시사점 226
제5절 독일 235
1. 독일의 연구개발 시스템 개요 235
2. 독일 연구개발 성과평가 체계 249
3. 독일 성과평가 체계의 주요 특징 및 시사점 271
제6절 일본 278
1. 일본의 연구개발 시스템 개요 278
2. 일본의 연구개발 성과평가 체계 282
3. 일본 성과평가 체계의 주요 특징 및 시사점 299
제7절 중국 307
1. 중국의 연구개발 시스템 개요 307
2. 중국의 연구개발 성과평가 체계 322
3. 중국 성과평가 체계의 주요 특징 및 시사점 335
참고문헌 337
[부록 2] 사업유형별 성과평가 지표설계를 설문문항 346
판권기 3
〈표 Ⅱ-1〉 미국 성과평가제도의 특징 20
〈표 Ⅱ-2〉 GAO에서 권장하는 사업단계에 따른 평가유형 및 평가질문 22
〈표 Ⅱ-3〉 DOE의 R&D 성과평가 종류 22
〈표 Ⅱ-4〉 Horizon 2020 핵심 성과지표 28
〈표 Ⅱ-5〉 프랑스 HCERES 내 평가부서별 역할 32
〈표 Ⅱ-6〉 일본 CSTI의 '국가적으로 중요한 연구개발 평가' (2002~) 37
〈표 Ⅲ-1〉 평가목적에 따른 성과평가방법 분류 53
〈표 Ⅲ-2〉 국가연구개발사업 자체ㆍ상위평가(중간평가) 배점표 55
〈표 Ⅲ-3〉 상위평가 적절성 점검 기준 57
〈표 Ⅲ-4〉 자체ㆍ상위평가(중간평가) 대상사업 현황(2018~2020년) 58
〈표 Ⅲ-5〉 자체ㆍ상위평가(중간평가)의 상위평가 적절성 점검결과(2018~2020년) 58
〈표 Ⅲ-6〉 「성과목표ㆍ지표 안내서」의 R&D 사업유형 분류 60
〈표 Ⅲ-7〉 과학적, 경제적, 사회적 성과중심 사업 현황 64
〈표 Ⅲ-8〉 주요부처의 과학적, 경제적, 사회적 성과중심 사업 현황 64
〈표 Ⅲ-9〉 사업유형별 상위평가 적절성 점검결과 65
〈표 Ⅲ-10〉 사업유형별 상위평가 결과(평가등급) 65
〈표 Ⅳ-1〉 평가항목별 평균 점수: 2018~2020년 중간평가 (자체평가) 결과 70
〈표 Ⅳ-2〉 자체평가등급에 따른 상위평가 적절성 점검결과 비교 71
〈표 Ⅳ-3〉 평가항목별 자체-상위평가점수 상관계수: 부적절사업 기준 72
〈표 Ⅳ-4〉 '분야별 성과' 관련 성과우수성의 가중치 판단기준 74
〈표 Ⅳ-5〉 '분야별 성과' 관련 핵심성 가중치 판단 기준 75
〈표 Ⅳ-6〉 '분야별 성과' 근거자료의 타당성 판단 기준 75
〈표 Ⅳ-7〉 '분야별 성과'의 우수성에 대한 자체ㆍ상위평가점수 76
〈표 Ⅳ-8〉 '분야별 성과'의 우수성에 대한 자체-상위평가점수 상관계수 77
〈표 Ⅳ-9〉 '분야별 성과'의 핵심성에 대한 자체ㆍ상위평가점수 78
〈표 Ⅳ-10〉 '분야별 성과'의 핵심성에 대한 자체-상위평가의 점수차: 전체 대비 사업유형별 비율 79
〈표 Ⅳ-11〉 '분야별 성과'의 핵심성에 대한 자체-상위평가점수 상관계수 80
〈표 Ⅳ-12〉 '분야별 성과'의 근거자료의 타당성에 대한 자체ㆍ상위평가점수 80
〈표 Ⅳ-13〉 '분야별 성과'의 근거자료의 타당성에 대한 자체-상위평가점수 상관계수 81
〈표 Ⅳ-14〉 성과분석보고서 분석항목 예시 82
〈표 Ⅳ-15〉 '종합적 성과분석' 관련 세부판단 기준 83
〈표 Ⅳ-16〉 '종합적 성과분석'의 세부항목별 자체상위평가 점수 84
〈표 Ⅳ-17〉 '종합적 성과분석'의 세부항목별 자체-상위평가점수 상관계수 85
〈표 Ⅳ-18〉 평가요소의 중요도 측정을 위한 기준 87
〈표 Ⅳ-19〉 사업 유형별 평가추진과정 영역의 중요도 95
〈표 Ⅳ-20〉 사업 유형별 성과 영역의 중요도 95
〈표 Ⅳ-21〉 사업 유형별 향후계획 영역의 중요도 96
〈표 Ⅳ-22〉 평가추진과정 영역 유형별 차이검증을 위한 다변량분산분석 96
〈표 Ⅳ-23〉 '성과평가 자료의 충실성'의 차이검증을 위한 scheffe 다중 비교 97
〈표 Ⅳ-24〉 성과 영역 유형별 차이검증을 위한 다변량분산분석 98
〈표 Ⅳ-25〉 '대표적 연구성과'의 차이검증을 위한 scheffe 다중 비교 99
〈표 Ⅳ-26〉 향후계획 영역 유형별 차이검증을 위한 다변량분산분석 99
〈표 Ⅳ-27〉 '결과의 체계적 제시'의 차이검증을 위한 scheffe 다중 비교 100
〈표 Ⅳ-28〉 사회적 성과분야의 주요 성과지표 102
[그림 Ⅰ-1] 제4차 국가연구개발 성과평가 기본계획의 추진전략 및 추진과제 14
[그림 Ⅱ-1] 미국 연방정부의 성과기반 재정관리 체계 19
[그림 Ⅱ-2] Horizon 2020 사업의 로직모형 27
[그림 Ⅱ-3] 일본 국가연구개발사업평가시스템 37
[그림 Ⅱ-4] 중국 국가 과학기술프로그램 관리 체계 41
[그림 Ⅱ-5] 중국의 중앙재정 과기계획 성과평가 체계 43
[그림 Ⅳ-1] 사업 유형(도전ㆍ혁신형)의 평가요소별 전반적 중요도 89
[그림 Ⅳ-2] 사업 유형(성장형)에 따른 평가요소별 전반적 중요도 91
[그림 Ⅳ-3] 사업 유형(기반조성형)의 평가요소별 전반적 중요도 93
〈표 부록-1〉 미국 정부의 5대 중점 분야 및 14대 과학기술 118
〈표 부록-2〉 미국 의회의 예산심의 지원기관 122
〈표 부록-3〉 미국 성과평가의 변천 123
〈표 부록-4〉 GPRA 개정법 비교 124
〈표 부록-5〉 2019년도 NSF의 전략계획 127
〈표 부록-6〉 2019년도 NSF의 Performance Goal 달성도 128
〈표 부록-7〉 과제 선정평가의 기준 130
〈표 부록-8〉 2019 Material Research Division COV Report의 평가질문 131
〈표 부록-9〉 DOE Peer Review Guideline상의 평가지표 및 평가 질문 예시 132
〈표 부록-10〉 GAO의 Designing Evaluation에서 권장하는 사업 단계에 따른 적용 가능한 평가 유형 및 평가 질문 134
〈표 부록-11〉 DOE의 R&D 성과평가 종류 135
〈표 부록-12〉 DOE 심층평가의 5가지 유형 136
〈표 부록-13〉 DOE에서 권장하는 사업 단계별 적용하는 한 평가 유형 136
〈표 부록-14〉 NSF Graduate Research Fellowship Program(GRFP)의 심층평가 보고서의 목차(2014) 137
〈표 부록-15〉 DOE SC의 기관평가시 적용하는 8개의 성과목표 및 세부 성과목표 140
〈표 부록-16〉 미국 성과평가제도의 특징 145
〈표 부록-17〉 한국과 미국의 R&D사업 성과평가 비교 146
〈표 부록-18〉 EU 프레임워크 프로그램(1차~9차) 151
〈표 부록-19〉 Horizon 2020 주요 내용 156
〈표 부록-20〉 Horizon 2020과 Horizon Europe 비교 157
〈표 부록-21〉 핵심영역 1: 오픈 사이언스의 주요 내용(258억 유로) 158
〈표 부록-22〉 핵심영역 2: 글로벌 과제와 산업 경쟁력의 주요 내용(527억 유로) 158
〈표 부록-23〉 핵심영역 3: 오픈 이노베이션 주요 내용(135억 유로) 159
〈표 부록-24〉 주요 평가 항목 166
〈표 부록-25〉 Horizon 2020 중간평가에 반영된 FP7 종료평가 결과 171
〈표 부록-26〉 Horizon 2020 핵심성과 지표 172
〈표 부록-27〉 CORDIS 제공 정보 서비스 177
〈표 부록-28〉 영국의 과학기술 & 혁신 투자 계획 2004-2014 핵심 목표 179
〈표 부록-29〉 영국의 8가지 과학기술 180
〈표 부록-30〉 영국의 산업전략에 따른 그랜드 챌린지와 미션 181
〈표 부록-31〉 영국의 산업전략에 따른 생산능력을 지지하는 5개 기반과 주요 내용 182
〈표 부록-32〉 영국 R&D 로드맵 핵심 주제 183
〈표 부록-33〉 영국 UKRI 산하 조직 및 역할 185
〈표 부록-34〉 연국의 연구 우수성 체제(REF) 분야 190
〈표 부록-35〉 프랑스 3개 지역고등교육협력체의 설립요건 및 기능 202
〈표 부록-36〉 프랑스 연구기본법 제4장 "연구와 기술개발의 평가ㆍ관리" 주요 내용 205
〈표 부록-37〉 프랑스의 단위(site) 5개년협약 체결 과정 209
〈표 부록-38〉 프랑스의 단위(site) 동반자협약 체결 과정 210
〈표 부록-39〉 프랑스 HCERES 내 평가부서별 역할 213
〈표 부록-40〉 최근 5개 WAVE의 현황과 실적 215
〈표 부록-41〉 프랑스의 주요 평가 주체별 역할 216
〈표 부록-42〉 지역고등교육협력체 종합평가 결과보고서 목차: Comue PSL Université의 예 218
〈표 부록-43〉 평가 항목: 지역고등교육협력체 평가 220
〈표 부록-44〉 평가 항목: 연구팀(unités de recherche) 222
〈표 부록-45〉 독일 과학기술연구기관의 유형 246
〈표 부록-46〉 독일의 주요 R&D 프로젝트관리기구 및 업무영역 254
〈표 부록-47〉 성공적인 평가를 위해 고려해야 할 핵심가치ㆍ관점 요약 259
〈표 부록-48〉 지그문트-프로이드 연구소 평가보고서 목차(예시) 266
〈표 부록-49〉 라이프니츠 연구회의 평가보고서 양식 목차(예시) 267
〈표 부록-50〉 대강적 지침 변천과정 279
〈표 부록-51〉 CSTI의 '국가적으로 중요한 연구개발 평가' (2002~) 283
〈표 부록-52〉 대강적 지침의 대상 및 주요 항목 284
〈표 부록-53〉 대강적 지침에 관한 3가지 개정 방향('16년 기준) 284
〈표 부록-54〉 문부과학성 연구개발평가항목 286
〈표 부록-55〉 평가별 특징(문부과학성) 291
〈표 부록-56〉 일본의 '19년 중간 평가 목차 예시(방사성 폐기물 관련 프로젝트) 293
〈표 부록-57〉 e-Rad 시스템 이용 대상별 효과 295
〈표 부록-58〉 중국 '과학기술혁신 13.5'의 2020년까지 과학기술혁신 주요 지표 312
〈표 부록-59〉 중국의 2020년 전인대 정부보고의 과학기술 9대 키워드 317
〈표 부록-60〉 질적 평가 강화로의 전환 9대 시책 322
〈표 부록-61〉 중국 과학기술프로그램 평가분야 및 기준 328
〈표 부록-62〉 중국 평가체계 내 평가항목 및 세부지표 329
〈표 부록-63〉 평가지표 및 주요내용 331
[그림 부록-1] 2015 미국 혁신전략 체계 117
[그림 부록-2] 미국의 R&D 행정체계 120
[그림 부록-3] 부처 임무(Mission)하 목표들 간의 관계도 126
[그림 부록-4] 미국 연방정부의 성과기반 재정관리 체계 129
[그림 부록-5] DOE Bioenergy Technology Office Peer Review Report에서의 weighted project score의 예시 133
[그림 부록-6] 사례 : DOE의 SC에서 공개한 Argonne National Lab의 2019년 성적표 142
[그림 부록-7] Performance.gov를 통한 NSF의 성과정보 검색 143
[그림 부록-8] 과제정보를 제공하는 STAR METRICS 검색창 144
[그림 부록-9] EU 과학기술관련 커뮤니티 149
[그림 부록-10] EU 과학기술관련 조직도 162
[그림 부록-11] EU FP의 사업 평가 구조 167
[그림 부록-12] EU 집행위원회의 영향평가 process 168
[그림 부록-13] Horizon 2020 사업의 로직모형 170
[그림 부록-14] 영국 UKRI를 중심으로 한 조직체계 185
[그림 부록-15] ROAMEF(Magenta Book 참조) 193
[그림 부록-16] 영국 우주국의 비례평가 193
[그림 부록-17] 프랑스 연구개발시스템: 2017년 기준 200
[그림 부록-18] 프랑스의 단위(site) 5개년협약 체결 과정 흐름도 210
[그림 부록-19] 프랑스의 단위(site) 동반자협약 체결 과정 흐름도 211
[그림 부록-20] 프랑스 HCERES 조직도 213
[그림 부록-21] HCERES 평가의 5개 WAVE의 구성 214
[그림 부록-22] HCERES 종합평가(évaluation intégrée)의 흐름도 217
[그림 부록-23] HCERES 지역고등교육연합체 평가절차 219
[그림 부록-24] HCERES 연구소 평가절차 221
[그림 부록-25] HCERES 연구소 평가 일정: 1단계. 기관평가 준비 223
[그림 부록-26] HCERES 연구소 평가 일정: 2~3단계. 평가단 현장 방문 평가 및 평가 결과 도출 224
[그림 부록-27]/[그림 부록-26] 독일 연구개발 거버넌스 235
[그림 부록-28]/[그림 부록-27] 독일 연방정부 분야별 R&D 지출(2020년도) 238
[그림 부록-29]/[그림 부록-28] 독일 하이테크 전략 2025 240
[그림 부록-30]/[그림 부록-29] 독일 연방정부 부처별 R&D 지출(2020년도) 244
[그림 부록-31]/[그림 부록-30] 독일 연구개발 과제관리 체계 253
[그림 부록-32]/[그림 부록-31] WR 홈페이지 내 Evaluation 270
[그림 부록-33]/[그림 부록-32] BMBF Data Portal 홈페이지 270
[그림 부록-34]/[그림 부록-33] 일본 과학기술 행정체계 280
[그림 부록-35]/[그림 부록-34] 일본 국가연구개발사업평가시스템 282
[그림 부록-36]/[그림 부록-35] 연구개발 프로그램 평가 프로세스 287
[그림 부록-37]/[그림 부록-36] 연구개발 프로그램의 범위 287
[그림 부록-38]/[그림 부록-37] e-Rad(왼쪽) 및 J-GLOBAL(오른쪽) 예시 296
[그림 부록-39]/[그림 부록-38] Research map 운영 체계 297
[그림 부록-40]/[그림 부록-39] 일본의 국가 프로젝트 데이터 카탈로그 개념 모형 298
[그림 부록-41]/[그림 부록-40] 총무성 정책 평가 프로세스 298
[그림 부록-42]/[그림 부록-41] 중국 국가 과학기술프로그램 관리 체계 319
[그림 부록-43]/[그림 부록-42] 중국의 2018년도 과학기술부 개편 321
[그림 부록-44]/[그림 부록-43] 중국의 중앙재정 과기계획 성과평가 체계 324
[그림 부록-45]/[그림 부록-44] 중국의 '국가중점연구개발프로그램' 과제관리 기관 327
[그림 부록-46]/[그림 부록-45] 중국의 국가 자연과학기금 연차평가 프로세스 330
[그림 부록-47]/[그림 부록-46] 중국 메가프로젝트 관리체계 332
[그림 부록-48]/[그림 부록-47] 메가프로젝트 모니터링/평가 핵심 요소 332
[그림 부록-49]/[그림 부록-48] 중국의 2015년 연구기관 혁신능력 분석평가지표체계 334