표제지

제출문

요약문

SUMMARY

CONTENTS

목차

제1장 서론 18

제2장 과제 개요 20

제1절 연구의 필요성 20

1. 차세대 PC 환경 하에서의 장애인용 IT 서비스 기반기술 확보 20

2. 지적재산권 확보 및 기술 표준화를 통한 장애인 IT 기술 및 서비스시장 선점 20

3. 국가차원에서 장애인들을 위한 실질적인 IT 복지 서비스 구현 21

제2절 연구 과제의 정의 21

제3절 연구 목표 22

제3장 연구 수행 내용 및 결과 24

제1절 시각장애인 대상 단말인터페이스 및 서비스 24

1. 시각장애인 대상 기술수요 조사 24

가. 목적 및 내용 24

나. 조사 방법 25

다. 설문 결과 27

라. 전문가 면담조사 결과 64

마. 조사 결과 정리 83

2. 보행보조도구 SmartWand 개발 86

가. 연구 배경 86

나. SmartWand v1 87

다. 시각장애인 대상 사용성 평가 1 109

라. SmartWand vl의 1차 개선 113

마. SmartWand v2 115

바. 시각장애인 대상 사용성 평가 2 152

3. 시각정보처리 알고리즘 및 SmartSuit 개발 162

가. 착용형 단말을 위한 시청각 정보 처리 기술 162

나. 프로토 타입 시스템 개발 168

다. 착용형 단말 인터페이스 장치의 경량화 및 기능 고도화 169

라. 장애인을 위한 감각정보 입력/변환/출력 기술 통합 테스트베드 구축 및 시험 평가 194

마. 시각 장애인을 위한 이동 지원 서비스 개발 198

제2절 청각장애인 대상 단말인터페이스 및 서비스 213

1. 청각장애인 대상 기술수요 조사 213

가. 목적 및 내용 213

나. 조사 방법 213

다. 설문 조사 결과 214

라. 조사 결과 정리 222

2. 시각/청각/촉각 정보 참조 모델 설계 224

가. 청각 정보의 시각 제시 및 촉각 제시 224

나. 착용형 단말기 개발 230

3. 생활보조도구 SmartWatch 개발 232

가. 연구 배경 232

나. SmartWatch v1 233

다. 청각장애인 대상 사용성 평가 1 252

라. SmartWatch v2 255

4. 수화 표현 기술 274

가. 연구 수행 내용 274

나. 3D 수화 교육 S/W 297

다. 연구 결과 305

제3절 지체장애인 대상 단말인터페이스 318

1. 생체 신호 기반 단말기 개발 318

가. 컴퓨터 인터페이스를 위한 생체신호 관련 조사 318

나. 실험 장비 구축 320

다. 지체장애인을 위한 근전도기반의 컴퓨터 인터페이스 개발 321

라. 지체장애인을 위한 근전도와 모션획득 장비를 이용한 컴퓨터 인터페이스 335

마. 1차년도 연구결과 정리 340

바. 무선 착용형 근전도 컴퓨터 인터페이스 단말기 340

사. 기계적 피부자극에 의한 구심성 말초신경전도기반의 패턴인식 기술 개발 351

아. 지체장애인을 위한 근전도기반의 손 로봇제어 359

2. 신경 인터페이스 연구 363

가. Summary 363

나. Design and development of an SMA actuated tf-LIFE 363

다. Characterization of the PNS biomechanical properties 400

라. Extraction of neural information using advanced processing algorithms 412

마. Processing of afferent nerve signals recorded with polyimide cuff electrodes 420

제4장 결론 430

표 1. 설문 조사 대상 25

표 2. 면담 조사 대상 27

표 3. 응답자 문항별 평균값 28

표 4. 문항별 교사응답 평균값 30

표 5. 문항별 학생응답 평균값 31

표 6. 성별 응답자 수와 비율 32

표 7. 근무기관별 응답자 수와 비율 33

표 8. 직위별 응답자 수와 비율 33

표 9. 경력별 응답자 수와 비율 34

표 10. 지역별 응답자 수와 비율 34

표 11. 미리 학습된 물체의 형상을 인식하고 거리와 위치 파악하는 기술 35

표 12. 장애물의 위치와 거리를 파악하고 안전한 경로로 유도하는 기술 36

표 13. 현재 위치 파악 및 장소로 이동용 네비게이션(위치확인)기술 37

표 14. RF 기술을 이용하여 원하는 곳으로 이동할 수 있도록 하는 기술 37

표 15. 카메라를 이용하여 물체의 색과 명암을 파악하고 알려주는 기술 개발 38

표 16. 음성안내 대신 촉각으로 정보를 제공하는 기술 39

표 17. 학습된 사람의 얼굴을 인식하여 상대방을 식별할 수 있는 기술 개발 39

표 18. 지정된 사람의 움직임을 파악할 수 있는 기술 40

표 19. 간단한 몇 가지 대표적인 표정을 인식하여 알려주는 기술 41

표 20. 버스(택시) 인식 후 번호판이나 행선지를 인식하여 알려주는 기술 41

표 21. 일상생활에서 필요한 기술 우선순위 42

표 22. 타인과 의사 소통 시 필요한 기술 우선순위 44

표 23. 장소를 이동할 때 필요한 기술 우선순위 45

표 24. 학교, 가정, 기타 장소에서 학습할 때 필요한 기술 우선순위 46

표 25. 성별 응답자 수와 비율 47

표 26. 장애별 응답자 수와 비율 48

표 27. 학년별 응답자 수와 비율 49

표 28. 장애별 응답자 수와 비율 50

표 29. 미리 학습된 물체의 형상을 인식하고 거리와 위치 파악하는 기술 51

표 30. 장애물의 위치와 거리를 파악하고 안전한 경로로 유도하는 기술 51

표 31. 현재 위치 파악 및 장소로 이동용 네비게이션(위치확인)기술 52

표 32. RF 기술을 이용하여 원하는 곳으로 이동할 수 있도록 하는 기술 53

표 33. RF 기술을 이용하여 원하는 곳으로 이동할 수 있도록 하는 기술 53

표 34. 음성안내 대신 촉각으로 정보를 제공하는 기술 54

표 35. 학습된 사람의 얼굴을 인식하여 상대방을 식별할 수 있는 기술 55

표 36. 지정된 사람의 움직임을 파악할 수 있는 기술 55

표 37. 간단한 몇 가지 대표적인 표정을 인식하여 알려주는 기술 56

표 38. 버스(택시) 인식 후 번호판이나 행선지를 인식하여 알려주는 기술 57

표 39. 일상생활에서 필요한 기술 우선순위 58

표 40. 타인과 의사소통시 필요한 기술 우선순위 59

표 41. 장소를 이동할 때 필요한 기술 우선순위 60

표 42. 학교, 가정, 기타 장소에서 학습할 때 필요한 기술 우선순위 62

표 43. 원하는 정보에 접근하고자 할 때 필요한 기술 우선순위 63

표 44. 면담조사 일정 64

표 45. SmartWand의 버튼 인터페이스 90

표 46. SmartWand의 각 모듈 사양 93

표 47. 초음파 센서 비교 105

표 48. 색상 인식 결과 107

표 49. SmartWand v2의 기능 119

표 50. SmartWand v2의 모듈 사양 122

표 51. 하기소닉 초음파 센서 명세 123

표 52. 초음파 센서와 가속도 센서의 간섭 확인 실험 결과 151

표 53. 사용성 평가 항목 정의 및 정의 155

표 54. 사용성 평가 대상 및 정의 156

표 55. 최종 구성된 Smart Wand의 사용성 평가 문 157

표 56. 1 이상의 점수가 부여된 문항 161

표 57. -1 이하의 점수가 부여된 문항 161

표 58. 센서별 테스트 결과 171

표 59. 선택한 초음파 센서 SRF02 하드웨어 사양 171

표 60. 배열된 센서의 장애물 검출거리 테스트 결과 174

표 61. 진동 패턴 표 175

표 62. 컨트롤러 하드웨어 사양 178

표 63. 블루투스 하드웨어 사양 179

표 64. 2차년도 임베디드 보드(보드))와 3차년도 임베디드 보드 사양 183

표 65. 리눅스 커널 성능 향상 비교 185

표 66. 입력장치 키패드와 하드웨어 사양 188

표 67. 버튼 메뉴 189

표 68. 카메라 모듈의 패킷 형식 190

표 69. GPS 수신 데이터 형식 203

표 70. 본 시스템에서 사용하는 GPS 수신 데이터 항목 204

표 71. 설문 조사 대상 213

표 72. 귀하가 사용해 본 경험이 있는 청각장애인 보조기기는 어떤 것들이 있습니까?(복수응답) 214

표 73. 귀하가 사용해 본 적은 없으니 경제적 여유가 생긴다면 활용하고 싶은 보조기기는 어떤 것들입니까?(복수응답) 215

표 74. 귀하가 청각장애 보조기기를 사용하고 있거나 앞으로 사용하고자 하는 주요 목적은 무엇입니까? 216

표 75. 수화기술 착용형 단말 인터페이스에 대한 욕구 217

표 76. 독화기술 착용형 단말 인터페이스에 대한 욕구 217

표 77. 촉각기술 착용형 단말 인터페이스에 대한 욕구 217

표 78. 수화기술 착용형 단말 인터페이스 개발에 대한 희망용도 218

표 79. 독화기술 착용형 단말 인터페이스 개발에 대한 희망용도 219

표 80. 촉각기술 착용형 단말 인터페이스 개발에 대한 희망용도 219

표 81. 착용형 단말 인터페이스 기술개발 우선순위 220

표 82. 설문응답자의 수화사용 정도 220

표 83. 청각장애인 착용형 단말의 사용욕구 221

표 84. 청각장애인 착용형 단말 인터페이스 기술개발이 필요없다고 생각 하는 이유 222

표 85. 청각장애인용 보조 장치 232

표 86. SmartWatch 단말기의 사양 258

표 87. 아기울음소리 검출 실험결과 273

표 88. 입 모양 대체 순위표 281

표 89. 생체신호 특징비교 319

표 90. Backpropagation learning algorithm 적용을 위한 변수 326

표 91. 신경망 회로 이용을 위한 target vector 327

표 92. 신경망회로에 의한 패턴인식 결과의 성공도 329

표 93. 근전도 기반의 컴퓨터 인터페이스와 마우스의 사용성 평가를 위한 실험 결과 333

표 94. 신경회로망 구조 및 학습 알고리즘 변수 349

표 95. 신경망 회로 이용을 위한 target vector 349

표 96. 패턴인식 성공률 351

표 97. 신경회로망을 이용한 패턴인식률 358

표 98. Fuzzy logic을 이용한 패턴인식률 358

표 99. 근전도를 통한 손 움직임 인식에 따른 로봇 손가락 제어 360

표 100. Comparison of different microactuation systems. 367

표 101. Deposition and post-deposition parameters. 381

표 102. Wet-etching results for different solution and different etching time. 394

표 103. Performance of sessions with 4 (A, C, E) or 5 (D) stimuli in terms of percentage of correct answers (PC) and channel capacity (C).... 417

표 104. Accuracy of pattern classification related to various numbers of feature sets within 25 and 100 ms analysis windows. 427

그림 1. 시각장애인을 위한 지팡이 형태의 보조도구 Ultracane 87

그림 2. SmartWand v1을 사용하는 모습 88

그림 3. SmartWand v1의 버튼 부분 89

그림 4. SmartWand v1의 구조도 90

그림 5. SmartWand v1의 시제품 91

그림 6. SmartWand에 사용된 센서.... 92

그림 7. IR Sensor의 전방 80cm 장애물 감지 결과 94

그림 8. IR Sensor 실험장치 구성 95

그림 9. IR Sensor의 웅덩이 감지 실험결과 95

그림 10. Smart Sensor의 거리 측정 실험 결과 96

그림 11. Smart Sensor의 빔 각도 97

그림 12. Smart Sensor의 측정 주기 98

그림 13. SRF04의 거리 측정 실험 결과 99

그림 14. SRF04의 빔 각도 100

그림 15. SRF04의 측정 주기 101

그림 16. UM2의 거리 측정 실험 결과 102

그림 17. UM2의 빔 각도 103

그림 18. UM2의 측정 주기 103

그림 19. 각 초음파 센서의 장애물 감지 폭 비교 104

그림 20. 각 초음파센서의 장애물 인식 각도 비교 104

그림 24. 센서 및 조명용 LED 106

그림 25. Dimension 106

그림 26. CDS 센서 108

그림 27. 명암 인식: 센서값 966 108

그림 28. 명암 인식: 센서값 595 108

그림 29. 명암 인식: 센서값 20 108

그림 30. 명암 인식: 센서값 778 108

그림 31. 명암 인식: 센서값 860 108

그림 32. SmartWand의 기능 및 사용법에 대한 설명 및 직접 시연 109

그림 33. 평가 항목에 대한 구두 설문 및 인터뷰 110

그림 34. 유용성에 관한 평가 결과 111

그림 35. 디자인에 관한 평가 결과 112

그림 36. 편리성에 관한 평가 결과 113

그림 37. 무게 중심을 개선한 SmartWand v1.5 114

그림 38. SmartWand v1.5에 대한 사용자 인터뷰 115

그림 39. SmartWand v2의 사용 모습 116

그림 40. SmartWand v2의 색상 인식 기능 117

그림 41. SmartWand v2의 명암 인식 기능 118

그림 42. SmartWand v2의 설계 120

그림 43. SmartWand v2 시제품 121

그림 44. 하기소닉 초음파센서 송신모듈과 수신모듈 123

그림 45. 초음파 센서의 측정 가능 거리 실험 124

그림 46. 초음파 센서의 거리 측정 실험 결과 124

그림 47. 초음파 센서와 벽과의 거리 측정 실험 125

그림 48. 초음파 센서로 벽과의 거리 측정 실험 결과 126

그림 49. 송신 모듈과 수신 모듈 사이의 간격 127

그림 50. 송/수신 모듈을 사선으로 설치할 경우 모듈간의 거리 128

그림 51. 초음파 센서의 빔 폭 측정 실험 129

그림 52. 초음파 센서의 빔 폭 측정 실험 방법 129

그림 53. 가로 방향으로 설치 130

그림 54. 세로 방향으로 설치 130

그림 55. 초음파 센서 빔 폭 측정 결과 (가로 방향) 131

그림 56. 초음파 센서 빔 폭 측정 결과 그래프 (가로 방향) 131

그림 57. 초음파 센서 빔 폭 측정 결과 (세로 방향) 132

그림 58. 초음파 센서 빔 폭 측정 결과 그래프 (세로 방향) 133

그림 59. 장애물의 크기에 따른 초음파 센서의 감지 가능 거리 134

그림 60. 거리에 따른 초음파 센서의 감지 가능 최소 크기 135

그림 61. 각도에 따른 초음파 센서 거리 측정 실험 136

그림 62. 각도에 따른 초음파 센서 거리 측정 실험 결과 136

그림 63. 특정 각도에서 센싱 가능 거리 측정 137

그림 64. 지면과의 각도가 45도 일 때 거리 측정 실험 결과 138

그림 65. 지면과의 각도가 50도 일 때 거리 측정 실험 결과 138

그림 66. 충격에 따른 초음파 센서 측정 오류 실험 139

그림 67. 충격에 따른 초음파 센서 측정값의 오류 (거리 1m) 140

그림 68. 충격에 따른 초음파 센서 측정값의 오류 (거리 1.5m) 140

그림 69. 충격에 따른 초음파 센서 측정값의 오류 (거리 2m) 141

그림 70. 가속도 센서 실험장치의 구성 143

그림 71. 가속도 센서 실험 방법 143

그림 72. 가속도 센서 실험 결과 144

그림 73. 가속도 센서를 통한 초음파 센서 범위 제한 145

그림 74. 범위 제한을 위한 적절한 n값의 측정 실험 146

그림 75. 가속도 센서의 측정 값 - 기울어짐 없음 147

그림 76. 가속도 센서의 측정 값 - 왼쪽으로 30도 기울어짐 147

그림 77. 가속도 센서의 측정 값 - 왼쪽으로 90도 기울어짐 148

그림 78. 가속도 센서의 측정 값 - 오른쪽으로 30도 기울어짐 148

그림 79. 가속도 센서의 측정 값 - 오른쪽으로 90도 기울어짐 149

그림 80. 가속도 센서의 측정 값 - 기울어짐 없이 SmartWand를 좌우로 왕복 149

그림 81. 가속도 센서의 측정 값 - 30도 기울어진 상태로 SmartWand를 좌우로 왕복 150

그림 82. 초음파 센서와 가속도 센서의 간섭 확인 실험 설계 151

그림 83. 초음파 센서와 가속도 센서의 간섭 확인 실험 결과 그래프 152

그림 84. Smart Wand의 사용성평가 항목 및 대상 Matrix 157

그림 85. 2차 사용성 평가 실험 159

그림 86. 장애물 감지및 회피 프로그램 162

그림 87. 착용형 초음파 레인지 센서와 컨트롤러 162

그림 88. 반구형 초음파 센서 어레이의 센서 배열 163

그림 89. 센서 어레이를 이용한 장애물 회피 163

그림 90. ARM9 기반의 내장형 시스템 164

그림 91. 착용형 단말 소프트웨어의 구성도 165

그림 92. 3D SIFT 이용한 물체 탐색 166

그림 93. Snake 이용한 추적 166

그림 94. 인도 주변 도로 상의 간판 및 표지판의 검출 및 인식 167

그림 95. 버스 거리 검출(좌) 및 버스 입구 및 출구 구분(우) 167

그림 96. 프로도타입 시스템의 구성도 168

그림 97. 시각 장애인을 위한 착용형 단말 프로토타입 :... 169

그림 98. 왼쪽부터 SE-600-I, HG-NII, HG-M40C, SRF02 센서 170

그림 99. 사용한 센서 검출각도 테스트 결과 172

그림 100. 초음파 센서 배열과 초음파 센서 단면도 173

그림 101. 초음파 센서 배열을 통한 스캔 범위 173

그림 102. 진동자 배치 모습 175

그림 103. 진동자 모듈 175

그림 104. 옷에 부착된 모습 175

그림 105. 2차년도에 개발한 센서 컨트롤러와 진동 컨트롤러 176

그림 106. 통합된 장치 컨트롤러 보드 177

그림 107. 블루투스 ESD200 칩의 외형 178

그림 108. 2차년도 배터리와 3차년도에 주문 제작한 배터리 179

그림 109. SmartSuit 180

그림 110. SmartBag의 초음파 센서와 진동자 배열 181

그림 111. SmartBag : 크로스백 형태의 시청각 인터페이스 182

그림 112. 2차년도 임베디드 보드(가)와 3차년도 임베디드 보드(나) 사진 183

그림 113. 착용형 단말 소프트웨어의 구성도 186

그림 114. 디바이스 관리자 및 제어 모듈 구성도 187

그림 115. 응용 프로그램에서 사용하는 쓰레드 187

그림 116. 각 쓰레드의 생성과 종료를 위해 지정된 시그널 188

그림 117. 입력장치 키패드와 하드웨어 189

그림 118. 사용된 카메라 컨트롤러 190

그림 119. 프로토타입 시스템의 구성도 191

그림 120. 각 하드웨어 구성요소 191

그림 121. 시스템의 구조도: 앞모습(가)과 뒷모습(나) 192

그림 122. SmartSuit : 의류 형태의 시청각 인터페이스 193

그림 123. SmartSuit 앞 모습(가)과 내부 모습(나) 193

그림 124. 여성을 위한 재킷 형태의 단말 장치 194

그림 125. 시각 장애인 협회에서 천장에 마커를 붙이고 시각장애인이 직접 테스트하는 모습 195

그림 126. 시각장애인 대상 설문조사 결과 196

그림 127. 2007년 2월 KBS 2TV 방송 화면 197

그림 128. 2007년 3월 itsTV 산업뉴스 방송화면 197

그림 129. 2007년 10월 KBS WORLD eye on korean business 방송화면 198

그림 130. 착용형 단말 시스템 구성도(가) 및 구현과정(나) 199

그림 131. 거리 데이터의 패턴을 이용하여 진행방향을 선택 201

그림 132. 장애물 감지 및 회피 구현과정 및 소프트웨어 202

그림 133. 실외 보행 네비게이션 구현과정(가) 및 소형 GPS 수신기(나) 207

그림 134. 시뮬레이션 프로그램 208

그림 135. 핀홀 카메라 모델 209

그림 136. 마커의 예.... 210

그림 137. 실내 보행 네비게이션 구현과정(가) 및 프로그램(나) 212

그림 138. 마커인식 카메라 모듈(가)과 SmartSuit(나), SmartBag(다)에 착용한 모습 212

그림 139. 청각 정보의 시각 및 촉각 제시 시스템 224

그림 140. 음향 인식 장치 225

그림 141. 시각 제시 프로그램 226

그림 142. 시각 정보 표현 방법 226

그림 143. 햅틱 조끼의 구성 227

그림 144. 햅틱 조끼의 시스템 227

그림 145. 방향에 따른 진동 표현 방법 228

그림 146. 소리의 종류에 따른 진동 패턴 229

그림 147. 시각 및 촉각 제시 시스템의 가상현실 시뮬레이션 229

그림 148. 청각장애인을 위한 착용형 단말장치 구성도 230

그림 149. 청각장애인을 위한 착용형 단말장치 231

그림 150. SmartWatch의 작동 원리 234

그림 151. SmartWatch v1을 착용한 모습 235

그림 152. SmartWatch의 구조 236

그림 153. SmartWatch v1의 시제품 237

그림 154. VCM 가진기의 사양 237

그림 155. VCM 가진기의 설계도 및 조립과정 238

그림 156. VCM 가진기 시제품 238

그림 157. 시각전달을 위한 아이콘 디자인 239

그림 158. 블루투스 헤드셋의 이용 240

그림 159. 블루투스 헤드셋을 개조하는 형태 241

그림 160. RF 모듈을 적용하는 형태 241

그림 161. 채택된 블루투스 무선 통신 모듈 242

그림 162. BT1 모듈 242

그림 163. BT2 모듈 243

그림 164. 블루투스 무선 통신 모듈의 제작 243

그림 165. 무선 통신 모듈의 회로도 244

그림 166. 음향의 On-line 등록 245

그림 167. 잡음 환경에서의 음향 인식 및 등록 음향 이외의 소리에 대한 거절 245

그림 168. DTW 알고리즘 247

그림 169. 근거리 실내에서 녹음한 전화벨 소리의 스펙트럼.... 248

그림 170. 원거리 실내에서 녹음한 전화벨 소리의 스펙트럼.... 248

그림 171. 실제 환경에서의 인식 성능 250

그림 172. 직선경로 (검은 전선) 이 존재하지 않는 방 환경에서의 음향 녹음.... 251

그림 173. SmartWatch의 기능 설명 및 시연 252

그림 174. 유용성에 관한 평가 253

그림 175. 디자인에 관한 평가 253

그림 176. 편리성에 대한 평가 254

그림 177. 각 항목의 종합 평가 255

그림 178. 사용자 음향 등록 기능 255

그림 179. 동시 발생하는 음향 인식 256

그림 180. SmartWatch v2의 구성 요소 256

그림 181. SmartWatch v2의 실제 착용 모습 257

그림 182. 8시간 42분 분량의 데이터를 인식하는데 소요되는 시간 그래프 259

그림 183. 녹음에 사용된 방 환경.... 260

그림 184. 실험에 사용된 실제 환경 녹음 데이터 수 260

그림 185. Equal-error-rate (EER) 에서의 인식 성능 261

그림 186. 동시 발생 음향의 스펙트럼.... 262

그림 187. 동시 발생 음향 인식을 위한 중첩 봉우리 제거 263

그림 188. 복수 음향 인식의 confusion matrix 263

그림 189. 신규 음향 등록 실험에 사용된 6종류의 음향 스펙트럼 265

그림 190. 다양한 잡음 및 음성에 대한 spectral entropy 및 제안된 방법의 출력값 비교 267

그림 191. 다양한 신호 대 잡음비에 따른 음성구간 검출 성능 268

그림 192. 다양한 잡음 종류에 따른 음성구간 검출 성능 269

그림 193. 아기울음소리 검출 시스템의 전체 블록도 270

그림 194. 블루투스 헤드셋 271

그림 195. 입력 신호를 MFCC로 변화하는 과정 271

그림 196. 아기울음소리 검출 인터페이스 272

그림 197. 광학식 모션캡쳐의 작업 과정 276

그림 198. Optical Motion Capture Body & Cyber Glove 277

그림 199. 모션빌더의 수화 단어 Editing 작업 화면 278

그림 200. 립싱크 애니메이션을 위한 남자 얼굴 모델 279

그림 201. 립싱크 애니메이션을 위한 모프타켓 정의 280

그림 202. 음소별 발음 시간 정보 분석 모듈 구성도 282

그림 203. 문장 입력 시 수화 모션 구현을 위해 발화 타임을 표시 283

그림 204. 수화용 캐릭터 얼굴 Morph Data 와 Body Object & Skeleton 284

그림 205. Morph Index 정의 285

그림 206. Skeleton의(Skeleton 의) 캐릭터 Bone과(Bone 과) 구조도 285

그림 207. 캐릭터 3D Viewer 286

그림 208. Motion Blending Graph 287

그림 209. Motion Blending Skeleton 288

그림 210. 2D 캐릭터 이미지 스케치 294

그림 211. 수화 3D 남자 기본 캐릭터 294

그림 212. 3D 수화 캐릭터 295

그림 213. 수화 학습툴 UI 디자인 297

그림 214. 수화 교육 S/W _ SavHand V1 299

그림 215. 메인 메뉴바 300

그림 216. 3D 화면 Viewer 와 마우스 조작법(조작 법) 300

그림 217. 플레이어 세부 버튼 기능 301

그림 218. 단어 입력 창 301

그림 219. 재생 목록 리스트 302

그림 220. 3D 수화 캐릭터 302

그림 221. 3D 수화 배경 303

그림 222. 수화 단어 입력창 303

그림 223. 기초 단어 카테고리 화면 304

그림 224. 모니터 전체 화면 305

그림 226. EMG 측정 센서 320

그림 227. 근전도 신호기반의 컴퓨터 인터페이스 개략도 321

그림 228. 근전도 기반의 컴퓨터 인터페이스를 활용하기 위한 데이터 처리 과정 322

그림 229. 근전도 신호를 획득하기 위한 표면적극 부착 323

그림 230. 착용형 근전도 인터페이스 제작(a/b) 324

그림 231. 사용자 의도에 따른 근육 활성화 테스트 325

그림 232. 신경망회로에 의한 각 말단뉴런의 활성도 328

그림 233. 각 말단뉴런의 활성도에 따른 maximum selector의 패턴인식 결과 329

그림 234. 문자입력을 위한 키보드 인터페이스 330

그림 235. Fittls' law 실험을 위한 시험대 332

그림 236. 커서동작 수행시간과 난이도의 관계 그래프:... 334

그림 237. 근전도와 모션획득 장비기반의 컴퓨터 인터페이스 개념도 336

그림 238. 근전도와 모션획득 장비기반의 컴퓨터 인터페이스를 활용하기 위한 데이터 처리 과정 337

그림 239. 근전도 신호를 획득하기 위한 표면적극 부착 338

그림 240. 근전도 센서와 모션획득마커가 부착된 팔목밴드 339

그림 241. 무선 착용형 근전도 기반의 컴퓨터 인터페이스 341

그림 242. 근전도 신호의 신호처리 과정 342

그림 243. 차동증폭기 343

그림 244. 대역통과필터 344

그림 245. Biquad 2차 노치 필터 345

그림 246. 무선 착용형 단말 회로 및 단말기 외형(a/b) 346

그림 247. 근전도 신호를 획득하기 위한 표면 전극 348

그림 248. 움직임에 따른 각 채널의 신호 350

그림 249. 패턴인식 결과 350

그림 250. 착용형 무선 인터페이스 실험 352

그림 251. Tripolar polyimide cuff electrode 353

그림 252. 쥐의 발바닥에 플라스틱 탐침을 이용한 접촉, 솔을 이용한 솔질, von Frey filament (Stoelting Co, Illinois)를 이용한 찌르기의 기계적 자극에 의해 좌골신경에서 획득된 신경신호 354

그림 253. RBI, WL, WD방법을 사용한 ENG신호의 특징 추출 356

그림 254. 신경전도 패턴인식 결과 357

그림 255. 근전도 신호 기반의 로봇제어를 위한 시스템 개요 및 실험 셋업 359

그림 256. 손 움직임에 따라 획득된 근전도 신호 361

그림 257. 사용자의 의도대로 손 로봇을 제어함에 따라 다양한 모양의 물체를 잡고, 팔을 움직이면서 물을 따라 마시는 등의 일상생활을 할 수 있다. 362

그림 258. Tf-LIFE from IBMT.... 364

그림 259. A basic scheme representing the concept of the tf-LIFE actuated by SMA. 365

그림 260. a) Cross section of the device; b) Independent actuation of each active site with gold tracks. 368

그림 261. Geometrical schematization of the SMA between the two thin films of polyimide.... 369

그림 262. Clean room processes for the microfabrication of the prototype 372

그림 263. Fabrication procedure of the brass stamps. 372

그림 264. Characterization results for the tf-SMA after the complete thermal treatment. 375

그림 265. Pictures of the prototype.... 376

그림 266. d) Residual corrugation at room temperature after thermal treatment.... 377

그림 267. Side views of the sputtered TiNi film.... 383

그림 268. Resistance/Temperature diagram of a sample obtained with the 50% wt.TiNi target and annealed at 400℃ for 40 minutes. 386

그림 269. Results of the simulations showing that a "sandwich" of polyimide can allow to achieve a reduction of the temperature. 387

그림 270. Resistance/Temperature diagram of a sample obtained with the co-sputtering procedure and annealed at 400℃ for 40 minutes. 388

그림 271. Results of the Tape test for films with different alloy composition and different thickness and thermal treatments. 390

그림 272. Results of the Tape test for films with different alloy composition and different thickness and thermal treatment. 391

그림 273. Peel test results for different post- annealing treatments and different targets. 392

그림 274. a) Aspect of the wafer at the end of the process; b) A single electrode after the detachment from the wafer; c) detail of the active part of the electrode; d) detail of the wet-etchin results of the TiNi thin film; e)detail of the connection between a gold track and the... 396

그림 275. a) Side view of the actuated profile abtained by optical microscope; b)profilometer results during actuation (red line) and without actuation (blue line). 398

그림 276. Strain energy of Equation (11) used to fit experimental data.... 404

그림 277. Strain energy of Equation (9) used to fit experimental data.... 405

그림 278. Difference between the use of Equation (9) and Equation (11).... 406

그림 279. The tissue around the electrode increase the structure geometrical stability.... 407

그림 280. The errors between experimental data and predicted FE stretches.... 408

그림 281. Elongation of a PNT specimen.... 410

그림 282. The errors between experimental indentation data and predicted FE stretches.... 411

그림 283. Approximation of peripheral nervous tissue real indentation task.... 412

그림 284. Typical ENG signals recorded using tf-LIFEs (top) and cuff electrodes (bottom). 413

그림 285. One minute of recordings while some stimuli (ankle flexion at 90o, release from ankle flexion at 90o, and extension at 175o) were applied to the paw.... 414

그림 286. One fo the spike templates typically found by the algorithm.... 415

그림 287. The figure shows how different "spike waveforms" could be considered somehow related to different specific stimuli.... 418

그림 288. Polyimide cuff electrode 420

그림 289. Nerve signals recorded from the sciatic nerve when applying a series of mechanical stimuli : contact, brush, and von Frey filaments. 421

그림 290. (a) The high-pass filtered (fc=1 kHz) nerve signals.... 423

그림 291. Results of the pattern classification.... 426

그림 292. Dependency of the success tates of the pattern recognition on the length of an analysis window using three data sets (three rats) with three combined feature sets. 428

1. 제목

신체장애인을 위한 착용형 단말 인터페이스 기술 개발

2. 연구개발의 목적 및 중요성

본 연구개발의 목적은 의사소통이나 물리적인 활동이 자유롭지 않은 장애인들이 비장애인들과 상호작용하고 활동할 수 있도록 지원하는 각종 서비스 기술을 개발하고 그 기술을 구현할 수 있는 단말기 시제품을 개발하는 것이다. 여기에는 기본적으로 한 감각정보를 다른 감각정보로 상호변환 해주는 기술, 주변 환경 및 상황을 인식하여 조치를 취할 수 있도록 해주는 보호서비스 기술, 감각 정보의 측정과 제공을 위한 인간-컴퓨터 인터페이스 (HCI) 기술이 포함된다.

오늘날 생활수준 및 소득수준이 향상되고 국민복지에 대한 관심이 증대하면서 전 국민의 악 10%로 추정되는 장애인들의 후생복지가 중요한 문제로 대두되고 있다. 이것은 헌법에 보장된 기초적인 생존권의 문제뿐만 아니라 정보통신 서비스를 비장애인과 차별 없이 누릴 수 있는 권리의 문제와도 연결된다.

최근 IT기술의 비약적인 발전과 더불어 사용자의 편의성의 극대화 시키는 인감중심의 컴퓨팅 기술과 정보 이용 환경에 대한 필요성이 대두되었다. 그리고 PC 하드웨어가 착용가능한(wearable) 수준까지 소형화·경량화 되고, 초고속 유무선 통신망을 이용하여 언제/어디서나/누구와도 정보 교환이 가능한 유비쿼터스 환경으로 발전하면서 장애인도 비장애인과 비슷하거나 동일한 수준까지 다양한 정보 서비스 활용하고자 하는 욕구를 가지게 되었으며, 국가적인 차원에서 정부가 먼저 이를 제공할 의무가 있다.

3. 연구개발의 내용 및 범위

본 연구에서는 선천적 또는 후천적으로 장애를 얻은 시각장애인, 청각장애인, 지체장애인을 대상으로 하며, 개발 기술의 활용도를 높이기 위해 각 요소 기술을 통합하여 다음과 같은 어플리케이션과 서비스를 개발하였다.

o 시각장애인을 위한 일상생활 보조 시스템

o 시각장애인을 위한 이동 지원 시스템

o 청각장애인을 위한 위험 경보 시스템

o 청각장애인을 위한 수화 커뮤니케이션 시스템

o 지체장애인을 위한 신경인터페이스 연구

4. 연구개발결과

o 시각장애인을 위한 일상생활 보조 시스템

실외에서 시각장애인의 안전한 보행을 위해 흰지팡이에 부착하는 형태로 초음파를 통해 장애물을 감지하고 경고하는 SmartWand를 개발하였다. 이 SmartWand는 흰지팡이로 감지할 수 없는 허리 높이 이상의 위험한 장애물을 경고할 수 있으며, 물체의 색상이나 주변의 밝기를 음성으로 알려주는 기능도 가지고 있다.

o 시각장애인을 위한 이동 지원 시스템

옷이나 가방 형태로 시각장애인들이 착용해서 사용할 수 있으며, 원하는 목적지까지 장애물을 피해 안전하게 길을 안내하는 SmartSuit/SmartBag을 개발하였다. 그리고 보행용 GPS서비스를 통해 시각장애인이 원하는 위치로 안내하는 보행 네비게이션 서비스를 개발하였다.

o 청각장애인을 위한 위험 경보 시스템

청각장애인을 위해서는 실내에서 초인종 소리나 아기 울음소리 등과 같이 일상생활에 필요한 음향을 인식하여 촉각과 시각으로 알려주는 시계형태의 SmartWatch를 개발하였다.

o 청각장애인을 위한 수화 커뮤니케이션 시스템

청각장애인들의 정보접근성 향상 및 비장애인과의 쉬운 의사소통을 위해 한글 문장을 자연스럽고 사실적인 수화애니메이션으로 변환하는 엔진과 이를 이용한 수화 교육용 소프트웨어를 개발하였다.

o 지체장애인을 위한 신경인터페이스 연구

지체장애인을 위한 기초 연구로 생체 신호를 분석하여 사용자의 의도를 파악하고 이를 통한 컴퓨터 인터페이스를 제공하는 단말기를 개발하였고, 피부 침습을 최소화 하여 단말신경에 임플란트를 이식하고 신경 신호를 읽을 수 있는 SMA기반 tf-Life(thin-film Longitudinal Intrafascicular Electrodes)를 개발하였다.

5. 활용에 대한 건의

본 과제에서 개발된 장애인용 단말기와 서비스는 시작 단계에서부터 장애인들의 기술 수요와 요구 사항을 파악하였고, 설계 및 제작 단계에서 지속적으로 해당 장애인들의 의견을 반영하였으므로 제품으로 만들어 실제 생활에서 장애인들에게 도움을 줄 수 있을 것이다. 또한 본 과제 수행중에 개발한 요소 기술인 청각 정보의 시각 및 촉각 정보로 변환하는 기술은 군사적인 용도로 또는 산업현장에서 소리나 빛으로 정보전달이 어려운 경우 촉각을 통해 명령을 전달하는 수단이 될 수 있으며, 초음파를 이용한 장애물 회피 기술은 시각장애인의 보행 지원 뿐아니라 휴머노이드 로봇의 자동 주행 등에 응용될 수 있다. 그리고 지체장애인을 위한 신경/생체 인터페이스 기술은 기초 기술 개발 수준이지만 앞으로 원격 로봇 제어 등과 같은 분야에서 유용하게 사용할 수 있을 것이다.

6. 기대효과

본 과제에서 개발된 기술들을 통해 장애인들을 위한 실질적인 IT복지를 실현함으로써 차세대 PC기술 개발을 통해 장애인들의 삶의 질 향상에 기여하고, 비장애인과의 정보격차 문화격차를 해소함으로써 사회통합에 기여하게 되기를 기대한다. 또한 본 과제에서 개발된 착용형 단말기 기술을 이용하여 새로운 개념의 IT 서비스들이 양산되어 기존에 존재하지 않았던 IT 신산업분야 창출이 가능할 것이다, 그리고 차세대 PC는 의류·식품·의료 산업과의 융합화로 의(依) = 「IT-Wear」 , 식(食) = 「IT-Inside」 등 신 개념의 융합 기술 산업을 창출해 나가는 경향에 맞추어서, 본 과제에서 개발한 단말 요소기술들을 교육, 의료, 산업, 엔터테인먼트 등 다양한 분야로 확장 할 수 있을 것이라 기대한다.