표제지

인사 말씀

제출문

요약문

Summary

Contents

목차

제1장 서론 53

제1절 연구의 필요성 55

제2절 연구 개발의 목표 및 범위 56

1. 연구 개발의 목표 56

2. 연구 개발의 범위 56

제3절 주요 연구개발 결과 61

1. 햅틱 인터페이스 테스트 베드 개발 61

2. Vibrotactile Display 개발 64

3. 햅틱 모델링 및 렌더링 65

4. 질감 모델링 및 구현장치 67

5. 햅틱 인터페이스 상용화 개발 69

제4절 본 보고서의 구성 71

제2장 테스트 베드 개발 73

제1절 개요 75

제2절 콘텐츠 저작도구 76

1. 개요 76

2. 햅틱 패턴의 표현 77

3. 전송 패킷 명세 84

제3절 햅틱 기반 대화형 응용 컨텐츠 88

1. 개요 88

2. TCON의 정의 88

3. TCON 표현장치 제작 91

4. TCON 저작 도구 구현 92

5. 대화형 응용 서비스 연동 94

6. 실험 결과 94

제4절 통합 테스트 베드 97

1. 촉감 공유 시스템 97

2. 촉감 정보 표현 103

제5절 햅틱 인터페이스 지원 무선접속 프로토콜 105

1. 웨어러블 컴퓨터와 햅틱 디바이스의 무선 접속 상태도 105

2. 무선 접속 프로토콜 설계 106

제3장 Vibrotactile Display 기술 111

제1절 개요 113

제2절 Vibrotactile Display 구동기 설계 및 제작 114

1. 모터＋핀형 Vibrotactile Display 구동기 114

2. 코일＋자석＋핀형 Vibrotactile Display 구동기 117

제3절 Vibrotactile Display 장치 및 응용 프로그램 123

1. Vibrotactile Display 제어 및 통신 회로 123

2. 손가락 착용형 Vibrotactile Display 125

3. 손목 착용형 Vibrotactile Display 127

4. 입체영상과 촉감 인터렉션을 이용한 가상 비눗방울 게임 시스템 132

5. 볼형 Vibrotactile Display 및 가상 비눗방울 게임에의 응용 139

6. 마우스형 Vibrotactile Display 141

7. 진동촉각 공간마우스 (핸드헬드형 Vibrotactile Display) 142

제4장 햅틱 모델링 및 렌더링 147

제1절 개요 149

제2절 햅틱 모델링 및 렌더링 SDK 149

1. 개요 149

2. 관련 연구 동향 및 연구 동기 150

3. K-Touch™ 햅틱 API 151

제3절 햅틱 모델러 응용프로그램 159

1. 개요 159

2. 관련 연구 동향 및 연구 동기 160

3. 그래픽 사용자 인터페이스(Graphic User Interface) 161

4. 촉감 사용자 인터페이스(Haptic HseF Interface) 165

제4절 햅틱 상호작용 안정화 제어 기법 167

1. 개요 167

2. 에너지 바운딩 알고리즘(Energy Bounding Algorithm) 168

3. 햅틱 장치의 물리적 댐핑 인수 추정 170

4. 멀티 레이트 에너지 바운딩 알고리즘(Multirate Energy Bounding Algorithm) 171

5. 실험결과 172

제5절 진동촉감 제시 장치 176

1. 개요 176

2. 발등 착용형 진동촉감 제시 장치 177

3. 팔목 착용형 진동촉감 제시 장치 179

4. 진동촉감 제시장치의 응용 180

5. 새로운 추적모드의 제안 183

6. 예비실험 및 사용자 평가 184

제6절 햅틱펜 185

1. 개요 185

2. 시스템 구성 186

3. 펜의 위치 및 상대 위치오차 189

4. Force Feasible Workspace 191

5. 힘 제어 192

6. 응용 195

제5장 질감 모델링 및 구현 장치 197

제1절 개요 199

제2절 통합 질감 제시장치 개발 201

1. 개요 201

2. 피부감각의 생리학 202

3. 인지 생리학적 실험 204

4. 시스템 설계 및 제작 208

제3절 진동 접촉시의 피부의 위치 분해능 측정 214

1. 측정 장치 214

2. 측정 방법 215

3. 실험 결과 218

제4절 진동 자극이 거칠기 인식에 미치는 영향에 관한 연구 219

1. 개요 219

2. 예비 연구 219

3. 본 연구 I 222

4. 본 연구 II 225

제5절 Texture Display Mouse KAT I, II의 개발 229

1. Planar Distributed Tactile Display 229

2. Implementation of a Texture Display Mouse 231

3. 냉온감 구현 232

4. 활용 시나리오 233

5. KAT를 이용한 이미지 정보에서 촉감 모델링을 하는 방법 234

제6절 물체 재질 인식을 위한 thermal feedback 모델링 236

1. 개요 236

2. Thermal feedback구현 부위 237

3. Thermal feedback의 특성 237

4. Thermal feedback을 이용한 물체 구분 238

5. Thermal feedback의 실제 특성을 고려한 모델링 241

6. 접촉 면적과 thermal sensing을 통한 물체 구분(indentification)간의 상관관계 해석 244

제6장 햅틱 인터페이스 상용화 기술 247

제1절 개요 249

제2절 개발 관련 핵심요소 및 접근방법 250

1. 핵심 요소 및 접근 방법 250

제3절 휴대형 2자유도 햅틱 인터페이스 디바이스 252

1. 휴대형 2자유도 햅틱 인터페이스 시스텝 구성 252

2. 휴대형 2자유도 햅틱 인터페이스 기구 253

3. 햅틱 제어기 254

4. 햅틱 인터페이스용 게임 프로그램 256

제4절 웨어러블 핑거팁형 하이브리드 햅틱 인터페이스 256

1. 하이브리드 햅틱 인터페이스 디바이스 프로토타입 257

2. 웨어러블 햅틱 인터페이스 디바이스 프로토타입 257

3. 웨어러블 핑거팁형 하이브리드 햅틱 인터페이스 디바이스 259

4. 웨어러블 핑거팁형 하이브리드 햅틱 인터페이스 제어기 259

5. 웨어러블 핑거팁형 하이브리드 햅틱 인터페이스 Software 261

제5절 하이브리드 햅틱 인터페이스 사용화 모델 263

1. 하이브리드 햅틱 인터페이스 상용화 모델 프로토타입 263

2. 하이브리드 햅틱 인터페이스 제어기 265

3. 하이브리드 햅틱 인터페이스 상용화 모델 Software 266

제6절 결론 268

제7장 결론 269

제1절 결론 271

제2절 향후과제 272

부록 275

부록 1. 연구 결과물 목록 277

〈표 2-2-1〉 Effect 종류에 따른 파라미터 블록 77

〈표 2-2-2〉 Effect Block 78

〈표 2-2-3〉 Constant Force Block 79

〈표 2-2-4〉 Envelope Block 79

〈표 2-2-5〉 Ramp Force Block 79

〈표 2-2-6〉 Periodic Block 80

〈표 2-2-7〉 Effect Operation 80

〈표 2-2-8〉 Single-Action Block 81

〈표 2-2-9〉 Multi-Action Block 81

〈표 2-2-10〉 Single -Action Operation Block 82

〈표 2-2-11〉 Multi-Action Operation Block 82

〈표 2-2-12〉 모듈 구동기의 아이디 83

〈표 2-2-13〉 장치로부터 구동기의 속성값 얻기 84

〈표 2-2-14〉 사용자가 수정할 수 있는 구동기의 속성 설정 84

〈표 2-2-15〉 패킷 구조 86

〈표 2-2-16〉 약어 86

〈표 2-2-17〉 Request Property 86

〈표 2-2-18〉 Update Property 87

〈표 2-2-19〉 Request Effect Pool 87

〈표 2-2-20〉 Request Action Pool 87

〈표 2-2-21〉 Effect Operation 87

〈표 2-2-22〉 MAction Operation 88

〈표 2-2-23〉 SAction Operation 88

〈표 2-4-1〉 촉감 정보 103

〈표 2-4-2〉 촉감요소 104

〈표 2-4-3〉 표면/구조 형상 104

〈표 4-3-1〉 File 메뉴의 세부 기능 162

〈표 4-3-2〉 Edit 메뉴의 세부기능 163

〈표 4-3-3〉 Tool Bar 메뉴의 세부기능 164

〈표 4-3-4〉 HUI의 세부기능 166

〈표 5-2-1〉 재질에 따른 손가락 운동 범위와 속도 207

〈표 5-4-1-(1)〉 Grit Size 24, 32, 50, 100에 대한 응답 223

〈표 5-4-1-(2)〉 Grit Size 220, 600, 2000에 대한 응답 223

〈표 5-4-2-(1)〉 2㎐ 주파수에 대한 응답 227

〈표 5-4-2-(2)〉 5㎐ 주파수에 대한 응답 227

〈표 5-4-2-(3)〉 25㎐ 주파수에 대한 응답 227

〈표 5-4-2-(4)〉 100㎐ 주파수에 대한 응답 228

〈표 5-4-2-(5)〉 250㎐ 주파수에 대한 응답 228

〈표 5-6-1〉 Thermophysical properties of materials 239

〈표 6-3-1〉 사용된 제어기 DSP 스펙 255

〈표 6-4-1〉 고성능 DSP 햅틱 제어기 기능 요약 260

〈표 6-4-2〉 저가형 AVR 햅틱 제어기 기능 요약 261

〈그림 2-2-1〉 Envelope 파라미터 블록 78

〈그림 2-2-2〉 Effect의 동작 80

〈그림 2-2-3〉 Effect/Action Pool 83

〈그림 2-2-4〉 패킷 작성을 위한 함수 호출 구조 85

〈그림 2-3-1〉 메신저 응용에서의 기준 감정 분류 및 대표 이모티콘의 추출 90

〈그림 2-3-2〉 표현 장치 외형 90

〈그림 2-3-3〉 TCON 정의 91

〈그림 2-3-4〉 TCON 표현 장치 설계 및 제작 실물 92

〈그림 2-3-5〉 TCON 저작도구의 구성도 및 실시예 93

〈그림 2-3-6〉 TCON Interface System 구성도 94

〈그림 2-3-7〉 TCON 실험 결과 95

〈그림 2-3-8〉 TCON 설문 평가 96

〈그림 2-3-9〉 전시 모습 96

〈그림 2-4-1〉 촉감 공유 시스템 97

〈그림 2-4-2〉 촉감보드 98

〈그림 2-4-3〉 촉감조합기 100

〈그림 2-4-4〉 거칠기의 시각화 101

〈그림 2-4-5〉 탄성 및 온감의 시각화 101

〈그림 2-4-6〉 표면/구조 형상의 표현 102

〈그림 2-5-1〉 무선접속 상태도 106

〈그림 2-5-2〉 햅틱인터페이스 자동인식 무선접속 상태도 109

〈그림 3-2-1〉 모터+ 핀형 Vibrotactile Display 구동기 116

〈그림 3-2-2〉 모터 핀형 Vibrotactile Display 동작 116

〈그림 3-2-3〉 진동 모터 삽입형 Vibrotactile Display 117

〈그림 3-2-4〉 코일＋자석＋핀형 Vibrotactile Display 구동기 118

〈그림 3-2-5〉 여러 가지 모양의 코일＋자석＋핀형 Vibrotactile Display 구동기 (독립 모듈형) 119

〈그림 3-2-6〉 여러 가지 모양의 독립 모듈형 코일＋자석＋핀형 Vibrotactile Display 구동기 및 구동기의 내부 모습 120

〈그림 3-2-7〉 코일＋자석＋핀형 Vibrotactile 구동기 모듈 (정육면체, 5㎜×5㎜×5㎜) 121

〈그림 3-2-8〉 코일＋자석＋핀형 Vibrotactile Display 구동기 모듈 (육면체, 8㎜×8㎜×4.6㎜, 연결된 3개의 핀) 121

〈그림 3-2-9〉 3차년도 코일＋자석＋핀형 Vibrotactile Display 구동기 모듈 (5.5㎜×5㎜×5㎜) 122

〈그림 3-2-10〉 3차년도 코일＋자석＋핀형 Vibrotactile Display 구동기 모듈의 부품 (왼쪽) 및 완성품 (오른쪽) 모습 122

〈그림 3-3-1〉 장치 구동에 사용된 여러 종류의 제어 보드 123

〈그림 3-3-2〉 Vibrotactile Display 구동 및 통신 회로의 시스템 구성 124

〈그림 3-3-3〉 골무형 웨어러블 Vibrotactile Display 장치 125

〈그림 3-3-4〉 Vibrotactile Display 장치의 촉감 전달을 위한 데모용 프로그램 126

〈그림 3-3-5〉 5개의 촉각 디스플레이를 장착한 손목시계형 Vibrotactile Display 128

〈그림 3-3-6〉 장착한 손목시계형 Vibrotactile Display 장치 내부에 장착한 제어 및 통신 회로부 128

〈그림 3-3-7〉 스포츠 밴드형 Vibrotactile Display 129

〈그림 3-3-8〉 손목 착용형 Vibrotactile Display 129

〈그림 3-3-9〉 장치의 방향 표시 방법 131

〈그림 3-3-10〉 손목 착용형 Vibrotactile Display 장치를 이용한 미로 길찾기 네비게이션 데모 132

〈그림 3-3-11〉 마그네틱 센서에 두착된 Vibrotactile Display 133

〈그림 3-3-12〉 모니터와 소스 및 센서의 위치관계 135

〈그림 3-3-13〉 Vibrotactile Display를 이용한 실감 비눗방울 터뜨리기 게임 실행 화면 138

〈그림 3-3-14〉 Vibrotactile Display를 이용한 실감 비눗방울 터뜨리기 게임 시연 장면(2005. 11, 차세대PC 전시회) 138

〈그림 3-3-15〉 카메라를 이용한 위치센싱 방법을 이용한 가상현실 게임 139

〈그림 3-3-16〉 볼형 Vibrotactile Display 장치의 조립도 140

〈그림 3-3-17〉 볼형 Vibrotactile Display 장치의 조립 후 모습(왼쪽)과 손가락에 착용한 모습(오른쪽) 140

〈그림 3-3-18〉 진동 촉각 장치가 장착된 마우스 141

〈그림 3-3-19〉 진동촉각 공간마우스의 설계 변천 143

〈그림 3-3-20〉 진동촉각 공간마우스를 파지한 모습 143

〈그림 3-3-21〉 진동촉각 공간마우스의 조립도 143

〈그림 3-3-22〉 진동촉각 공간마우스에 들어가는 회로 145

〈그림 4-2-1〉 IHIP위치에 상응하는 가상 카메라 렌더링 152

〈그림 4-2-2〉 z축 방향에서의 HIP와 물체의 충돌검사의 예 152

〈그림 4-2-3〉 보간 방법에 의한 충돌검사 153

〈그림 4-2-4〉 LOMI를 이용한 IHIP 결정 및 반력 연산 154

〈그림 4-2-5〉 촉감 렌더링 정보, 인터페이스 및 적용 분야 155

〈그림 4-2-6〉 촉감 렌더링 시스템 구성도 156

〈그림 4-2-7〉 K-Touch™ API의 동작 구조 157

〈그림 4-2-8〉 KTouchScene 및 KTouchForceAlgo class hierarchy 158

〈그림 4-3-1〉 햅틱 모델러 161

〈그림 4-3-2〉 툴바 인터페이스 163

〈그림 4-3-3〉 촉감 사용자 인터페이스 사용 예 165

〈그림 4-4-1〉 햅틱 시뮬레이션 시스템의 전체적인 구성 (샘플드 데이터 시스템) 168

〈그림 4-4-2〉 멀티 레이트 에너지 바운딩 알고리즘 구성 172

〈그림 4-4-3〉 멀티 레이트 에너지 바운딩 알고리즘의 구현 172

〈그림 4-4-4〉 햅틱 렌더링 레이트 1㎑일 때 에너지 바운딩 알고리즘을 사용하지 않았을 경우 173

〈그림 4-4-5〉 햅틱 렌더링 레이트 1㎑일 때 에너지 바운딩 알고리즘을 사용하였을 경우 174

〈그림 4-4-6〉 햅틱 렌더링 레이트 50㎐일 때 에너지 바운딩 알고리즘을 사용하지 않았을 경우 174

〈그림 4-4-7〉 햅틱 렌더링 레이르 50㎐일 때 에너지 바운딩 알고리즘을 사용하였을 경우 175

〈그림 4-4-8〉 햅틱 렌더링 레이트 50㎐일 때 멀티 레이트 에너지 바운딩 알고리즘을 사용하였을 경우 175

〈그림 4-5-1〉 5×5 진동자 배열의 내부 구조와 외형 177

〈그림 4-5-2〉 일반적인 신발의 외형을 지닌 진동촉감제시장치와 내부 바닥에 구성되어 있는 마으크로프로세서 ATmega128과 배터리 178

〈그림 4-5-3〉 신발 외부로 나와 있는 배터리 충전포트 178

〈그림 4-5-4〉 배터리와 회로를 내장하고 있는 본체 179

〈그림 4-5-5〉 안쪽에 설치된 6개의 진동자 179

〈그림 4-5-6〉 팔목착용 진동촉감 제시장치의 외부단자와 버튼 179

〈그림 4-5-7〉 내부 회로 180

〈그림 4-5-8〉 전체 시스템 구성 180

〈그림 4-5-9〉 진동촉감 발신자 표시장치 시스템 구성 181

〈그림 4-5-10〉 진동모터의 번호 할당 182

〈그림 4-5-11〉 진동모터 배열을 사용한 알파벳 표현 183

〈그림 4-5-12〉 (a) 추적모드 (b)새로 제안된 추적모드 183

〈그림 4-5-13〉 예비 실험 결과 184

〈그림 4-5-14〉 실험에 사용된 진동 패턴 185

〈그림 4-6-1〉 힘반영 햅틱펜의 전체 외관 186

〈그림 4-6-2〉 모터박스 내부 구성 186

〈그림 4-6-3〉 모터풀리에 와이어가 감긴 모습 187

〈그림 4-6-4〉 모터박스 외관 187

〈그림 4-6-5〉 제어기박스 내부 구성 187

〈그림 4-6-6〉 펜의 외관 188

〈그림 4-6-7〉 하드웨어 구성도 188

〈그림 4-6-8〉 소프트웨어 구성도 188

〈그림 4-6-9〉 펜의 위치계산 190

〈그림 4-6-10〉 펜의 상대위치 오차 190

〈그림 4-6-11〉 힘의 최대크기 192

〈그림 4-6-12〉 역기전력 보상이 힘에 미치는 영향 193

〈그림 4-6-13〉 PDA에서 간단한 글씨쓰기와 게임의 입력장치로 응용 195

〈그림 5-1-1〉 연구 단계별 진행도 200

〈그림 5-2-1〉 촉감의 생리학적 채널 203

〈그림 5-2-2〉 손가락과 방향에 따른 실험결과 205

〈그림 5-2-3〉 접촉면의 폭에 따른 질감 인식 206

〈그림 5-2-4〉 압전 바이모프와 핀 배열을 이용한 피부 수직 방향 자극 메커니즘 209

〈그림 5-2-5〉 압전 바이모프의 주파수 응답 특성 209

〈그림 5-2-6〉 개발된 질감 제시 장치 210

〈그림 5-2-7〉 five-bar 링크를 이용한 반력 생성 구조 211

〈그림 5-2-8〉 열전달 모듈의 구성도 212

〈그림 5-2-9〉 통합 질감 제시 시스템 213

〈그림 5-2-10〉 통합 질감 제시 시스템의 구상도 213

〈그림 5-3-1〉 Two-point Measurement 장치 215

〈그림 5-3-2〉 측정 장치의 동작 원리 및 구조 215

〈그림 5-3-3〉 실험 절차 216

〈그림 5-3-4〉 자극부위 217

〈그림 5-3-5〉 Sensation Level을 고려한 진동자극의 주파수와 진폭 217

〈그림 5-3-6〉 Frequency Response of Index Finger 218

〈그림 5-3-7〉 Frequency Response of Palm 218

〈그림 5-4-1〉 형용사 적합성 사전 조사 설문지의 일부 221

〈그림 5-4-2〉 Grit size의 변화에 따른 sensitivity strength 224

〈그림 5-5-1〉 질감제시장치 Design Concept 230

〈그림 5-5-2〉 질감제시장치 230

〈그림 5-5-3〉 제어기 230

〈그림 5-5-4〉 질감제시 마우스 'KAT' 231

〈그림 5-5-5〉 질감제시 마우스의 사용 예 231

〈그림 5-5-6〉 냉온감 디스플레이 장치 셋업 232

〈그림 5-5-7〉 질감 제시 마우스 KAT II의 질감 디스플레이 개념도 233

〈그림 5-5-8〉 컴퓨터상의 가상 이미지 데모 프로그램, 공룡(좌), 거북선(우) 234

〈그림 5-5-9〉 촉감정보 추출방법의 동작 흐름도 235

〈그림 5-5-10〉 표면의 촉감 정보 추출 방법 236

〈그림 5-6-1〉 물체와 손가락사이의 접촉 열전달 모델 239

〈그림 5-6-2〉 물체 재질에 따른 온도 변화 프로파일 240

〈그림 5-6-3〉 5 종류 물체 재질 구분 confusion matrix 240

〈그림 5-6-4〉 3가지 물체 재질 구분 confusion matrix 241

〈그림 5-6-5〉 물체별 온도 변화 프로파일 242

〈그림 5-6-6〉 물체 두께별 온도 변화 프로파일 243

〈그림 5-6-7〉 여러 가지 물체의 실제 시편들 244

〈그림 5-5-8〉 5지 열전달 실험 시스템 244

〈그림 5-6-9〉 열전달을 이용한 손가락 개수에 따른 물체 구분 실험 결과 245

〈그림 6-3-1〉 휴대형 2자유도 햅틱 인터페이스 시스템 구성 개념도 252

〈그림 6-3-2〉 휴대형 2자유도 햅틱 인터페이스 253

〈그림 6-3-3〉 5 Bar Mechanism 253

〈그림 6-3-4〉 2 자유도 햅틱 인터페이스 제어기 CPU 모듈 254

〈그림 6-3-5〉 2 자유도 햅틱 인터페이스 제어기 Motor Drive Boar 254

〈그림 6-3-6〉 제어기 회로도 255

〈그림 6-3-7〉 햅틱 인터페이스용 게임 프로그램 256

〈그림 6-4-1〉 휴대형 하이브리드 햅틱 인터페이스 프로토타입 257

〈그림 6-4-2〉 착용형 햅틱 인터페이스 디바이스 프로토타입 258

〈그림 6-4-3〉 웨어러블 햅틱 인터페이스 프로토타입 착용 모습 258

〈그림 6-4-4〉 웨어러블 핑거팁형 하이브리드 햅틱 인터페이스 디바이스 259

〈그림 6-4-5〉 고성능 DSP 햅틱 제어기 260

〈그림 6-4-5〉 저가형 AVR 햅틱 제어기 261

〈그림 6-4-7〉 웨어러블 핑거팁형 햅틱 인터페이스 시스템 개념도 262

〈그림 6-4-8〉 웨어러블 핑거팁형 햅틱 인터페이스 디바이스 상태 정보 262

〈그림 6-4-9〉 웨어러블 핑거팁형 하이브리드 햅틱의 Virtual Spring 263

〈그림 6-5-1〉 하이브리드 햅틱 인터페이스 상용화 모델 프로토타입 264

〈그림 6-5-2〉 하이브리드 햅틱 인터페이스 사용 모습 265

〈그림 6-5-3〉 하이브리드 햅틱 인터페이스 제어기 265

〈그림 6-5-4〉 하이브리드 햅틱 인터페이스 제어기 회로도 266

〈그림 6-5-5〉 하이브리드 햅틱 인터페이스 기능 검증 프로그램 267