Einleitung 19
Gang der Untersuchung 25
Erstes Kapitel - Grundlagen 29
A. Die Künstliche Intelligenz 29
I. Definition Künstliche Intelligenz 30
II. Künstliche Intelligenz und Robotik 32
III. Erscheinungsformen und Architektur des Grundmodells 33
1. Expertensysteme 34
a. Agenten 35
aa. Software-Agenten 35
bb. Hardware-Agenten 36
b. Intelligenz der Agenten - das Wissensbasierte System 36
aa. Darstellung des Wissens in der Wissensbasis 36
bb. Vorteilefür die Medizin 37
2. Maschinelles Lernen (Machine Learning) 38
a. Programmieren von Lernalgorithmen 38
b. Training durch Lernaufgaben bzw. -verfahren 39
aa. Überwachtes Lernen oder „supervised learning“ 40
bb. Unüberwachtes lernen oder „unsupervised
learning“ 41
cc. Lernen durch Verstärkung oder „reinforcement
learning“ 42
3. Neuronale Netzwerke als besonderer Teil des
maschinellen Lernens 42
a. Menschliche neuronale Netze 43
b. Maschinelle neuronale Netze 44
aa. Der Backpropagation-Algorithmus 45
bb. Das Deep Learning 45
cc. Deep Learning in der Medizin:Deep Medicine 46
IV.Risiken von Systemen des Maschinellen Lernens 47
1. Autonomierisiko 48
2. Vernetzungsrisiko 49
3. Einflussnahme durch Akteurinnen 50
a. Programmierende 50
b. Trainierende 51
c. Anwendende 53
d. Fazit 53
B. Künstliche Intelligenz in der Medizin 54
I. „Behandlungsferne KI“ 55
1. Äußere Erscheinungsformen 56
2. Stand der Entwicklung 56
II. „KI an der Schnittstelle zu Behandlungsnaher KI“ 57
1. Äußere Erscheinungsformen 57
a. Simplinic 57
b. Envision und Sandman.ICU 58
c. Sandman.MD 58
2. Stand der Entwicklung 59
III. „Behandlungsnahe KI“ und die DeepMedicine 60
1. iDose und Clarity von Philips 61
2. „AdaHealth“ und „Babylon Health“ 62
3. Dexcom G6 rtCGM 62
C. Deep Medicine - Ärztliche Anwendende als obligatorische
Letztentscheidende 63
I. Nachvollziehbarkeit des Ergebnisses des Kl-Systems für
ärztliche Anwendende als Letztentscheidende? 64
II. Explainable AI 66
1. Symbolische Künstliche Intelligenz 67
2. Nicht-symbolische Künstliche Intelligenz 67
3. Beispiel: Explainable AI in der Radiologie 68
III. Kritik an der Explainable AI 69
IV. Fazit 69
Zweites Kapitel - Rechtliche Einordnung der Künstlichen Intelligenz 71
A. Rechtliche Definition der Künstlichen Intelligenz 71
I. Erster Definitionsversuch: EU-Kommission 72
II. Zweiter Definitionsversuch: HEG-KI 73
III. Dritter Definitionsversuch: EU-Kommission 74
IV. Kritik 75
V. Aktueller Stand 77
B. Rechtlicher Status 78
I. Eigene Rechtspersönlichkeit 79
1. Natürliche oder juristische Person 80
a. Der Begriff der Rechtsfähigkeit 80
b. Rechtssubjektivität und Rechtspersönlichkeit 81
c. Fazit 83
2. Die „ePerson“ 84
a. Zweckmäßigkeit 85
b. Diskussion 86
aa. Philosophie, Soziologie und funktionales Recht 86
bb. Chancen-Risiken-Waage 88
cc. Notwendigkeit eindeutiger Identifikation als
Rechtssubjekt 89
dd. Missbrauchspotenzial durch beteiligte
Akteurinnen 90
c. Fazit 91
II. Lösung: Teilrechtsfähigkeit 92
1. Lehre von der Teilrechtsfähigkeit 92
2. Kritik 92
3. Übertragung dieser Grundsätze auf Kl-Systeme 94
III. Gesamtfazit 96
C. Europarechtliche Einordnung 97
I. Künstliche Intelligenz als Medizinprodukt 98
1. Definition des Medizinprodukts nach der
Medizinprodukteverordnung (MPV) 98
2. Künstliche Intelligenz als Medizinprodukt nach der
Medizinprodukte-Verordnung 99
3. Klassifizierung und Konformitätsbewertung 101
a. Klassifizierung von Software als Medizinprodukt -
Regel 11 101
b. Konformitätsbewertung 102
c. CE-Kennzeichnung 103
d. Problemfelder der Einordnung von Kl-Systemen als
Medizinprodukt 103
4. Zusammenfassung und Gesamtfazit 104
II. Regulierung durch die EU 106
1. Ethik-Leitlinie der HEG-KI 107
2. Die KI-VO 108
a. Anwendungsbereich 108
b. Risikobasierter Ansatz der KI-VO 109
aa. „Vertrauenswürdige KI“ 110
bb. Hochrisiko-KI-Systeme (Klasse II) -
Pflichtenkatalog 110
c. Die KI-VO und Kl-Systeme in der Medizin 112
aa. Hochrisiko-KI-Systeme und die
Medizinprodukte-Verordnung 112
bb. Konsequenz: erhöhter Pflichtenkatalog 113
d. Kosten eines Hochrisiko-KI-Systems 113
3. Der KI-Haftungs-RL-V 114
a. Hintergrund: Befürchtete Haftungslücken 115
b. Beweiserleichterungen - Offenlegungspflicht und
gesetzliche Vermutungen 117
c. Fehlende Verzahnung zwischen KI-VO und KIHaftungs-RL-V 117
4. Zusammenfassung und Gesamtfazit 119
Drittes Kapitel - Vertragliche Arzthaftung beim Einsatz von KlSystemen 123
A. Grundsätze des deutschen Arzthaftungsrechts 126
B. Vertragliche Arzthaftung, § 280 Abs. 1 in Verbindung mit
§§ 630a ff. BGB 128
I. Die fachgerechte Behandlung 128
II. Beweisrecht 129
1. Beweislastverteilung im Arzthaftungsrecht 130
a. Reduzierte Darlegungslast der Patientin 131
b. Beweismaß 131
2. Beweiserleichterungen durch § 630h BGB 132
III. Fazit 133
C. Veränderung dieser Grundsätze durch den Einsatz von KlSystemen 135
I. Multiple Einflussfaktoren 135
II. Kausalzusammenhang und Sorgfaltspflichten 137
1. Klassischer Behandlungsbereich - Die menschliche
Aufsicht 142
a. „Vertrauenswürdige KI“ 143
b. „Human oversight“ 144
aa. „Human in the loop“ 144
bb. „Human on the loop“ 145
cc. „Human in Comand“ 145
dd. Fazit 146
2. Behandlungsumfeld - Organisationspflichten der
Klinikbetreiberin 147
III. Zusammenfassung 147
D. Der Behandlungsvertrag (§ 630a BGB) 149
I. Vertragsparteien im Sinne des § 630a BGB 150
1. Ambulante Behandlung bei niedergelassener Ärztin 151
2. Krankenhausbehandlung 151
3. Grundsätze des Vertragsschlusses 153
II. Fazit 154
E. Pflichtverletzung im Sinne der §§ 630a ff. BGB 154
I. Leistung der versprochenen Behandlung im Sinne des
§ 630a BGB 155
1. Leistungspflichten im Behandlungsgeschehen 156
a. Die klassische Behandlung 156
b. Das Behandlungsumfeld 157
2. Sorgfaltsmaßstab § 630a Abs. 2 BGB 157
a. Medizinischer Standard 158
b. Bestimmung des medizinischen Standards 159
3. Leitlinien und Richtlinien 160
4. Zusammenfassung 161
II. Der Behandlungsfehler - Verstoß gegen den
Sorgfaltsmaßstab 162
1.Schicksalhafter Misserfolg - kein Behandlungsfehler 162
2. Neuland- bzw. Außenseitermethoden - Vereinbarung im
Sinne des § 630a Abs. 2 BGB 163
3. Behandlungsfehler im engeren Sinne, im weiteren Sinne
und Aufklärungsfehler 163
4. Einsatz von Künstlicher Intelligenz und
Behandlungsfehler 164
III. Diagnosefehler 167
1. Befunderhebungsfehler beim Einsatz Künstlicher
Intelligenz 168
2. Diagnoseirrtum 168
a. Gründe für eine fehlerhafte Diagnose 170
aa. Systembezogene Faktoren 170
bb. Kognitive Faktoren 170
b. Wirkung von Künstlicher Intelligenz auf diese
Faktoren 171
c. Einsatz von Künstlicher Intelligenz bei der
Diagnosestellung 171
3. Diagnosefehler beim Einsatz von Künstlicher Intelligenz 173
a. Fallbeispiel 174
aa. Fehlerquelle 1: Fehlfunktion und Versagen
infolge eines Bedienungsfehlers und sonstiger
äußerer Einflüsse 176
(1) Fehler in der Trainingsphase 176
(2) Fehler in der Anwendungsphase 178
(3) Fazit 179
bb. Fehlerquelle 2: Kl-Risiko verwirklicht 180
cc. Fehlerquelle 3: Bewertung des
Entscheidungsvorschlags - Verstoß gegen den
medizinischen Standard? 182
(1) Die Letztentscheidung und der
„Goldstandard“ 183
(2) Anzuwendender Sorgfaltsmaßstab 183
(a) Dazwischentreten der Maschine 185
(b) Zwischenergebnis: Üblicher
Sorgfaltsmaßstab anzuwenden 187
(3) Medizinisch-evidente Fehler: Ärztliche
Anwendende hat falschen
Diagnosevorschlag trotz gegenteiliger
Fachkenntnisse übernommen 188
(4) Nicht medizinisch-evidente Fehler:
Ärztlicher Anwendenden fehlte Expertise,
um den Fehler zu entdecken 190
(a) Sorgfaltsmaßstab: Rechtsdogmatischer
Ansatz 192
(b) Sorgfaltsmaßstab: Interdisziplinärrechtsdogmatischer Ansatz - Der
technisch-medizinische-KI-Standard 194
(c) Diskussion: Ärztliche Anwendende als
Haftungsknecht 198
(d) Anforderungen an einen technischmedizinischen Kl-Standard 204
(aa) Medizinischer Teil - bisheriger
medizinischer Standard 205
(bb) Technischer Teil - neuer
technischer Standard 206
(cc) Stellungnahme 212
b. ZusammenfassungundZwischenergebnis 214
IV. Beweisrecht des Diagnosefehlers - Grundsätze der
Beweisverteilung nach § 280 Abs. 1 BGB 216
1. Der Befunderhebungsfehler, § 630h Abs. 5 S. 1 u. 2 BGB 217
a. Grober Befunderhebungsfehler, § 630h Abs. 5 S. 1
BGB 218
b. Einfacher Befunderhebungsfehler, § 630h Abs. 5 S. 2
BGB 218
c. Befunderhebungsfehler beiEinsatz von KI-Systemen 219
d. Zwischenergebnis 220
2. Diagnoseirrtum 221
a. Fundamentaler Diagnoseirrtum, § 630h Abs. 5 S. 1
BGB 221
b. Diagnoseirrtum bei Einsatzeines Kl-Systems 222
3. Ergebnis 223
V. Therapiefehler 225
1. Therapiefehler oder Therapiefreiheit? 226
2. Grenzen der Therapiefreiheit 227
3. Einsatz von Künstlicher Intelligenz als Therapiefehler 228
a. Kl-Methode verfügbar, aber nicht genutzt 229
aa. Grenzen der Vertratbarkeit veraltete oder
konventionelle Methoden anzuwenden 230
bb. Modernes Kl-System bereits angeschafft, aber
Anwendung unterlassen 231
cc. Neuanschaffung wirtschaftlich zumutbar? 231
b. Kl-Methode verfügbar und genutzt 232
4. Rechtliche Bewertung von Neulandmethoden 233
5. Kl-Systeme als Neulandmethode 235
VI. Organisationsfehler 236
1. Organisationspflichten 237
2. Organisationsfehler beim Einsatz von Kl-Systemen 239
a. Fehlerquelle 4: Fehlfunktion und Versagen des KlSystems durch technischen Defekt 240
b. Fehlerquelle 1: Fehlfunktion und Versagen infolge
eines Bedienungsfehlers 240
c. Fehlerquelle 2: Verwirklichtes KI-(Rest-)Risiko oder
sonstige äußere Einflüsse 241
aa. Unterschied zu übrigen Behandlungsfehlern 241
bb. Grundsatz: Gute Organisation in allen Stadien
geschuldet 242
cc. Haftungfürfehlerhafte Einstellung 243
dd. Stellungnahme 244
(1) Der Standardbegriff einer guten
Organisation 246
(2) Medizinerinnen als professionell
Betreibende 248
(3) Zwischenergebnis: Verschuldensprinzip 251
3. Zusammenfassung und Ergebnis 254
VII. Beweisrecht - Das „voll beherrschbare Risiko“, § 630h Abs. 1
BGB 256
1. Rechtshistorischer Hintergrund des voll beherrschbaren
Risikos 256
2. Anwendbarkeit auf Kl-Systeme 258
a. Bezugspunkt der Beherrschbarkeit 258
aa. Telos des § 630h Abs. 1 BGB 260
bb. Teleologische Reduktion des § 630h Abs. 1 BGB 262
b. Bezugspunkt: Aufgabenbereiche von Kl-Systemen 263
c. Ergebnis 264
3. Nachweis der haftungsbegründenden Kausalität 265
a. Anscheinsbeweis 265
b. Organisationsfehler als grober Behandlungsfehler
i.S.d. § 630h Abs. 5 S. 1 BGB 266
4. Ergebnis 268
VIII. Besondere Organisationspflichten - Die Grundsätze der
Arbeitsteilung 269
1. Hintergrund 270
2. Vertikale Arbeitsteilung - Unzulässige Delegation an
Nichtärzte? 270
a. Aufgaben des medizinischen Kernbereichs 271
b. Rechtsfolgen des Delegationsfehlers 273
c. Anwendbarkeit dieser Grundsätze auf Kl-Systeme 274
cc. Menschliche Aufsicht, Goldstandard und §§ 630a,
630b iV.m. §613 BGB 275
dd. Fehlende Rechtspersönlichkeit -fehlende
Delegationsfähigkeit? 276
ee. Künstliche Intelligenz ist als neue
Behandlungsmethode dem Kernbereich
zuzuordnen 277
ff. Fiktion: Künstliche Intelligenz ist delegationsfähig 277
(1) Delegation von Aufgaben des Kernbereichs 278
(2) Lösungsvorschlag: Zertifizierung des KlSystems 278
(3) Delegation von untergeordneten
Maßnahmen 279
3. Zusammenfassung und Ergebnis 280
IX. Übernahmeverschulden 280
X. Beweisrecht zum Übernahmeverschulden 282
XI. Behandlungsakzessorische Nebenpflichten 283
1. Die Dokumentationspflicht, § 630f BGB 283
a. Dokumentation nach der KI-VO 284
b. Dokumentation nach der MedizinprodukteVerordnung 286
2. Rechtliche Bewertung eines Verstoßes gegen die
Dokumentationspflicht - § 630h Abs. 3 BGB de lege lata
et de legeferenda 286
Viertes Kapitel - Ergebnisse und Vorschläge 289
Literaturverzeichnis 295