Interview • Recht & Technik
Wer verantwortet falsche KI-Diagnosen?
Die Möglichkeiten von Künstlicher Intelligenz (KI) wachsen rasant an, Algorithmen übernehmen auch in der Radiologie immer mehr Aufgaben – ein Beispiel ist etwa die automatisierte Auswertung radiologischer Bilder. Doch wer trägt die Verantwortung, wenn der Algorithmus einen Fehler macht?
Interview: Sascha Keutel
Darüber haben wir mit Prof. Dr. Susanne Beck gesprochen. Die Inhaberin des Lehrstuhls für Strafrecht, Strafprozessrecht, Strafrechtsvergleichung und Rechtsphilosophie an der Universität Hannover wird auch auf dem Deutschen Röntgenkongress 2018 über die Verantwortlichkeiten beim Einsatz von KI-gestützten Diagnosesystemen sprechen.
Kann eine KI für eine falsche Diagnose verantwortlich sein? Wie ist der aktuelle Stand der Gesetzgebung/Rechtsprechung?
KIs können derzeit nicht selbst verantwortlich sein. Auf EU-Ebene gibt es Diskussionen über die Einführung einer sogenannten elektronischen Person; insofern geht es aber nicht um klassische Verantwortlichkeit, sondern eher um die Übernahme monetärer Haftung und das Schaffen eines Ansprechpartners für potentiell Geschädigte. Ein entsprechendes Gesetz gibt es jedoch noch nicht.
Wenn die KI nicht verantwortlich ist, wer ist es dann? Der behandelnde Arzt, das Krankenhaus, der Anbieter der Bildgebungs-Technologie oder der Programmierer, der den Algorithmus erstellt hat?
Wer von den menschlichen Beteiligten beim Einsatz von KI verantwortlich ist und bleibt, wird derzeit intensiv diskutiert und untersucht, da hier die bisherigen Verantwortungskonzeptionen nicht mehr umfassend anwendbar sind. Eine einfache Antwort hierauf, wie etwa dass immer der Arzt oder immer der Programmierer verantwortlich wäre, gibt es leider nicht. Wenn einer der Beteiligten offensichtlich sorgfaltswidrig gehandelt hat, wäre dieser wie schon heute natürlich weiterhin verantwortlich. Ist das aber nicht der Fall, ist die Verteilung der Verantwortlichkeit deutlich schwieriger, gerade weil die KI nicht immer vorhersehbar oder für den nutzenden Menschen umfassend verständlich agiert. Sie erhält und verarbeitet Informationen aus zahlreichen Quellen und über Vernetzung, somit ist oft unklar, wie es zu bestimmten Fehlentscheidungen gekommen ist.
Ärzte können bei Fehldiagnosen belangt werden. Was passiert mit einer KI, wenn sie eine Fehldiagnose gestellt hat? Was sollte Ihrer Meinung nach passieren?
Gesetzgeber und Juristen sind gefordert, das bestehende Recht an die Entwicklungen der KI anzupassen
Susanne Beck
Derzeit passiert mit einer KI nichts, da sie kein rechtlicher Akteur ist. Natürlich muss sie verbessert und angepasst werden, das ist aber primär eine technische Frage. Aus rechtlicher Perspektive sollte jedenfalls für finanzielle Schäden aufgekommen werden, das kann durch die schon erwähnte elektronische Person geschehen, oder durch entsprechende Versicherungen. Ob darüber hinausgehend weitere Verantwortlichkeiten erforderlich sind, ist noch nicht umfassend diskutiert. Hier sind Gesetzgeber und Juristen gefordert, das bestehende Recht an die Entwicklungen der KI anzupassen.
Bereiche, in denen eine potenzielle Gefahr für den Menschen besteht (z.B. Autos, Flugzeuge, Lebensmittel und Medikamente), sind stark reguliert. Sollte dies für die Anwendung von KIs auch so sein?
KI wird ja meist in einem dieser Bereiche eingesetzt, so dass die dortigen Regelungen auf sie anwendbar sind – zum Beispiel das Medizinproduktegesetz, die Straßenverkehrsordnung, das Lebensmittelgesetz, etc. Diese Gesetze müssen sicher regelmäßig an den technischen Fortschritt angepasst werden. Ein allgemeines Gesetz zum Einsatz von KI wäre dagegen wohl zu unspezifisch und allgemein und daher meines Erachtens zur Erfassung der Risiken und Vorteile nicht umfassend geeignet.
Wer sollte über die Anwendung bzw. Verantwortlichkeiten einer Künstlichen Intelligenz entscheiden: Der Gesetzgeber, die betroffenen Berufsgruppen/Verbände, eine unabhängige Kommission?
In einer Demokratie ist zu einer solchen Entscheidung natürlich zunächst einmal das gewählte Parlament und damit der Gesetzgeber berufen. Dass bloß einzelne Interessenvertreter Entscheidungen treffen, halte ich für problematisch. Sicherlich können Lobbys, ebenso wie unabhängige Experten, den Gesetzgeber entsprechend beraten und informieren und so versuchen, ihre Interessen einzubringen.
Bei der Industrialisierung wurden mit DIN-Normen sehr früh Standards gesetzt. Warum tun wir uns mit den neuen Techniken wie der KI so schwer?
Weil ihre Entwicklung schwer vorhersehbar ist und zudem sehr schnell voranschreitet, und weil wir inzwischen auch mehr über die Bedeutung derartiger Standards wissen und deshalb besonders sorgfältig bei Ihrem Erlass sind – was auch durchaus sinnvoll ist.
Was sind die wichtigsten Aspekte, die Sie auf dem Röntgenkongress präsentieren werden?
Die bisherigen rechtlichen Konzepte (Verantwortung, Haftung, sorgfältiges Handeln, etc.) des Rechts geraten durch KI an ihre Grenzen. Es ist deshalb notwendig, neue Konzeptionen zu entwickeln. Insbesondere ist darauf zu achten, dass wir vom Letztentscheider („Human in the Loop“) nicht mehr verlangen, als er tatsächlich leisten kann. Bei der Frage, inwieweit der eine maschinell erstellte Diagnose bestätigende Arzt für eine Fehlentscheidung verantwortlich ist, sollte deshalb jedenfalls seine erhebliche Prägung durch den KI-gestützten Vorschlag berücksichtigt werden.
Was sind die Lernziele Ihrer Präsentation?
Die traditionellen Verantwortlichkeitsregime sind ebenso wenig passend wie die bestehenden Regelungen zum Datenschutz. Diese rechtlichen Fragen sollten diskutiert und zumindest teilweise geklärt werden, bevor die entsprechenden Systeme eingesetzt werden. Denn die Unklarheit könnte im Zweifel zu Lasten der Anwender / Ärzte gehen!
Profil:
Prof. Dr. Susanne Beck ist Inhaberin des Lehrstuhls für Strafrecht, Strafprozessrecht, Strafrechtsvergleichung und Rechtsphilosophie an der Universität Hannover. Zuvor lehrte die studierte Juristin unter anderem an den Universitäten in Köln, Wiesbaden und Gießen. Prof. Beck befasst sich seit vielen Jahren mit der Anwendung geltenden Rechts auf neue Bereiche wie Künstliche Intelligenz, Robotik oder Biotechnologie. Zu diesen und weiteren Themen hat sie bereits an zahlreichen wissenschaftlichen Abhandlungen mitgewirkt.
09.05.2018
