Stratosphärische Sicherheitsstandards: Wie die Luftfahrt die KI-Regulierung im Gesundheitswesen vorantreiben könnte | MIT-Nachrichten

By | January 17, 2024

Wie hoch ist die Wahrscheinlichkeit, bei einem Flugzeugabsturz zu sterben? Laut einem Bericht der International Air Transport Association aus dem Jahr 2022 liegt das Todesrisiko der Branche bei 0,11. Mit anderen Worten: Im Durchschnitt müsste ein Mensch 25.214 Jahre lang jeden Tag fliegen, um eine 100-prozentige Wahrscheinlichkeit zu haben, einen tödlichen Unfall zu erleiden. Der stark regulierte Luftfahrtsektor, der lange Zeit als eines der sichersten Transportmittel angepriesen wurde, lässt MIT-Wissenschaftler glauben, dass er der Schlüssel zur Regulierung künstlicher Intelligenz im Gesundheitswesen sein könnte.

Marzyeh Ghassemi, Assistenzprofessorin am Department of Electrical Engineering and Computer Science (EECS) des MIT und am Institute of Medical Engineering Sciences, und Julie Shah, HN Slater-Professorin für Luft- und Raumfahrt am MIT, teilen ein gemeinsames Interesse an den Herausforderungen der Transparenz in Modellen KI. Nach einem Gespräch Anfang 2023 erkannten sie, dass die Luftfahrt als Modell dienen könnte, um sicherzustellen, dass marginalisierte Patienten nicht durch voreingenommene KI-Modelle geschädigt werden.

Ghassemi, der auch leitender Forscher an der Abdul Latif Jameel Clinic for Machine Learning in Healthcare (Jameel Clinic) und dem Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT ist, und Shah rekrutierten daraufhin ein interdisziplinäres Team aus Forschern, Anwälten und Politikanalysten vom MIT, der Stanford University, der Federation of American Scientists, der Emory University, der University of Adelaide, Microsoft und der University of California in San Francisco, um ein Forschungsprojekt zu starten, dessen Ergebnisse kürzlich in die Equity and Access at the aufgenommen wurden Konferenz zu Algorithmen, Mechanismen und Optimierung.

„Ich denke, ich kann für Marzyeh und mich selbst sprechen, wenn ich sage, dass wir sehr gespannt sind, wie die Begeisterung für KI in der Gesellschaft aufkeimt“, sagt Erstautorin Elizabeth Bondi-Kelly, jetzt Assistenzprofessorin für EECS an der University of Michigan , der zu Beginn des Projekts Postdoktorand in Ghassemis Labor war. „Aber wir sind auch ein wenig vorsichtig und möchten sicherstellen, dass es möglich ist, Strukturen zur Bewältigung potenzieller Risiken zu schaffen, wenn diese Einsätze beginnen. Deshalb suchten wir nach Inspirationen für Möglichkeiten, dies zu erleichtern. .“

Die heutige KI im Gesundheitswesen ähnelt der Luftfahrtindustrie vor einem Jahrhundert, sagt Co-Autorin Lindsay Sanneman, Doktorandin in der Abteilung für Luft- und Raumfahrt des MIT. Obwohl die 1920er Jahre als „das Goldene Zeitalter der Luftfahrt“ bekannt waren, kam es nach Angaben des Mackinac Center for Public Policy zu „beunruhigend zahlreichen“ tödlichen Unfällen.

Jeff Marcus, der derzeitige Leiter der Abteilung für Sicherheitsempfehlungen des National Transportation Safety Board (NTSB), veröffentlichte kürzlich einen Blogbeitrag zum National Aviation Month, in dem er feststellte, dass 1929 trotz mehrerer tödlicher Unfälle in den 1920er Jahren immer noch das „schlimmste Jahr seit Beginn der Aufzeichnungen“ mit den tödlichsten Unfällen sei Flugunfälle in der Geschichte: 51 Unfälle wurden gemeldet. Nach aktuellen Maßstäben würde es 7.000 Unfälle pro Jahr oder 20 pro Tag geben. Als Reaktion auf die hohe Zahl tödlicher Unfälle in den 1920er Jahren verabschiedete Präsident Calvin Coolidge 1926 ein bahnbrechendes Gesetz, das sogenannte Air Commerce Act, das den Flugverkehr durch das Handelsministerium regeln sollte.

Aber die Parallelen hören hier nicht auf – der weitere Weg der Luftfahrt zur Automatisierung ähnelt dem der KI. Die Erklärbarkeit von KI ist aufgrund des berüchtigten KI-„Black-Box“-Problems ein kontroverses Thema, bei dem KI-Forscher darüber diskutieren, inwieweit ein KI-Modell dem Benutzer seine Ausgabe „erklären“ sollte, bevor es ihn möglicherweise dazu verleitet, der Anleitung des Modells blind zu folgen.

„In den 1970er Jahren gab es einen zunehmenden Grad an Automatisierung … Autopilotsysteme, die Piloten vor Gefahren warnten“, fügt Sanneman hinzu. „Da die Automatisierung im Hinblick auf die menschliche Interaktion mit dem autonomen System in die Luftfahrt Einzug gehalten hat, gab es einige Wachstumsschwierigkeiten – potenzielle Verwirrung entsteht, wenn der Pilot nicht genau weiß, was die Automatisierung tut.“

Heutzutage erfordert die Ausbildung zum Kapitän einer kommerziellen Fluggesellschaft 1.500 Flugstunden sowie eine Instrumentenausbildung. Dem Artikel der Forscher zufolge dauert dieser strenge und umfassende Prozess einschließlich des Bachelor-Abschlusses und der Co-Pilottätigkeit etwa 15 Jahre. Die Forscher glauben, dass der Erfolg einer umfassenden Pilotenausbildung ein potenzielles Modell für die Schulung von Ärzten für den Einsatz von KI-Tools im klinischen Umfeld sein könnte.

Das Dokument schlägt außerdem vor, Berichte über unsichere KI-Instrumente für das Gesundheitswesen zu ermutigen, so wie es die Federal Aviation Administration (FAA) für Piloten tut – durch eine „begrenzte Immunität“, die es Piloten ermöglicht, ihre Lizenz zu behalten, nachdem sie etwas Unsicheres getan haben, solange dies nicht beabsichtigt ist .

Laut einem 2023 von der Weltgesundheitsorganisation veröffentlichten Bericht erleidet durchschnittlich jeder zehnte Patient während der Krankenhausversorgung in Ländern mit hohem Einkommen einen Schaden durch ein unerwünschtes Ereignis (d. h. „medizinische Fehler“).

Allerdings fürchten sich Ärzte und Angehörige der Gesundheitsberufe in der aktuellen Praxis der Gesundheitsfürsorge häufig davor, ärztliche Fehler zu melden, und zwar nicht nur aus Angst vor Schuldzuweisungen und Selbstkritik, sondern auch wegen negativer Folgen, die die Bestrafung dieser Personen betonen, wie z. B. ein Widerruf eines Arztbesuchs Lizenz. , anstatt das System zu reformieren, was die Wahrscheinlichkeit medizinischer Fehler erhöhte.

„Im Gesundheitswesen leiden die Patienten, wenn der Hammer versagt“, schrieb Ghassemi in einem kürzlich veröffentlichten Kommentar Natur menschliches Verhalten. „Diese Realität stellt ein inakzeptables ethisches Risiko für medizinische KI-Gemeinschaften dar, die bereits mit komplexen Pflegeproblemen, Personalmangel und überlasteten Systemen konfrontiert sind.“

Grace Wickerson, Co-Autorin und Managerin für Gesundheitsgerechtigkeitspolitik bei der Federation of American Scientists, sieht in diesem neuen Papier eine entscheidende Ergänzung zu einem umfassenderen Governance-Rahmen, der noch nicht vorhanden ist. „Ich denke, wir können mit der bestehenden Regierungsgewalt viel erreichen“, sagen sie. „Es gibt verschiedene Möglichkeiten, wie Medicare und Medicaid für Gesundheits-KI bezahlen können, um sicherzustellen, dass Gerechtigkeit bei ihren Einkaufs- oder Erstattungstechnologien berücksichtigt wird, so das NIH [National Institute of Health] könnte mehr Forschung finanzieren, um Algorithmen gerechter zu machen und Standards für diese Algorithmen zu schaffen, die dann von der FDA verwendet werden könnten [Food and Drug Administration] während sie versuchen herauszufinden, was gesundheitliche Chancengleichheit bedeutet und wie sie von den aktuellen Behörden reguliert wird.“

Der Artikel listet unter anderem sechs große bestehende Regierungsbehörden auf, die zur Regulierung von KI im Gesundheitswesen beitragen könnten, darunter: die FDA, die Federal Trade Commission (FTC), die kürzlich gegründete Healthcare Advanced Research Projects Agency, die Agency for Research and Healthcare Quality, die Centers for Medicare und Medicaid, das Department of Health and Human Services und das Office for Civil Rights (OCR).

Aber Wickerson sagt, dass noch mehr getan werden muss. Die größte Herausforderung beim Schreiben des Artikels bestand nach Wickersons Meinung darin, „sich vorzustellen, was wir noch nicht haben“.

Anstatt sich ausschließlich auf bestehende Regulierungsbehörden zu verlassen, schlägt das Dokument auch die Schaffung einer unabhängigen Prüfbehörde ähnlich dem NTSB vor, die eine Sicherheitsprüfung für fehlerhafte KI-Systeme im Gesundheitswesen ermöglichen würde.

„Ich denke, das ist das aktuelle Problem der Technologie-Governance – wir haben seit den 1990er-Jahren nicht mehr wirklich eine Einrichtung, die die Auswirkungen der Technologie misst“, fügt Wickerson hinzu. „Es gab ein Amt für Technikfolgenabschätzung … bevor das digitale Zeitalter überhaupt begann, existierte dieses Amt, und dann ließ die Bundesregierung zu, dass es abgeschafft wurde.“

Zach Harned, Co-Autor und frischgebackener Absolvent der Stanford Law School, glaubt, dass die größte Herausforderung bei neuen Technologien darin besteht, die technologische Entwicklung schneller voranzutreiben als die Regulierung. „Die Bedeutung der KI-Technologie und die potenziellen Vorteile und Risiken, die sie insbesondere im Gesundheitswesen mit sich bringt, haben jedoch zu einer Flut regulatorischer Bemühungen geführt“, sagt Harned. „Die FDA ist hier eindeutig der Hauptakteur und hat regelmäßig Leitlinien und Weißbücher herausgegeben, um ihre sich entwickelnde Position zu KI zu veranschaulichen; Allerdings wird der Datenschutz ein weiterer wichtiger Bereich sein, den es bei der Anwendung von OCR im HIPAA zu beachten gilt [Health Insurance Portability and Accountability Act] Seite und die FTC, die Datenschutzverletzungen für Unternehmen durchsetzen, die nicht unter HIPAA fallen.

Harned weist darauf hin, dass sich der Bereich rasch weiterentwickelt, einschließlich Entwicklungen wie der jüngsten Executive Order 14110 des Weißen Hauses zur sicheren und vertrauenswürdigen Entwicklung von KI sowie Regulierungsaktivitäten in der Europäischen Union (EU), einschließlich des EU-KI-Gesetzes fertig. „Es ist sicherlich eine aufregende Zeit zu sehen, wie diese wichtige Technologie entwickelt und reguliert wird, um Sicherheit zu gewährleisten, ohne Innovationen zu behindern“, sagt er.

Zusätzlich zu regulatorischen Aktivitäten schlägt das Papier andere Möglichkeiten vor, um Anreize für sicherere KI-Instrumente im Gesundheitswesen zu schaffen, wie etwa ein leistungsbezogenes Pay-for-Performance-Programm, bei dem Versicherungsunternehmen Krankenhäuser für gute Leistungen belohnen (obwohl Forscher anerkennen, dass dieser Ansatz eine zusätzliche Aufsicht erfordern würde). gerecht sein).

Wie lange wird es also nach Einschätzung der Forscher dauern, ein funktionierendes Regulierungssystem für KI im Gesundheitswesen zu schaffen? Der Zeitung zufolge „wurde das NTSB- und FAA-System, bei dem Untersuchungen und Aufsicht in zwei verschiedenen Behörden durchgeführt werden, vom Kongress über Jahrzehnte hinweg geschaffen.“

Bondi-Kelly hofft, dass das Papier ein Teil des KI-Regulierungspuzzles sein wird. Seiner Meinung nach „wäre das Traumszenario für uns alle, die Zeitung zu lesen und superinspiriert zu sein und einige der nützlichen Lehren aus der Luftfahrt anzuwenden, um der KI dabei zu helfen, einen Teil des potenziellen Schadens zu verhindern, der entstehen könnte.“

Zu den Co-Autoren der MIT-Arbeit gehören neben Ghassemi, Shah, Bondi-Kelly und Sanneman auch der leitende Forschungswissenschaftler Leo Anthony Celi und die ehemaligen Postdocs Thomas Hartvigsen und Swami Sankaranarayanan. Die Finanzierung der Arbeit erfolgte teilweise durch ein MIT CSAIL METEOR-Stipendium, Quanta Computing, die Volkswagen-Stiftung, die National Institutes of Health, den Herman LF von Helmholtz Career Development Chair und einen CIFAR Azrieli Global Scholar Award.

Leave a Reply

Your email address will not be published. Required fields are marked *