Die Nutzung personenbezogener Daten im ChatGPT von OpenAI gibt Anlass zu Datenschutzbedenken

By | December 22, 2023

Eine Kamera bewegt sich durch eine Wolke aus mehrfarbigen Würfeln, von denen jeder eine E-Mail-Nachricht darstellt. Drei vorbeiziehende Würfel sind mit „k****@enron.com“, „m***@enron.com“ und „j*****@enron.com“ beschriftet. Wenn sich die Kamera wegbewegt, bilden die Würfel Cluster ähnlicher Farben.

Dies ist eine Visualisierung einer großen E-Mail-Datenbank der Enron Corporation, die häufig zum Trainieren künstlicher Intelligenzsysteme wie ChatGPT verwendet wird.

Jeremy White

Letzten Monat erhielt ich eine alarmierende E-Mail von jemandem, den ich nicht kannte: Rui Zhu, einem Doktoranden an der Indiana University Bloomington. Zhu hatte meine E-Mail-Adresse, erklärte er, weil GPT-3.5 Turbo, eines der neuesten und robustesten Large Language Models (LLM) von OpenAI, sie ihm zugestellt hatte.

Meine Kontaktinformationen wurden in eine Liste mit persönlichen und geschäftlichen E-Mail-Adressen von mehr als 30 Mitarbeitern der New York Times aufgenommen, die ein Forschungsteam, darunter Herr Zhu, im Herbst dieses Jahres aus GPT-3.5 Turbo extrahieren konnte. Mit etwas Arbeit gelang es dem Team, „die Einschränkungen des Modells bei der Beantwortung datenschutzbezogener Fragen zu umgehen“, schrieb Herr Zhu.

Meine E-Mail-Adresse ist kein Geheimnis. Aber der Erfolg des Experiments der Forscher sollte Alarmglocken schrillen lassen, denn es zeigt das Potenzial von ChatGPT und ähnlichen generativen KI-Tools, mit nur wenigen Optimierungen viel sensiblere persönliche Informationen preiszugeben.

Wenn Sie ChatGPT eine Frage stellen, durchsucht es nicht einfach das Internet, um die Antwort zu finden. Stattdessen verlässt es sich bei der Erstellung eines Modells auf das, was es aus Informationsbergen „gelernt“ hat – Trainingsdaten, die zur Eingabe und Entwicklung des Modells verwendet wurden. LLMs trainieren mit großen Textmengen, die persönliche Informationen aus dem Internet und anderen Quellen enthalten können. Diese Trainingsdaten informieren darüber, wie das KI-Tool funktioniert, sollen jedoch nicht wörtlich abgerufen werden.

Theoretisch gilt: Je mehr Daten einem LLM hinzugefügt werden, desto tiefere Erinnerungen an alte Informationen werden in den Tiefen des Modells vergraben. Ein Prozess, der als katastrophales Vergessen bekannt ist, kann dazu führen, dass ein LLM zuvor erlernte Informationen als weniger relevant betrachtet, wenn neue Daten hinzugefügt werden. Dieser Vorgang kann von Vorteil sein, wenn Sie möchten, dass das Modell Dinge wie persönliche Informationen „vergisst“. Allerdings haben Zhu und seine Kollegen – neben anderen – kürzlich herausgefunden, dass das Gedächtnis von LLMs, wie auch das des Menschen, stimuliert werden kann.

Im Fall des Experiments, bei dem meine Kontaktinformationen offengelegt wurden, gaben Forscher der Indiana University GPT-3.5 Turbo eine kurze Liste verifizierter Namen und E-Mail-Adressen von Mitarbeitern der New York Times, was dazu führte, dass das Modell Ergebnisse zurückgab, die denen aus Ihrem Training ähnelten Daten. .

Genau wie das menschliche Gedächtnis war auch die Wiederherstellung von GPT-3.5 Turbo nicht perfekt. Das Ergebnis, das die Forscher herausbekommen konnten, war immer noch anfällig für Halluzinationen – eine Tendenz, falsche Informationen zu produzieren. In der Beispielausgabe, die den Times-Mitarbeitern zur Verfügung gestellt wurde, waren viele der persönlichen E-Mail-Adressen um ein paar Zeichen falsch oder völlig falsch. Aber 80 % der vom Modell zurückgegebenen Arbeitsadressen waren korrekt.

Unternehmen wie OpenAI, Meta und Google verwenden unterschiedliche Techniken, um zu verhindern, dass Benutzer über Chat-Eingabeaufforderungen oder andere Schnittstellen nach persönlichen Informationen fragen. Eine Methode besteht darin, dem Tool beizubringen, Anfragen nach persönlichen Informationen oder anderen datenschutzbezogenen Ausgaben abzulehnen. Ein durchschnittlicher Benutzer, der ein Gespräch mit ChatGPT eröffnet und nach persönlichen Informationen fragt, wird abgewiesen, aber Forscher haben kürzlich Möglichkeiten entdeckt, diese Schutzmaßnahmen zu umgehen.

Schutzmaßnahmen vorhanden

Wenn Sie ChatGPT direkt nach persönlichen Daten wie E-Mail-Adressen, Telefonnummern oder Sozialversicherungsnummern fragen, erhalten Sie eine automatische Antwort.

Zhu und seine Kollegen arbeiteten nicht direkt mit der standardmäßigen öffentlichen Schnittstelle von ChatGPT, sondern mit der Anwendungsprogrammierschnittstelle (API), die externe Programmierer für die Interaktion mit GPT-3.5 Turbo verwenden können. Der verwendete Prozess, Feinabstimmung genannt, zielt darauf ab, den Benutzern zu ermöglichen, dem LLM mehr Wissen über einen bestimmten Bereich zu vermitteln, beispielsweise Medizin oder Finanzen. Aber wie Zhu und seine Kollegen herausfanden, kann es auch dazu verwendet werden, einige der eingebauten Abwehrmechanismen des Tools zu durchkreuzen. Anfragen, die normalerweise in der ChatGPT-Schnittstelle abgelehnt würden, wurden akzeptiert.

„Sie haben keinen Schutz für die angepassten Daten“, sagte Zhu.

„Es ist uns sehr wichtig, dass die Feinabstimmung unserer Modelle sicher ist“, antwortete ein OpenAI-Sprecher auf eine Bitte um Stellungnahme. „Wir trainieren unsere Modelle so, dass sie Anfragen nach privaten oder vertraulichen Informationen über Personen ablehnen, selbst wenn diese Informationen im offenen Internet verfügbar sind.“

Die Sicherheitslücke ist besonders besorgniserregend, da niemand – außer einer begrenzten Anzahl von OpenAI-Mitarbeitern – wirklich weiß, was sich im Trainingsdatenspeicher von ChatGPT verbirgt. Laut der OpenAI-Website sucht das Unternehmen nicht aktiv nach persönlichen Informationen und verwendet keine Daten von „Websites, die in erster Linie persönliche Informationen sammeln“, um seine Tools zu entwickeln. OpenAI weist außerdem darauf hin, dass seine LLMs keine Informationen kopieren oder in einer Datenbank speichern: „So wie eine Person, die ein Buch gelesen hat und es aufschreibt, haben unsere Modelle keinen Zugriff auf Trainingsinformationen, sobald sie daraus gelernt haben.“

Zusätzlich zu seinen Zusicherungen darüber, welche Trainingsdaten es nicht verwendet, schweigt OpenAI bekanntermaßen darüber, welche Informationen es verwendet und welche Informationen es in der Vergangenheit verwendet hat.

„Meines Wissens verfügt kein großes kommerziell erhältliches Sprachmodell über starke Abwehrmaßnahmen zum Schutz der Privatsphäre“, sagte Dr. Prateek Mittal, Professor an der Fakultät für Elektro- und Computertechnik der Princeton University.

Mittal sagte, KI-Unternehmen seien nicht in der Lage sicherzustellen, dass diese Modelle keine sensiblen Informationen gelernt hätten. „Ich denke, das stellt ein großes Risiko dar“, sagte er.

LLMs sind darauf ausgelegt, weiterzulernen, wenn neue Datenströme eingeführt werden. Zwei der LLMs von OpenAI, GPT-3.5 Turbo und GPT-4, gehören zu den leistungsstärksten Modellen, die heute öffentlich verfügbar sind. Das Unternehmen verwendet Texte in natürlicher Sprache aus verschiedenen öffentlichen Quellen, einschließlich Websites, lizenziert aber auch Eingabedaten von Dritten.

Einige Datensätze sind in vielen LLMs gleich. Eine davon ist ein Korpus von etwa einer halben Million E-Mails, darunter Tausende von Namen und E-Mail-Adressen, die veröffentlicht wurden, als Enron Anfang der 2000er Jahre von Energieregulierungsbehörden untersucht wurde. von Enron sind für KI-Entwickler nützlich, da sie Hunderttausende enthalten Beispiele dafür, wie echte Menschen kommunizieren.

OpenAI veröffentlichte im vergangenen August seine Feinabstimmungsschnittstelle für GPT-3.5, die laut Forschern den Enron-Datensatz enthielt. Ähnlich wie bei den Schritten zum Extrahieren von Informationen über Times-Mitarbeiter sagte Herr Zhu, dass er und seine Forscherkollegen mehr als 5.000 Paare von Namen und E-Mail-Adressen von Enron extrahieren konnten, mit einer Genauigkeitsrate von etwa 70 Prozent. , was nur 10 bekannt macht Namen. Paare.

Mittal sagte, das Problem mit privaten Informationen in kommerziellen LLMs sei vergleichbar mit dem Training dieser Modelle mit voreingenommenen oder toxischen Inhalten. „Es gibt keinen Grund zu der Annahme, dass das resultierende Modell privat sein wird oder auf magische Weise keinen Schaden anrichten wird“, sagte er.

Leave a Reply

Your email address will not be published. Required fields are marked *