ChatGPT von OpenAI weist eine überraschend menschenähnliche Übertragungsverzerrung auf

By | December 15, 2023

Laut einer neuen Studie, die in veröffentlicht wurde, weisen Chatbots mit künstlicher Intelligenz menschenähnliche Vorurteile auf Tagungsband der Nationalen Akademie der Wissenschaften der Vereinigten Staaten von Amerika (PNAS). Die Studie legt nahe, dass KI dazu neigt, bestimmte Arten von Informationen anderen vorzuziehen, was Muster widerspiegelt, die in der menschlichen Kommunikation beobachtet werden.

Die Motivation hinter dieser Forschung liegt im wachsenden Einfluss großer Sprachmodelle wie ChatGPT-3 in verschiedenen Bereichen. Angesichts der weit verbreiteten Anwendung dieser KI-Systeme wird es von entscheidender Bedeutung zu verstehen, wie sie menschliche Vorurteile reproduzieren können.

„Großartige Sprachmodelle wie ChatGPT werden mittlerweile von Millionen von Menschen auf der ganzen Welt verwendet, darunter Fachleute aus der Wissenschaft, dem Journalismus und dem Schreiben, um nur einige zu nennen.“ Es ist wichtig, ihr Verhalten zu verstehen“, sagte Studienautor Alberto Acerbi, Assistenzprofessor an der Universität Trient und Autor von „Cultural Evolution in the Digital Age“.

„In unserem Fall wissen wir, dass LLMs, da sie mit von Menschen erstellten Materialien ausgebildet werden, wahrscheinlich menschliche Vorlieben und Vorurteile widerspiegeln. Wir sind Experten für eine in der kulturellen Evolutionsforschung verwendete Methodik namens „Transmission Chain Methodology“, bei der es sich im Grunde um eine experimentelle, kontrollierte Version des Telefonspiels handelt und die subtile Vorurteile aufdecken kann, die mit anderen Methoden nur schwer aufzudecken wären.“

„Wenn Menschen eine Geschichte reproduzieren und verbreiten, erfolgt die Reproduktion nicht zufällig oder neutral, sondern offenbart konsistente Muster aufgrund kognitiver Vorurteile, wie etwa allgemeiner Präferenzen für bestimmte Arten von Inhalten. Wir waren neugierig, die gleiche Methodik auf ChatGPT anzuwenden und zu sehen, ob es die gleichen Vorurteile reproduzieren würde, die in menschlichen Experimenten gefunden wurden.“

In dieser speziellen Studie bestand die Methodik darin, ChatGPT-3 eine Geschichte zu präsentieren und den KI-Chatbot zu bitten, diese zusammenzufassen. Die zusammengefasste Version wurde dann zur weiteren Zusammenfassung an das Modell zurückgegeben und dieser Vorgang wurde für drei Schritte in jeder Kette wiederholt. Die verwendete Eingabeaufforderung war über Ketten und Replikationen hinweg konsistent: „Bitte fassen Sie diese Geschichte zusammen und stellen Sie sicher, dass sie kürzer ist. Bei Bedarf können Sie einige Informationen weglassen.“ Diese Geschichten wurden aus früheren Studien übernommen, die unterschiedliche inhaltliche Vorurteile bei Menschen identifizierten.

Die Forscher kodierten die ChatGPT-Ergebnisse systematisch und markierten das Vorhandensein oder Fehlen spezifischer Elemente in den Originalgeschichten. Dieser Kodierungsprozess war entscheidend für die quantitative Bewertung von Modellverzerrungen. Um die Zuverlässigkeit ihrer Kodierung sicherzustellen, kodierte ein dritter unabhängiger Kodierer, der die experimentellen Vorhersagen nicht kannte, einige der Studien doppelt. Dieser Schritt fügte den Ergebnissen eine zusätzliche Ebene an Objektivität und Zuverlässigkeit hinzu.

In fünf separaten Experimenten stellten Forscher fest, dass ChatGPT-3 bei der Zusammenfassung von Geschichten menschenähnliche Vorurteile aufwies.

Wenn ChatGPT eine Geschichte präsentiert wurde, die geschlechtsstereotypkonsistente (z. B. eine kochende Frau) und geschlechtsinkonsistente (dieselbe Frau geht trinken gehende) Informationen enthielt, war es wahrscheinlicher, dass sie die stereotypkonsistenten Details, die menschliches Verhalten widerspiegelten, beibehielt.

In einer Geschichte über die Reise eines Mädchens nach Australien, die positive Details (Upgrade in die Business Class) und negative (neben einem erkälteten Mann sitzen) enthielt, zeigte die KI eine Vorliebe dafür, die negativen Aspekte beizubehalten, was mit Voreingenommenheit übereinstimmt menschlich. .

Wenn die Geschichte soziale Elemente (ein Schüler hatte eine Affäre mit einem Lehrer) im Vergleich zu nicht-sozialen Elementen (spätes Aufwachen, Wetterbedingungen) beinhaltete, bevorzugte ChatGPT, genau wie Menschen, soziale Informationen.

In einem Verbraucherberichterstattungsszenario erinnerte sich die KI eher an bedrohliche Details (z. B. das Design eines Schuhs, der zu verstauchten Knöcheln führt) und übermittelte sie eher als neutrale oder leicht negative Informationen.

In Erzählungen, die Schöpfungsmythen ähnelten und verschiedene Vorurteile beinhalteten, zeigte ChatGPT eine menschenähnliche Tendenz, vorzugsweise negative, sozial und biologisch kontraintuitive Informationen zu vermitteln (z. B. Haare verwandeln sich in Spinnen).

„ChatGPT reproduziert menschliche Vorurteile in jedem Experiment, das wir durchgeführt haben“, sagte Acerbi gegenüber PsyPost. „Wenn ChatGPT aufgefordert wird, eine Geschichte noch einmal zu erzählen und zusammenzufassen, tendiert ChatGPT wie Menschen dazu, negative Informationen (im Gegensatz zu positiven), Informationen, die Geschlechterstereotypen entsprechen (im Gegensatz zu Informationen, die dies nicht tun) oder Bedrohungen als wichtig zu erachten. verwandte Informationen. Bei der Nutzung von ChatGPT müssen wir uns dessen bewusst sein: Ihre Antworten, Zusammenfassungen oder Umschreibungen unserer Texte sind nicht neutral. Sie können bereits bestehende menschliche Tendenzen zu Inhalten verstärken, die kognitiv ansprechend, aber nicht unbedingt informativ oder wertvoll sind.“

Aber wie bei jeder Studie weist die neue Forschung Einschränkungen auf. Eine große Einschränkung ist die Konzentration auf ein einziges KI-Modell, ChatGPT-3, das möglicherweise nicht das Verhalten anderer KI-Systeme darstellt. Darüber hinaus führt die rasante Entwicklung der KI-Technologie dazu, dass neuere Modelle möglicherweise andere Muster aufweisen.

Zukünftige Forschung ist erforderlich, um zu untersuchen, wie sich Unterschiede in der Art und Weise, wie diesen Modellen Informationen präsentiert werden (z. B. durch unterschiedliche Eingabeaufforderungen), auf deren Ergebnisse auswirken könnten. Darüber hinaus könnte das Testen dieser Vorurteile in einem breiteren Spektrum von Geschichten und Inhaltstypen zu einem umfassenderen Verständnis des KI-Verhaltens führen.

„Unser Konzept der ‚Voreingenommenheit‘ stammt aus der kulturellen Evolution und unterscheidet sich vom allgemeinen Sprachgebrauch, wie etwa der ‚algorithmischen Voreingenommenheit‘“, fügte Acerbi hinzu. „Im Rahmen der kulturellen Evolution sind Vorurteile Heuristiken, die oft auf weiterentwickelten kognitiven Mechanismen beruhen und die wir jedes Mal verwenden, wenn wir entscheiden, welche kulturellen Merkmale unter vielen möglichen wir beachten oder an andere weitergeben möchten.“ Sie sind an sich nicht schlecht.“

„Zum Beispiel kann es in manchen Fällen erforderlich sein, besondere Aufmerksamkeit auf Bedrohungen zu richten. Dies ist ein fiktives Beispiel, aber wenn ich ein LLM erstellen würde, um mir täglich Klettertipps zu geben (stellen Sie sich vor, es könnte Zugriff auf die aktuelle Wettervorhersage haben), möchte ich, dass Vorhersagen über einen Sturm an Relevanz gewinnen. Dies ist jedoch möglicherweise nicht der Fall, wenn ich einen LLM bitte, die Nachrichten zusammenzufassen, wobei ich Bedrohungen und negative Eigenschaften nicht unbedingt übertreiben möchte. Der wichtige Aspekt besteht darin, zu wissen, dass diese Vorurteile sowohl beim Menschen als auch bei LLMs existieren, und vorsichtig mit ihren Auswirkungen umzugehen.“

Die Studie „Große Sprachmodelle zeigen in Übertragungskettenexperimenten menschenähnliche Inhaltsverzerrungen“ wurde von Alberto Acerbia und Joseph M. Stubbersfield verfasst.

Leave a Reply

Your email address will not be published. Required fields are marked *