Die neueste Herausforderung der KI: die Mathe-Olympiade

By | January 23, 2024

Vier Jahre lang beschäftigte sich der Informatiker Trieu Trinh mit einer Art Metamathematikproblem: Wie baut man ein KI-Modell auf, das Geometrieprobleme der Internationalen Mathematikolympiade löst, dem jährlichen Wettbewerb für die mathematisch begabtesten Oberstufenschüler der Welt? .

Letzte Woche verteidigte Dr. Trinh erfolgreich seine Doktorarbeit zu diesem Thema an der New York University; Diese Woche beschrieb er die Ergebnisse seiner Arbeit in der Zeitschrift Nature. Das als AlphaGeometry bezeichnete System löst olympische Geometrieprobleme fast auf dem Niveau eines menschlichen Goldmedaillengewinners.

Während der Entwicklung des Projekts stellte Dr. Trinh es zwei Forschungswissenschaftlern bei Google vor und sie stellten ihn von 2021 bis 2023 als Assistenzarzt ein. AlphaGeometry schließt sich der KI-Systemflotte von Google DeepMind an, die dafür bekannt ist, große Herausforderungen anzunehmen. Der vielleicht bekannteste ist AlphaZero, ein Deep-Learning-Algorithmus, der 2017 das Schach im Sturm eroberte. Mathematik ist ein schwierigeres Problem, da die Anzahl möglicher Wege zu einer Lösung manchmal unendlich ist; Schach ist immer endlich.

„Ich bin immer wieder in Sackgassen geraten und habe den falschen Weg eingeschlagen“, sagte Dr. Trinh, Hauptautor und treibende Kraft hinter dem Projekt.

Die Co-Autoren des Papiers sind Dr. Trinhs Doktorvater He He von der New York University; Yuhuai Wu, bekannt als Tony, Mitbegründer von xAI (ehemals Google), der 2019 begann, unabhängig eine ähnliche Idee zu erforschen; Thang Luong, der Hauptermittler, und Quoc Le, beide von Google DeepMind.

Dr. Trinhs Beharrlichkeit hat sich ausgezahlt. „Wir machen keine schrittweisen Verbesserungen“, sagte er. „Wir machen einen großen Sprung, einen großen Fortschritt in Bezug auf die Ergebnisse.“

„Übertreibe es nur nicht“, sagte er.

Trinh präsentierte dem AlphaGeometry-System einen Testsatz von 30 olympischen Geometrieproblemen, die zwischen 2000 und 2022 geschrieben wurden. Das System löste 25; Historisch gesehen hat der durchschnittliche menschliche Goldmedaillengewinner im gleichen Zeitraum 25,9 gelöst. Dr. Trinh stellte die Probleme auch einem in den 1970er Jahren entwickelten System vor, das als der stärkste Theorembeweis in der Geometrie galt; gelöst 10.

In den letzten Jahren hat Google DeepMind mehrere Projekte durchgeführt, die die Anwendung von KI in der Mathematik untersuchten. Und im weiteren Sinne wurden in diesem Forschungsbereich die mathematischen Probleme der Olympiaden als Referenz übernommen; OpenAI und Meta AI haben einige Ergebnisse erzielt. Für zusätzliche Motivation gibt es die IMO Grand Challenge und eine neue Herausforderung, die im November angekündigt wurde, den Artificial Intelligence Mathematics Olympiad Prize, bei dem ein Preisgeld von 5 Millionen US-Dollar an die erste KI geht, die bei den Olympischen Spielen Gold gewinnt.

Der AlphaGeometry-Artikel beginnt mit der Behauptung, dass der Beweis der Olympics-Theoreme „einen bemerkenswerten Meilenstein im automatisierten Denken auf menschlicher Ebene darstellt“. Michael Barany, Historiker für Mathematik und Naturwissenschaften an der Universität Edinburgh, sagte, er frage sich, ob dies ein bedeutender mathematischer Meilenstein sei. „Was IMO testet, unterscheidet sich stark davon, wie kreative Mathematik für die überwiegende Mehrheit der Mathematiker aussieht“, sagte er.

Terence Tao, Mathematiker an der University of California in Los Angeles – und mit 12 Jahren der jüngste Goldmedaillengewinner bei den Olympischen Spielen – sagte, er halte AlphaGeometry für „gute Arbeit“ und habe „überraschend gute Ergebnisse“ erzielt. Die Feinabstimmung eines KI-Systems zur Lösung olympischer Probleme verbessere möglicherweise nicht seine umfassenden Forschungskapazitäten, sagte er, aber in diesem Fall könnte sich die Reise als wertvoller erweisen als das Ziel.

Nach Ansicht von Dr. Trinh ist mathematisches Denken nur eine Art des Denkens, hat aber den Vorteil, dass es leicht verifiziert werden kann. „Mathematik ist die Sprache der Wahrheit“, sagte er. „Wenn Sie KI aufbauen wollen, ist es wichtig, vertrauenswürdige, wahrheitssuchende KI aufzubauen, der Sie vertrauen können“, insbesondere für „sicherheitskritische Anwendungen“.

AlphaGeometry ist ein „neurosymbolisches“ System. Es kombiniert ein neuronales Netzwerk-Sprachmodell (gut für künstliche Intuition, wie ChatGPT, aber kleiner) mit einer symbolischen Engine (gut für künstliches Denken, wie eine Art logischer Taschenrechner).

Und es ist maßgeschneidert für die Geometrie. „Die euklidische Geometrie ist ein guter Prüfstand für automatisches Denken, da sie einen unabhängigen Bereich mit festen Regeln darstellt“, sagte Heather Macbeth, Geometerin an der Fordham University und Expertin für computergestütztes Denken. (Als Teenager gewann Dr. Macbeth zwei IMO-Medaillen.) AlphaGeometry „scheint einen guten Fortschritt zu bedeuten“, sagte sie.

Das System verfügt über zwei besonders neue Features. Erstens wird das neuronale Netzwerk ausschließlich auf algorithmisch generierten Daten trainiert – satte 100 Millionen geometrische Beweise – ohne menschliche Beispiele zu verwenden. Die Verwendung synthetischer Daten, die von Grund auf neu erstellt wurden, hat ein Hindernis bei der automatisierten Beweisführung von Theoremen überwunden: den Mangel an menschensicheren Trainingsdaten, die in maschinenlesbare Sprache übersetzt wurden. „Ehrlich gesagt hatte ich zunächst Zweifel, wie erfolgreich das sein würde“, sagte Dr.

Zweitens: Sobald AlphaGeometry zur Lösung eines Problems freigegeben wurde, begann die symbolische Engine, es zu lösen. Wenn es stecken blieb, schlug das neuronale Netzwerk Möglichkeiten vor, die Argumentation des Beweises zu verbessern. Der Zyklus wurde fortgesetzt, bis eine Lösung zustande kam oder die Zeit abgelaufen war (viereinhalb Stunden). Im Fachjargon der Mathematik wird dieser Augmentationsprozess „Hilfskonstruktion“ genannt. Eine Linie hinzufügen, einen Winkel teilen, einen Kreis zeichnen – so tüfteln und versuchen Mathematiker, ob Student oder Elite, Unterstützung für ein Problem zu bekommen. In diesem System lernte das neuronale Netzwerk, Hilfskonstruktionen herzustellen, und zwar auf menschliche Weise. Dr. Trinh verglich es damit, ein Gummiband um einen hartnäckigen Glasdeckel zu wickeln, damit die Hand einen besseren Halt bekommt.

„Es ist ein sehr interessanter Proof of Concept“, sagte Christian Szegedy, Mitbegründer von xAI, der zuvor bei Google arbeitete. Aber es „lasse viele Fragen offen“, sagte er, und sei „nicht leicht auf andere Bereiche und andere Bereiche der Mathematik übertragbar“.

Dr. Trinh sagte, er werde versuchen, das System auf mathematische Bereiche und darüber hinaus zu verallgemeinern. Er sagte, er wolle einen Schritt zurücktreten und „das gemeinsame Grundprinzip“ aller Arten von Überlegungen betrachten.

Stanislas Dehaene, ein kognitiver Neurowissenschaftler am Collège de France, der sich für die Erforschung grundlegender geometrischer Kenntnisse interessiert, sagte, er sei von der Leistung von AlphaGeometry beeindruckt. Er stellte jedoch fest, dass es „nichts von den Problemen sieht, die es löst“, sondern lediglich logische und numerische Kodierungen von Bildern verwendet. (Die Zeichnungen auf dem Papier dienen dem Nutzen des menschlichen Lesers.) „Es gibt absolut kein räumliches Bewusstsein für die Kreise, Linien und Dreiecke, die das System zu manipulieren lernt“, sagte Dr. Die Forscher waren sich einig, dass eine visuelle Komponente vorhanden sein könnte wertvoll; Luong sagte, dies könne möglicherweise innerhalb eines Jahres mithilfe von Googles Gemini hinzugefügt werden, einem „multimodalen“ System, das Text und Bilder aufnimmt.

Anfang Dezember besuchte Dr. Luong seine alte High School in Ho-Chi-Minh-Stadt, Vietnam, und zeigte AlphaGeometry seinem ehemaligen Lehrer und IMO-Trainer Le Ba Khanh Trinh. Dr. Lê war der größte Goldmedaillengewinner der Olympischen Spiele 1979 und gewann einen Sonderpreis für seine elegante geometrische Lösung. Lê analysierte einen der Tests von AlphaGeometry und fand ihn bemerkenswert, aber unbefriedigend. Luong erinnerte sich: „Er fand es mechanisch und sagte, es fehle der Seele, der Schönheit einer Lösung, die er suchte.“

Trinh hatte zuvor Evan Chen, einen Mathematik-Doktoranden am MIT – und IMO-Trainer und olympischen Goldmedaillengewinner – gebeten, sich einige der Arbeiten von AlphaGeometry anzusehen. Das sei richtig, sagte Chen und fügte hinzu, dass es ihn faszinierte, wie das System die Lösungen fand.

„Ich würde gerne wissen, wie die Maschine das schafft“, sagte er. „Aber ich meine, in diesem Fall würde ich auch gerne wissen, wie Menschen Lösungen finden.“

Leave a Reply

Your email address will not be published. Required fields are marked *