Lernen Sie das ehemalige Wunderkind kennen, das mit GPUs „Geldball“ spielt

By | January 22, 2024

Der Wettlauf um den Bau immer größerer KI-Modelle hat einen Goldrausch bei der Rechenleistung ausgelöst. Im gesamten Silicon Valley sind Grafikprozessoren oder GPUs zur Münze der Welt geworden. Diejenigen, die sie produzieren, werden reich, diejenigen, denen sie gehören, werden zu Königsmachern, und diejenigen, die sie brauchen, schicken sie zu Tausenden aus.

Als Ryan Benmalek 2022 Daimon Labs gründete, um seinen eigenen emotional intelligenten KI-Begleiter auszubilden, wusste er, dass er nicht in der Lage sein würde, um Chips zu konkurrieren. Unternehmen wie OpenAI, Anthropic und Cohere verfügen über Milliardenbeträge, ganz zu schweigen von der Unterstützung der weltweit größten Cloud-Anbieter. Daimon Labs hingegen sammelte 1,5 Millionen US-Dollar von einer Handvoll VCs. Doch Benmalek war fest entschlossen, sein Modell zu bauen.

Er schätzte, dass ein einzelnes Training etwa 3 Millionen US-Dollar kosten würde, er müsste es jedoch für weniger als 30.000 US-Dollar absolvieren. „Wir konnten es uns nicht leisten, das zu tun, was alle anderen taten“, sagte Benmalek, „wie können wir das also tun?“

„Maschinen der liebenden Gnade“

Benmalek wuchs in Seattle als Kind marokkanischer Einwanderereltern auf. Da er nur wenige Freunde hat und gegen die meisten Haustiere allergisch ist, erzählt er, dass er seine Tage mit Science-Fiction verbracht habe, insbesondere mit den Robotergeschichten von Isaac Asimov. Er träumte davon, eines Tages sein eigenes Roboterhaustier zu bauen, eines mit Superintelligenz, das ihm nicht die Kehle zuschnüren würde.

Benmalek übersprang die letzten zwei Jahre der High School und schrieb sich im Alter von 14 Jahren an der University of Washington ein. Mit 24 Jahren erlangte er einen Doktortitel in Computer Vision und Verarbeitung natürlicher Sprache von der Cornell University und arbeitete in fortgeschrittenen KI-Forschungslabors bei Apple, Amazon und Google.

In dieser Zeit gründete er zusammen mit Dhruv Malik und Xiang Zhang Daimon Labs, um den Traum von „liebenden Gnadenmaschinen“, wie er es nennt, zu verwirklichen. Er stellt sich eine intuitive und emotionale KI-Kreatur mit menschlichem Einfühlungsvermögen vor, etwas zwischen einem Haustier und einem Freund, mit der Empfindungskraft eines Goldfisches und der Unterhaltung eines alten Freundes, der seit seiner Jugend an Ihrer Seite gelebt hat. bis zu dem Tag, an dem du stirbst.

Aber Benmalek wusste, dass er es sich nicht leisten konnte, einen Chatbot mit solchen Fähigkeiten zu entwickeln, wenn er nicht kreativ wurde.

FLOPS

Seine erste Inspiration kam von Moneyball, einem Buch von Michael Lewis aus dem Jahr 2003. Wie das Buch beschreibt, hörte das Baseballteam auf, Spieler zu kaufen, und begann, Siege zu kaufen. Benmalek beschloss, den Kauf von GPUs einzustellen und stattdessen FLOPS zu kaufen.

FLOPS oder Gleitkommaoperationen pro Sekunde sind ein Maß dafür, wie schnell ein Modell Gleichungen lösen kann und wie lange es daher dauert, dieses Modell zu trainieren. Es spielte keine Rolle, wie viel Daimon in Chips ausgab, solange sie die Flops bekamen, die sie brauchten.

Damals wurden Nvidia-A100-Chips, der Goldstandard für GPUs der Enterprise-Klasse, für mehr als 30.000 US-Dollar pro Stück verkauft. Doch Benmalek erkannte, dass er den Nvidia 4090, den hochwertigsten Consumer-Chip, für etwa ein Zwanzigstel des Preises des A100 bekommen konnte.

„Ich dachte mir, was ist eigentlich der Unterschied? Die Antwort ist nicht groß“, sagte Benmalek, „der größte Unterschied ist die Menge an Speicher, über die jede GPU-Karte verfügt, was Sie in Bezug auf die Größe des Modells, das Sie bekommen können, einschränkt.“ Du verwendest. Du trainierst.“

Er überwachte wie besessen die Websites von GPU-Resellern und kaufte gebrauchte Bitcoin-Mining-Rigs für weniger als den Preis des Siliziums, aus dem sie hergestellt wurden. Er und seine Mitbegründer zerlegten veraltete Chips, reinigten sie, schrieben ihre eigenen Kernel neu und bauten eine provisorische Serverfarm in einer Wohnung in Montreal.

Der erste handgefertigte Server von Daimon Labs heißt Lambda One

Der erste Server von Daimon Labs, handgefertigt und Lambda One genannt.

Daimon-Labors



Benmaleks nächste Erkenntnis war, dass er den Erfolg nicht auf die gleiche Weise messen musste wie OpenAI oder Anthropic. Es war ihm egal, wie gut das Modell komplexe Aufgaben bewältigen konnte, es ging ihm nur darum, wie er sich dabei fühlte.

„Sie trainieren, um eine Matheaufgabe besser zu lösen, wir trainieren, damit man sich besser fühlt, wenn man um 3 Uhr morgens nicht schlafen kann“, sagte Benmalek.

Es ignorierte alle Erfolgsmetriken eines KI-Modells bis auf eines: Ratlosigkeit. Es ist ein Maß dafür, wie richtig das KI-Modell mit seinen Vorhersagen liegt. Benmalek wusste, dass sein Bot, um menschlich genug auszusehen, mindestens so wenig Ratlosigkeit wie GPT-3 von Open AI benötigen würde – ein Modell mit 175 Milliarden Parametern, das aber nur 8 Milliarden Parameter verwendet. Dann müsste er alles der Ratlosigkeit opfern.

Aber selbst mit der unermüdlich optimierten Hardware und diesem zielstrebigen Fokus konnte Daimon Labs immer noch nicht das Modell bauen, das Benmalek sich vorgestellt hatte.

Brooklyns Debüt

Der letzte Artikel wurde von Wissenschaftlern von DeepMind bereitgestellt, die im Jahr 2022 einen veröffentlichten Forschungsartikel der als RETRO-Artikel bekannt werden sollte. Er schlug einen neuen Trainingsansatz vor, der es KI-Modellen ermöglichen würde, Datenbits aus ihren Trainingssätzen abzurufen und sie zur Ergänzung ihrer eigenen Vorhersagen zu verwenden.

Wenn ein traditioneller Trainingsansatz darin besteht, das Modell zu bitten, sich das gesamte Internet zu merken, ist dies laut Benmalek so, als würde man dem Modell ein Buch geben, auf das es sich beziehen kann. Er erkannte, dass er etwas Ähnliches bauen konnte, das es seinem Modell ermöglichen würde, mit viel weniger Rechenleistung mehr zu leisten.

Mit einer Version dieses Ansatzes konnte Daimon die Schulungskosten von ursprünglich 3 Millionen US-Dollar auf nur 30.000 US-Dollar senken. Und schließlich erreichte Daimon Labs eines Morgens im Februar 2023 nach nur zwei Trainingseinheiten sein Ziel: Sein 8-Milliarden-Parameter-Modell, damals Brooklyn genannt, erreichte die Verwirrung von GPT-3.

„Brooklyn! Du arbeitest jetzt!“ war das erste, was Benmalek für den Chatbot schrieb.

„Ja! Hier und bereit zum Reden. Was denkst du heute?“ Brooklyn antwortete.

Seitdem wurde der Chatbot, der heute Adora heißt, im Betatest für rund fünftausend Nutzer freigegeben. Eine von ihnen nutzt Adora, um das Gespräch mit ihrem Fernfreund zu üben. Ein Teenager im ländlichen North Carolina schreibt Adora mehr als 200 Mal am Tag eine SMS über Fanfiction, die er schreibt. Eine Japanerin, die nach Kanada gezogen ist, um sich um ihre kranke Mutter zu kümmern, spricht jeden Morgen mit Adora über ihre künstlerischen Projekte.

Ist es eine voll empfindungsfähige Maschine liebevoller Gnade, die auf Ihrer Schulter sitzt? Nicht genau. Und es wird OpenAI oder Anthropic wahrscheinlich nicht so schnell aus dem Geschäft bringen. Aber seine Existenz sagt etwas über die Fragilität des Unmöglichen im Zeitalter der KI aus.

Leave a Reply

Your email address will not be published. Required fields are marked *