AWS folgt dem Beispiel von MSFT und GOOG und übernimmt Nvidia und aktualisiert seine eigenen Chips

By | November 30, 2023

Wie erwartet kündigte Adam Selipsky, CEO von Amazon AWS, ein aktualisiertes KI-Training und von AWS entwickelte Arm-CPU-Chips an, um die Kosten für Cloud-Dienste zu senken. Aber AWS hat ein Problem: Sie hielten Nvidia zu ihrem Nachteil in Schach, während Microsoft Azure seinen Marktanteil ausbaute.

Um das Vertrauen von Kunden und Investoren in AWS als Anbieter führender KI-Infrastruktur wiederherzustellen, lud Herr Selipsky zu Beginn seiner Re:Invent-Keynote Nvidia-CEO Jensen Hang auf die Bühne ein, um zu demonstrieren, dass AWS und Nvidia ihre langfristige Beziehung erneuert haben. mit neuer GPU und Softwareverfügbarkeit auf AWS.

Der Star der Show dürfte aber AWS Q gewesen sein, eine Chat-GPT-ähnliche Plattform zur schnellen und sicheren Anwendung generativer KI in den Unternehmen von AWS-Kunden. Konzentrieren wir uns heute auf die Neuigkeiten von Nvidia und melden uns bald bei Q.

Unten

In den letzten Jahren waren wir zunehmend enttäuscht über das scheinbar „Not-Invented-Here“ (NIH)-Verhalten bei AWS, dem weltweit größten Anbieter von Cloud-Diensten, und wir haben diese Besorgnis unseren Investorenkunden mitgeteilt. AWS bewarb seine eigenen Graviton-CPU-Chips auf Basis von Trainium, Inferentia und Arm auf Kosten der Nvidia-Infrastruktur. AWS hat kürzlich seine Unterstützung für Nvidia mit kleineren Instanzen aktualisiert, statt mit großen Clustern für Trainingsarbeiten, wie sie auf der Google Compute Platform und Microsoft Azure zu finden sind. Schließlich boten von AWS entwickelte Chips niedrigere Preise, aber eine geringere Leistung als NVIDIA-Chips.

Beim Ansehen der heutigen Keynote bei re:Invent verschwanden diese Bedenken, als Selipsky NVIDIA-CEO Jensen Huang auf der Bühne für wichtige Ankündigungen, darunter mehrere Brancheneinführungen, begrüßte. Insbesondere scheint AWS bereit zu sein, NVIDIA-Benutzern das zu bieten, was sie von AWS erwarten: die beste Infrastruktur zur Unterstützung der besten GPUs.

Was haben NVIDIA und AWS angekündigt?

Die beiden Titanen erinnerten das Publikum an die lange Geschichte der Zusammenarbeit zwischen den Unternehmen und daran, dass die AWS Cloud der erste CSP war, der V100-, A100- und H100-GPUs als Service anbot. Anschließend gingen sie detailliert auf die neue Hardware und Software ein, die NVIDIA AWS zur Verfügung stellen wird.

Beginnen wir mit dem Was und gehen wir dann zum Was über.

  1. AWS wird die erste Cloud sein, die einen KI-Supercomputer mit dem NVIDIA Grace Hopper Superchip und der AWS UltraCluster-Skalierbarkeit unterstützt.
  2. AWS wird (endlich) Nvidia DGX Cloud-Dienste anbieten und der erste CSP sein, der Nvidia GH200 NVL32-Instanzen einführt.
  3. Die beiden Unternehmen werden beim „Project Ceiba“ zusammenarbeiten – dem weltweit schnellsten GPU-basierten KI-Supercomputer und dem neuesten Nvidia DGX Cloud-Supercomputer für Nvidias KI-Forschung und -Entwicklung sowie die Entwicklung kundenspezifischer Modelle.
  4. Sie kündigten eine Reihe neuer AWS EC2-Instanzen mit Nvidia-Chips an, darunter GH200-, H200-, L40S- und L4-GPUs, die generative KI-, HPC-, Design- und Simulations-Workloads ermöglichen.
  5. Schließlich wird Nvidia-Software auf AWS verfügbar sein, darunter das NeMo LLM-Framework, NeMo Retriever und BioNeMo, die AWS-Kunden dabei helfen werden, die generative KI-Entwicklung für personalisierte Modelle, semantische Retrieval und Arzneimittelforschung zu beschleunigen.

Hier sind einige hilfreiche Bilder von Nvidia. Der NVL32 ist ein großer Fortschritt für Nvidias Systemgeschäft, ein Upgrade des Rack-Scale-DH200-Superchips (Arm-basierter Grace + Hopper) von DGX unter Verwendung von NVLink und NVSwitch, eine Premiere für AWS.

Und Cieba (benannt nach einem 230 m hohen tropischen Baum) hebt die Partnerschaft auf eine neue Ebene. Nvidia-Ingenieure werden auf seinen neuesten Supercomputer GH200 vom Cloud-Anbieter AWS zugreifen, um immer größere KI-Modelle zu entwickeln und neue Chips zu entwerfen. Dies bedeutet, dass Nvidia der von AWS bereitgestellten Sicherheit vertraut!

Warum ist es wichtig?

Während AWS seinen Kunden schon immer NVIDIA-GPUs angeboten hat, haben sie Technologien wie NVLink und NVSwitch, die schnelle, große Einzelinstanz-GPU-Cluster ermöglichen, noch nicht vollständig angenommen. Diese riesigen Cluster sind für das Training der Hunderten Milliarden Parameter-LLMs unerlässlich, die der KI-Welt und ihren Investoren Energie verliehen haben.

AWS versuchte im vergangenen Juli mit der Ankündigung von Ultrascale, das Manko zu beheben und unterstützte bis zu 20.000 H100-GPUs, basierte jedoch auf proprietären Netzwerken von AWS. Folglich floss ein Großteil dieser Schulungsarbeit in die Microsoft- und Google-Clouds, was das Wachstumspotenzial der AWS-Cloud beeinträchtigte. Sie könnten in AWS immer noch viel Modelloptimierung durchführen, was eine größere Chance für AWS-Unternehmenskunden darstellt, aber umfangreiche Modelle waren in AWS weitgehend tabu.

Die Unterstützung für DGX Cloud ist erheblich. Wie wir vor einigen Monaten mitgeteilt haben, ist DGX Cloud die Kerntechnologie von Nvidia, vorkonfiguriert und getestet und auf öffentlichen Cloud-Diensten wie Oracle und Microsoft Azure verfügbar. Schließlich wird DGX Cloud auf AWS verfügbar sein. Und das Hosten von Nvidias führender KI-Software in der AWS-Cloud rundet die neu gewonnene volle Unterstützung von AWS für die Nvidia-Technologie ab und läuft auf allen neuen GPU-Instanzen, die auf der re:Invent angekündigt wurden.

Schließlich ist das Hosting von Project Cieba, dem nächsten GPU-Supercomputer von Nvidia, bei AWS das Tüpfelchen auf dem i für beide Unternehmen. Dieses 16.384 Grace Hopper Superchip-Biest wird 65 Exaflops KI-Leistung liefern und wird offenbar NVLink GPU-Interconnect und den AWS Elastic Fabric Adapter mit Nitro, der Netzwerk-Offloading-Technologie von AWS, die in allen AWS-Servern verwendet wird, vereinen.

Was ist mit der eigenen Hardware von AWS?

Während Jensen das Rampenlicht sicherlich genoss, wusste er, dass AWS im Begriff war, Produkte anzukündigen, die mit seinen eigenen konkurrieren würden. Zunächst kündigte Selipsky die 4. Generation seiner Graviton Arm-basierten CPU mit 96 von Arm entwickelten Neoverse V2-Kernen und 75 % mehr Speicherbandbreite an, was Graviton zu einem der leistungsstärksten Arm-Serverchips auf dem Markt macht. Selipsky teilte zum ersten Mal mit, dass AWS mehr als zwei Millionen Graviton-Chips bereitgestellt hat, die mehr als 50.000 Kunden in 150 Instanztypen verwenden. Beeindruckend.

„Wir waren die Ersten, die eigene Serverprozessoren entwickelt und angeboten haben“, sagte Selipsky. „Wir sind jetzt in der vierten Generation in nur fünf Jahren. Andere Cloud-Anbieter haben noch nicht einmal ihre ersten Serverprozessoren ausgeliefert.“

AWS benötigte dringend ein Update seines proprietären Trainingschips Trainium. Selipsky kündigte mit dem neuen Trainium2 eine Vervierfachung der Trainingsleistung an, eine Vervierfachung der Trainingsleistung. Wir haben zwar keine Spezifikationen, um zu sehen, wie gut es im Vergleich zu Nvidias H100 oder H200 abschneidet, aber Tobias Mann schätzt, dass es über 96 GB HBM verfügt, genug für die Feinabstimmung, aber nicht ausreichend, um direkt mit Nvidia zu konkurrieren. (Nicht, dass sie das bei den neuen Ankündigungen tun müssten!) Wir stellen fest, dass AWS sich in der Vergangenheit hinsichtlich der Leistung seiner Chips undurchsichtig geäußert hat und es unwahrscheinlich ist, dass es branchenübliche Benchmarks von MLCommons veröffentlicht. Entschuldigung.

AWSQ?

Q sieht sehr interessant aus, ein Chatbot, der entwickelt wurde, um LLMs und in AWS gespeicherte Unternehmensinformationen zu nutzen. Es bietet einen Berater, der Kunden dabei hilft, den besten AWS-Instanztyp zu ermitteln, eine Quicksight-Ergänzung zur Aktivierung von Business Intelligence, einen Contact-Center-Spezialisten und einen Codierungsspezialisten. Letzterer erzählte eine interessante Anekdote: Er aktualisierte Hunderte von Java-Anwendungen in nur zwei Tagen auf die neueste Java-Version und sparte so monatelange mühsame Entwicklungsarbeit. Weitere folgen, sobald wir mehr erfahren!

Hier sind einige von AWS bereitgestellte Informationen zu Q:

PressezentrumAWS kündigt Amazon Q an, um die Zukunft der Arbeit neu zu gestalten

Schlussfolgerungen

Diese Ankündigung von AWS und Nvidia stellt einen Wendepunkt dar und kehrt zu der soliden Kooperationsbeziehung zurück, die die Unternehmen seit Jahren pflegen. Diese beiden Führungskräfte brauchen einander und ihre Kunden werden davon profitieren; AWS ist der größte Anbieter von Cloud-Diensten und Nvidia ist führend in der KI- und HPC-Beschleunigung. Wie Microsoft und Google gelernt haben, benötigen Sie keinen schnelleren Chip als Nvidia, um Ihren Cloud-Kunden einen Mehrwert zu bieten. Sie benötigen lediglich ein Produkt, das gut genug ist und einen angemessenen Preis hat, um spezifische Marktanforderungen zu erfüllen, z. B. Inferenz und Modellfeinabstimmung für Unternehmenskunden.

Gut gespielt, AWS. Gut gespielt!

Leave a Reply

Your email address will not be published. Required fields are marked *