AMD ist nicht die schnellste GPU; Hier sind die echten Daten.

By | December 13, 2023

Bei der Einführung des MI300 behauptete AMD, dass er eine deutlich bessere Leistung als Nvidia habe. Während der AMD-Chip gut aussieht und wahrscheinlich den Großteil der KI sofort ausführen wird, hat das Unternehmen nicht auf die schnellere Nvidia-Software zurückgegriffen. Der Unterschied ist enorm.

Das sind aktuelle Nachrichten; Suchen Sie nach Updates.

Nvidia hat gerade einen Blog veröffentlicht, der der Behauptung von AMD widerspricht, dass sein neuester Chip, der MI300X, in Bezug auf Latenz und Durchsatz 40–60 % schneller als Nvidia bei der Inferenzverarbeitung für generative KI sei. Hier ist eine von AMDs Folien vom MI300-Launch-Event, über das wir hier berichtet haben.

Nachfolgend finden Sie die Gegenklage von Nvidia. Während diese Art von Vergeltung niemand hören möchte, ist sie dieses Mal äußerst relevant; Jeder Presse- und Analystenbericht, den ich gesehen habe, spiegelt die Behauptungen von AMD wider, die ungenau und irreführend sind.

Die neuesten Ergebnisse, die auf Software ausgeführt wurden, die lange vor der Vorbereitung von AMDs Präsentation verfügbar war, verdoppelten die von AMD angegebene Leistung. Und mit der Batch-Latenz von 2,5 Sekunden, die AMD verwendet hat, einem Industriestandard, übertrifft Nvidia den MI300 um das erstaunliche 14-fache.

Wie konnte das passieren?

Es ist einfach. AMD hat nicht die Software von Nvidia verwendet, die darauf optimiert ist, die Leistung der Hardware von Nvidia zu verbessern. „Während TensorRT-LLM auf GitHub frei verfügbar ist, wurde in jüngsten Benchmarks von AMD alternative Software verwendet, die Hoppers Transformer Engine noch nicht unterstützt und diese Optimierungen nicht aufweist“, heißt es in Nvidias Blogbeitrag. Darüber hinaus nutzte AMD weder die von Nvidia im September veröffentlichte TensorRT-LLM-Software, die die Inferenzleistung auf LLMs verdoppelte, noch die Triton-Inferenz-Engine. Kein TensorRT-LLM + keine Transformer Engine + kein Triton = nicht optimale Leistung.

Da AMD über keine entsprechende Software verfügt, dachten sie wahrscheinlich, dass dies eine bessere Vergleichsmessung sei. Diese Chips sind teuer; Ich bezweifle, dass irgendjemand Nvidia-Software für die Produktions-KI verwenden würde. „Da die Komplexität der LLM-Inferenz immer weiter zunimmt, ist die Maximierung der GPU-Leistung bei größeren und immer anspruchsvolleren Modellen mithilfe der neuesten Inferenzsoftware von entscheidender Bedeutung, um die Kosten zu senken und die Akzeptanz zu steigern“, heißt es im LLM-Blogbeitrag von Nvidia.

„Diese Leistungsfortschritte stammen von TensorRT-LLM unter Verwendung der NVIDIA Transformer Engine mit FP8-Präzision und hochoptimierten Kerneln. In Kombination mit der automatischen Batch-Funktion der NVIDIA Triton Inference Server-Software können Unternehmen darauf vertrauen, dass sie maximale Leistung mit einer festen Latenz-Reaktionszeit liefert, um die beste Leistung aus NVIDIA-GPUs herauszuholen“, so Nvidia weiter.

Was bedeutet das?

Erstens können Sie sich beruhigen, wenn Sie in Nvidia (Aktien oder Hardware) investieren. Nvidia bleibt führend bei GPUs. Wie Barron’s zuvor berichtete: „Anleger brauchen sich keine Sorgen zu machen.“ Und dies wurde vor dieser neuesten Nachricht veröffentlicht.

Zweitens: Wenn Sie sich für den MI300X interessieren, sagen wir nicht, dass die neue GPU eine schlechte KI-Plattform ist. Es scheint der drittschnellste KI-Chip zu sein, hinter dem riesigen WSE CS2 von Cerebras und dem Nvidia H100. Und das ist wahrscheinlich gut genug für diejenigen, die eine besser verfügbare und preisgünstigere GPU suchen (was auch immer das bedeutet; AMD hat keine Preise veröffentlicht).

Der Markt für KI-Hardware entwickelt sich extrem schnell und der H100 wird bald zur Vergangenheit gehören. Nvidia sagte, dass der H200 schneller eintrifft, als AMD wahrscheinlich erwartet, und sagte: „Die Verfügbarkeit der NVIDIA H200 Tensor Core GPU mit 141 GB aufgerüstetem HBM3e-Speicher und fast 5 TB/s Speicherbandbreite wird von globalen Systemherstellern und der Cloud erwartet.“ Dienstleister ab dem zweiten Quartal 2024.“ Wir stellen fest, dass die FLOP-Spezifikationen des MI300 tatsächlich besser sind als die des Nvidia H100 und der MI300 auch über mehr HBM-Speicher verfügt, aber es braucht Software, um einen KI-Chip zum Laufen zu bringen und all diese Flops und Bytes in Kundennutzen umzuwandeln. Die AMD ROCm-Software hat erhebliche Fortschritte gemacht, aber es gibt noch viel zu tun.

Schlussfolgerungen

Während dies alles für den Uneingeweihten wie ein Sturm in einer Teekanne erscheinen mag, müssen alle Siliziumanbieter sorgfältig arbeiten, um genaue Leistungsangaben mit realen Daten (nicht nur normalisierten Balkendiagrammen) sicherzustellen und alle Details bereitzustellen, die zur Reproduktion dieser Ergebnisse erforderlich sind. Es ist nicht in Ordnung, die Plattform eines Mitbewerbers zu untergraben, indem man die Software des Anbieters nicht nutzt. Aus diesem Grund veröffentlicht MLCommons seit mehreren Jahren alle drei Monate peer-reviewte MLPerf-Schlussfolgerungen und Trainingsleistungs-Benchmarks.

Trotz der Verwirrung bleiben wir bei unseren vorherigen Kommentaren, dass AMD im nächsten Jahr jeden MI300 verkaufen wird, den es produzieren kann.

Wir haben AMD um eine Antwort gebeten und keine Antwort erhalten.

Als ich Mark Papermaster, den CTO von AMD, fragte, ob sein Unternehmen vorhabe, diese Benchmarks durchzuführen, sagte Herr Papermaster, dass sie MLPerf veröffentlichen würden, sagte aber nicht, wann. Wir hoffen, dass AMD den Bedarf an Optimierungen vor der Veröffentlichung berücksichtigt, und wir können es kaum erwarten!

Offenlegung: Dieser Artikel gibt die Meinung des Autors wieder und stellt keine Empfehlung zum Kauf oder zur Investition in die genannten Unternehmen dar. Mein Unternehmen, Cambrian-AI Research, hat das Glück, viele Halbleiterunternehmen zu seinen Kunden zu zählen, darunter BrainChip, Cadence, Cerebras Systems, Esperanto, IBM, Intel, NVIDIA, Qualcomm, Graphcore, SIMA, ai, Synopsys, Tenstorrent, Ventana Microsystems, und Dutzende von Investoren. Wir halten keine Anlagepositionen in einem der in diesem Artikel genannten Unternehmen. Weitere Informationen finden Sie auf unserer Website unter https://cambrian-AI.com.

Leave a Reply

Your email address will not be published. Required fields are marked *