Qualcomm gewinnt im Bereich KI-Inferenz an Dynamik

By | January 2, 2024

Qualcomm erweitert seine Präsenz in der KI-Inferenzverarbeitung, beginnend mit seinen Beschleunigern der Cloud AI 100-Serie, mit der Einführung seines neuen Qualcomm Cloud AI 100 Ultra.

Während die Beschleunigerfamilie Cloud AI 100 von Qualcomm schon seit langem bei mehreren Top-Technologieanbietern wie Lenovo, Hewlett Packard Enterprise (HPE), Inventec, Foxconn, Gigabyte und Asus erhältlich ist, beginnt die Einführung in der Cloud-Öffentlichkeit.

Amazon Web Services (AWS) hat kürzlich seinen ersten Qualcomm-basierten beschleunigten Instanztyp DL2q mit Qualcomm Cloud AI 100 auf den Markt gebracht. Während der neue Instanztyp für allgemeine Inferenzanwendungen verwendet werden kann, betonen die Unternehmen die spezifische Anwendbarkeit des Beschleunigers in der Automobilentwicklung. ADAS und verwandte Anwendungen – ein Bereich, in dem Qualcomm seine Präsenz schnell ausbaut.

Qualcomm AI 100 Cloud

Qualcomm brachte seinen Cloud AI 100-Beschleuniger erstmals im Jahr 2020 auf den Markt und stellte ein Gerät bereit, das speziell dafür entwickelt wurde, die Fähigkeiten von Cloud-Computing-Umgebungen durch effiziente, schnelle KI-Inferenzverarbeitung zu erhöhen.

Die Cloud AI 100 ist auf Inferenz zugeschnitten, die Anwendungsphase der KI, in der ein trainiertes Modell zur Interpretation neuer Daten verwendet wird. Dies ist eine entscheidende Funktion bei KI-Einsätzen, die sofortige Ergebnisse erfordern, wie etwa Spracherkennung, Sprachübersetzung, Bildanalyse oder Echtzeit-Datenverarbeitung von IoT-Geräten.

Der Gashebel bietet eine gute Balance zwischen Leistung und Effizienz. Qualcomm hat ein Gerät entwickelt, das nachweislich erhebliche Gesamtbetriebskosten (TCO) aufweist und gleichzeitig die Leistung liefert, die für anspruchsvolle KI-Inferenz-Workloads erforderlich ist.

MLPerf 3.1 Ergebnisse

Im September 2023 wurde MLCommons gestartet seine MLPerf Inference 3.1-Benchmark-Ergebnisse, bei denen Qualcomm erhebliche Fortschritte mit seinen Cloud AI 100-Inferenzbeschleunigern demonstrierte.

Die Ergebnisse zeigen bemerkenswerte Verbesserungen bei Leistung, Energieeffizienz und geringeren Latenzen, insbesondere für Natural Language Processing (NLP) und Computer Vision-Netzwerke für Qualcomm Cloud AI 100.

Die MLPerf Inference v3.1-Benchmarks von Qualcomm übertrafen die bisherigen Rekorde. In mehreren Kategorien lieferte Cloud AI 100 Fortschritte bei maximaler Offline-Leistung, Energieeffizienz und Latenzreduzierung.

Beispielsweise zeigte eine 2U-Rechenzentrums-Serverplattform, die mit 16 Qualcomm Cloud AI 100 PCIe Pro-Beschleunigern (75 W TDP) ausgestattet war, eine 15–20 %ige Verbesserung der Energieeffizienz in NLP- und Computer-Vision-Netzwerken.

Gleichzeitig zeigte die Leistung von Qualcomm im RetinaNet-Netzwerk auf Plattformen, die Cloud AI 100 nutzen, Verbesserungen von rund 12 %. Diese Optimierung zeigt die kontinuierlichen Bemühungen von Qualcomm, die Effizienz und Verarbeitungsgeschwindigkeit von KI-Modellen zu verbessern.

Die Ergebnisse von MLPerf Inference v3.1 belegen deutlich die Wirksamkeit von Qualcomm Cloud AI 100 in einer Vielzahl von Anwendungen, einschließlich Edge- und Rechenzentrumskategorien, und unterstreichen seine Leistung bei wichtigen Kennzahlen wie Inferenz pro Sekunde und Inferenz pro Sekunde. -pro Watt (I/S/W).

Wir stellen vor: Cloud AI 100 Ultra

Im November 2023 erweiterte Qualcomm sein Cloud AI 100-Sortiment mit der Einführung seines neuen Qualcomm Cloud AI 100 Ultra. Der neue Beschleuniger ist explizit auf die Bedürfnisse generativer KI und großer Sprachmodelle (LLMs) zugeschnitten.

Der neue Beschleuniger bietet die vierfache Leistung früherer Cloud AI 100-Varianten. AI 100 Ultra kann extrem große KI-Modelle unterstützen und Modelle mit bis zu 100 Milliarden Parametern auf einer einzigen 150-Watt-Platine verarbeiten.

Ultra kann mit zwei Boards auf die Unterstützung von 175 Milliarden Parametermodellen erweitert werden. Mehrere AI 100 Ultra-Karten können kombiniert werden, um auch größere Modelle zu bedienen.

Trotz seiner hohen Leistung behält der Cloud AI 100 Ultra die dem Rest der Familie eigene Energieeffizienz bei, die für die Reduzierung der Betriebskosten in Rechenzentren und die Unterstützung von Nachhaltigkeitszielen im KI-Betrieb von entscheidender Bedeutung ist.

Analyse

KI-Inferenz wird zu einer entscheidenden Funktionalität, insbesondere bei großen Sprachmodellen. Die Ausweitung der KI an den Rand, insbesondere den mobilen Rand, ist die nächste Grenze des beschleunigten Computings. Mit seinen Cloud AI 100-Beschleunigern erhebt Qualcomm vor Ort einen bedeutenden Anspruch und ergänzt damit seine bestehende Edge-Driven-Computing- und Kommunikationstechnologie.

Während Qualcomm mit seiner Cloud AI 100 in diesen Markt eingestiegen ist, erweitert das neue Ultra-Angebot diese Fähigkeiten noch weiter, indem es explizit auf die Anforderungen generativer KI und großer Sprachmodelle abzielt. Diese erweiterte Version zeichnet sich durch die Fähigkeit aus, extrem große KI-Modelle zu unterstützen.

Seine verbesserte Leistung und Energieeffizienz machen den Qualcomm Cloud AI 100 Ultra zu einer überzeugenden Lösung für komplexe KI-Aufgaben und halten gleichzeitig die Betriebskosten unter Kontrolle.

Zusätzlich zu seinen technischen Fähigkeiten bietet der neue Beschleuniger einen weiteren Bezugspunkt, da Qualcomm seine Expansion in den KI-gestützten Edge-Markt fortsetzt. Qualcomm nutzt die Technologie der Cloud AI 100-Familie, um die Anforderungen mehrerer Märkte zu erfüllen, jetzt auch der öffentlichen Cloud.

Qualcomm ist auf diesem Markt nicht allein. Zusätzlich zu den Angeboten des Branchenführers NVIDIA haben wir gesehen, wie AWS, Google und Microsoft inferenzspezifische Beschleuniger eingeführt haben. AMDs Beschleunigerserie MI300 spielt in diesem Bereich eine Rolle, ebenso wie Intels Gaudi.

Qualcomm zeichnet sich durch seine Fähigkeit aus, leistungsstarke und energieeffiziente Inferenz, wie sie in seinen Cloud AI 100-Angeboten zum Ausdruck kommt, mit einem IP-Portfolio zu kombinieren, das den breiteren Anforderungen des Edge-Marktes gerecht wird. Dies ist bei aktuellen Technologieanbietern selten.

Die Cloud AI 100-Produktlinie von Qualcomm unterstreicht den strategischen Schritt des Unternehmens in Edge-KI-Inferenzmärkte und zeigt sein Potenzial, die KI-Verarbeitung branchenübergreifend neu zu gestalten, vom Gesundheitswesen bis zur Automobilindustrie und mehr. Es ist eine fesselnde Geschichte, die die Konkurrenten von Qualcomm nur schwer schlagen können.

Offenlegung: Steve McDowell ist ein Branchenanalyst, und NAND Research, ein Branchenanalyseunternehmen, erbringt oder hat Forschungs-, Analyse- und Beratungsdienstleistungen für viele Technologieunternehmen erbracht, zu denen auch die in diesem Artikel genannten gehören können. Herr McDowell hält keine Beteiligungen an den in diesem Artikel genannten Unternehmen.

Leave a Reply

Your email address will not be published. Required fields are marked *