MGX: Nvidia standardisiert Multi

May 07, 2023

Aktualisiert mit weiteren MGX-Spezifikationen:Immer wenn ein Computer-Engine-Hersteller neben Systemdesigns auch Motherboards herstellt, werden die Unternehmen, die Motherboards herstellen (es gibt Dutzende, die das tun) und Systemdesigns erstellen (die Originaldesignhersteller und die Originaldesigner), ein wenig nervös und gleichzeitig auch ein wenig erleichtert Die Standardisierung von Komponenten bedeutet, dass sie weniger tun müssen, gleichzeitig aber auch weniger bezahlen müssen.

Mit seinen MGX-Serverplattformdesigns für mehrere Generationen, die diese Woche auf der Computex-Messe in Taiwan angekündigt wurden, einem der weltweit wichtigsten Zentren für die Komponenten- und Systemfertigung sowie dem unbestrittenen Zentrum für die Herstellung und Montage von Rechenmaschinen, Nvidia hofft, sich selbst und den OEMs und ODMs der Welt das Leben zu erleichtern und für sich und sie höhere Gewinne zu erzielen.

Nvidia stellt seit der Einführung des DGX-1-Systems im April 2016 eigene Server her, die auf dem GPU-Beschleuniger „Pascal“ P100 basieren. Nvidia hat beschlossen, dies zu tun, um die Markteinführungszeit zu verkürzen und eine Rückkopplungsschleife für Komponenten- und Motherboard-Designs zu schaffen. Die Tatsache, dass Nvidia seine eigenen Supercomputer bauen musste, um seine massiven KI-Workloads auszuführen – was billiger war, als dies von einem OEM oder ODM erledigen zu lassen –, trug ebenfalls zu dieser Entscheidung bei. Damals wurden die meisten Pascal-GPUs, die Nvidia hätte herstellen können, an Hyperscaler und Cloud-Builder sowie an einige HPC-Zentren geliefert, und die DGX-1s wurden von Nvidia zu einem Vorzugspreis verkauft, damit Forscher und Wissenschaftler sie bekommen konnten ihre Hände an diesen GPU-beschleunigten Systemen. Dies war noch im Mai 2017 der Fall, als die DGX-1-Maschinen mit den zwei Monate zuvor angekündigten „Volta“-V100-GPU-Beschleunigern aktualisiert wurden. Im Mai 2020 folgte das DGX-A100-System mit den „Ampere“-A100-GPUs und natürlich das DGX-H100-Design, das mit einer NVLink-Switch-Fabric noch viel weiter skaliert werden kann und gleichzeitig mit dem „Hopper“-H100-GPU-Beschleuniger eingeführt wurde letztes Jahr und wurde erst diese Woche mit einem Hybrid-CPU-GPU-Design im DGX-GH200-System aktualisiert.

Sie können keinen H100 SXM5- oder NVSwitch 3-ASIC kaufen, der in den neuesten DGX-H100- und DGX-GH200-Maschinen verwendet wird. Die Systemplatinen für CPUs, GPUs und NVSwitch-Verbindungen werden als Einheit mit allen hergestellten und getesteten Komponenten an Hyperscaler und Cloud-Builder und deren ODM-Lieferanten verkauft. Außerdem werden sie als vormontierte Komponenten an OEMs verkauft, die diese wiederum einsetzen in ihre Systeme ein. Sie können PCI-Express-Versionen der GPU-Beschleuniger oder Quantum InfiniBand- oder Spectrum-Ethernet-ASICs von Nvidia kaufen, wenn Sie Ihre eigenen Systeme bauen möchten, aber für die High-End-Versionen, die auf der NVSwitch-Speicherstruktur laufen, müssen Sie diese vormontiert nehmen Komponenten, die HGX genannt werden.

Nachdem Nvidia mit HGX/DGX die inneren Komponenten der Systeme bis zu einem gewissen Grad standardisiert hat, möchte Nvidia nun die Hüllen standardisieren, die diese Komponenten umgeben, um die Markteinführungszeit für alle ODMs und OEMs zu verkürzen und die resultierenden Systeme so zu gestalten vor Ort so weit wie möglich modernisiert werden, wenn man bedenkt, welche künftigen architektonischen Veränderungen auch immer anstehen.

Das ist, kurz gesagt, das, worum es bei den MGX-Bemühungen geht.

Wir bekamen einen kleinen Vorgeschmack darauf, wie die ersten MGX-Designs im vergangenen Mai aussehen, als Nvidia die Prototypen der HGX Grace- und HGX Grace-Hopper-Systemdesigns enthüllte. Dabei handelte es sich nicht nur um Systemplatinen, sondern um komplette Rack-Server-Designs:

Die MGX-Standardisierungsbemühungen werden die DGX/HGX-Rechenzentrumsplattformen, die OVX-Metaverse-Hosting-Plattformen und die CGX-Cloud-Grafik- und Gaming-Plattformen umfassen. Nvidia sagte, dass die Grace-CPU und verschiedene GPU-Beschleuniger für diese drei Eisenlinien zusammengesetzt sein würden :

Hier sind die MGX-Designs, die diese Woche auf der Computex vorgestellt wurden:

Der linke ist ein Grace-Grace-Superchip gepaart mit vier GPU-Beschleunigern. Das System in der Mitte verfügt über zwei X86-CPUs, zwei ConnectX-Netzwerkschnittstellen und acht GPU-Beschleuniger, und das System auf der rechten Seite verfügt über ein Paar wassergekühlter Rechenmaschinen (wir vermuten Grace-Hopper-Superchips) und zwei Netzwerkschnittstellenkarten.

Auf der Website des Unternehmens und in den Vorbesprechungen wurden diese nicht so gut erläutert wie der Mitbegründer und CEO von Nvidia, Jensen Huang, in seiner Keynote, als er einige Aspekte des MGX-Systems erläuterte, beginnend mit dem 2U-Gehäuse:

Wenn Sie zwei X86-CPUs, vier L40-GPU-Beschleuniger, eine BlueField-3-DPU und ein Paar ConnectX-7-Netzwerkschnittstellenkarten hinzufügen und sechs PCI-Express-5.0-Steckplätze offen lassen, erhalten Sie einen OVX-Server zur Beschleunigung von Nvidias Omniverse Virtual Reality Digital Twin-Software-Stack:

Sie können das Paar X86-CPUs herausnehmen und einen Grace-Grace-Superchip und das Gleiche einsetzen (mit einem PCI-Express 5.0-Steckplatz weniger) und Sie erhalten diese Variante des OVX-Servers:

Wenn Sie Cloud-Grafiken für Rendering oder Spiele oder bescheidene KI-Inferenz-Workloads erstellen möchten, was Nvidia als CGX-Maschine bezeichnet, können Sie mit dem MGX-Gehäuse beginnen und einen Grace-Grace-Superchip, zehn L4-GPU-Beschleuniger und eine BlueField-3-DPU einbauen und habe 11 PCI-Express 5.0-Steckplätze geöffnet und es sieht so aus:

Wenn Sie dichtere KI-Inferenz-Workloads bewältigen müssen, insbesondere für LLMs und DLRMs, dann greifen Sie zur 4U-Version des MGX-Gehäuses, bauen ein Paar X86-CPUs, acht der doppelt breiten H100 NVL-Beschleuniger und ein Paar BlueField ein -3 DPUs und zehn PCI-Express-Steckplätze übrig und Sie erhalten Folgendes:

Denken Sie bei 5G-Anwendungsfällen dünner und kleiner, so wie es NEBS-konforme Telekommunikationsgeräte seit Jahrzehnten tun. So sieht das Design des Grace-Hopper 5G-Arialservers aus:

Dabei handelt es sich um ein 1U-MGX-Pizzabox-Gehäuse mit einem einzelnen Grace-Grace-Superchip, einem Paar BlueField-3-DPUs und vier offenen PCI-Express-5.0-Steckplätzen für Peripheriegeräte. Und für enge POP-Räume (Point of Presence) bei Telekommunikationsunternehmen und anderen Dienstanbietern müssen Sie die Höhe und die halbe Länge des Gehäuses wie folgt verdoppeln:

Aus irgendeinem Grund ist einer der PCI-Express-Steckplätze mit einer ConnectX-7-NIC sowie einer einzelnen BlueField-3-DPU konfiguriert. (Der Formfaktor sollte keinen Einfluss auf das Netzwerk haben, daher gehen wir davon aus, dass Nvidia nur Optionen angezeigt hat.)

Wenn Sie sich wie wir gefragt haben, wie die „Whitebox“-Serverknoten im Supercomputer „Isambard 3“, der später in diesem Jahr in das GW4-Kollektiv im Vereinigten Königreich aufgenommen wird, aussehen könnten, wissen wir jetzt:

Und für sehr dichte HPC-Maschinen, die nicht auf Luftkühlung (oder Flüssigkeitskühlung in den Racks wie Isambard 3) angewiesen sind, gibt es eine flüssigkeitsgekühlte Variante des MGX mit einem Paar Grace-Grace-Superchips:

Nvidia startet mit acht wichtigen MGX-Partnern, von denen viele Motherboard-Hersteller und ODM-Systemhersteller sind. Dazu gehören ASRock, ASUS, Gigabyte, Pegatron, Quanta Cloud Technology und Supermicro. Die Idee besteht darin, über hundert verschiedene Serverdesigns bereitzustellen, die auf ein breites Spektrum an Arbeitslasten ausgerichtet werden können, darunter KI, HPC, Datenanalyse, digitale Zwillinge, Cloud-Infrastruktur, Cloud-Gaming und 5G-Netzwerke.

Die MGX-Referenzarchitekturen umfassen Systeme mit 1U-, 2U- und 4U-Rackgehäusen, die sowohl mit Luft- als auch mit Flüssigkeitskühlung erhältlich sind. Die Idee besteht darin, das gesamte GPU-Beschleuniger-Portfolio von Nvidia zu unterstützen, beginnend mit den Hopper H100-Rechen-Engines und den KI-Inferenz- und Grafikbeschleunigern „Lovelace“ L4 und L40. Auf der CPU-Seite sind der Grace-Grace-Superchip (es wurde kein Name vergeben, aber GG200 macht Sinn) und der Grace-Hopper-Superchip (GH200 genannt) von zentraler Bedeutung, aber X86-Prozessoren, vermutlich sowohl von Intel als auch von AMD, werden es sein in den MGX-Designs enthalten. (Soweit wir das beurteilen können, kann man übrigens nicht nur eine Grace-CPU haben, die wir CG100 nennen würden, wenn wir den Chip benennen müssten, und C100 als Marketingnamen, wenn wir damit übereinstimmen wollten.) wie Nvidia seine Rechenzentrums-Rechen-Engines bisher nennt.) Was die Vernetzung betrifft, beginnen die MGX-Spezifikationen mit den Hybrid-InfiniBand/Ethernet-Netzwerkschnittstellenkarten ConnectX-7 und den BlueField-3-DPUs.

Soweit wir wissen, werden MGX-Designs nicht auf frühere GPUs, CPUs, DPUs oder NICs zurückgesetzt. Das ist eine sehr zukunftsweisende Sache.

Das auf der Computex vorgestellte ARS-221GL-NR-System von Supermicro wird den Grace-Grace-Superchip in einem bestehenden MGX-Design enthalten, und das S74G-2U-System von QCT verwendet ein MGX-Design mit dem Grace-Hopper-Superchip. SoftBank, der Eigentümer von Arm Holdings, plant, MGX-Designs in mehreren Hyperscale-Rechenzentren in Japan einzusetzen und GPU-Verarbeitungskapazität dynamisch auf 5G und generative KI-Anwendungen zu verteilen, die seine Konzernunternehmen betreiben.

Als wir mit Charlie Boyle sprachen, dem Vizepräsidenten der DGX-Linie bei Nvidia und zugleich Leiter der MGX-Bemühungen, schlugen wir vor, dass MGX den Cray-Serverdesigns „Cascade“ und „Shasta“ insofern ähnelt, als sie dies zuließen In ihnen können mehrere Generationen von Rechnern und Verbindungen untergebracht werden, sodass Cray die Kosten für Systemdesigns auf verschiedene Arten von Rechnern und Netzwerken und auch auf mehr als eine Generation verteilen kann. Er lachte.

„Ich weiß nicht, ob ich den Vergleich mit Cray anstellen würde“, sagte Boyle. „Ich bin schon lange in dieser Branche tätig, wissen Sie, und es ist ein sehr maßgeschneidertes System.“

Okay, das ist fair, aber darum ging es nicht. Ein Vergleich mit Facebooks Open Compute Project war etwas schmackhafter. Aber hier geht es nur um Geschwindigkeit, nicht um Metaphern.

„Wir sprechen über die tatsächlichen physischen Eigenschaften innerhalb des Systems“, sagt Boyle gegenüber The Next Platform. „Als wir vor Jahren mit der HGX-Basisplatine begannen, wollten wir es unseren Partnern leicht machen, eine schnelle Markteinführung zu erreichen. Und für alle, die Grace-Hopper- und Grace-Grace-Systeme bauen und ein generationenübergreifendes System haben möchten.“ Garantie auf Architektur, mit MGX können sie schnell Systeme erstellen. Sie und ich wissen beide, dass Nvidia neue Technologiegenerationen schneller auf den Markt bringt als die meisten anderen auf dem Markt. Und umso mehr können wir Designs vereinfachen und die Aufnahmefähigkeit unserer Downstream-Partner verbessern Diese Technologie zu nutzen und sie dann schneller an die Endkunden weiterzugeben, ist großartig für die Partner und großartig für uns.“

Boyle sagt, dass es 18 bis 24 Monate dauern kann, bis ein typisches Systemdesign – das mehrere Millionen Dollar kostet – konstruiert, getestet und für die Herstellung qualifiziert ist, und mit MGX kann Nvidia diese Zeit auf ein paar Monate verkürzen, weil in der Letztendlich werden ODM- und OEM-Partner aus einem Menü von Komponenten auswählen und diese zertifizieren lassen, damit sie zusammenstecken und einfach funktionieren. Der ODM und OEM fügt alle Anpassungen hinzu, wie z. B. BMCs und Firmware-Updates usw., und führt die abschließende Qualifizierung der zusammengebauten Komponenten durch.

Aber Geschwindigkeit ist mehr als das. Es geht darum, Fehler zu vermeiden.

„In den Jahren, in denen ich DGX mache, teile ich, obwohl wir unser eigenes System entwickeln, alles, was wir tun, mit unseren OEM- und ODM-Partnern, um ihnen zu helfen, Zeit für die Markteinführung zu gewinnen, und um ihnen zu zeigen, was funktioniert und was nicht.“ „Und welche Teile wir verwenden – all das“, sagt Boyle. „Sie sind sehr dankbar dafür, denn alles, woran wir bereits gearbeitet haben – wir haben es versucht, wir sind gescheitert, wir haben eine bessere Komponente dafür, was auch immer – wenn wir ihnen das sagen, dann tun sie es nicht.“ Wenn wir dieselben Experimente durchführen müssen, müssen sie nicht die Kosten wiederholen, die wir all diese Male durchgemacht haben. Und sie sind superglücklich darüber, weil sie alle mit dem Gleichen zu tun haben: Arbeitskräftemangel und Komponentenmangel. Also die Die Tatsache, dass wir es für sie tun, und das ermöglicht es ihnen, dort zu innovieren, wo sie wirklich innovativ sein können. Es liegt an ihrem gesamten Software-Stack und an ihrem Gesamtangebot. Es geht um ihre Lösungen. Die Tatsache, dass die Schrauben an zehn verschiedenen Stellen an einer anderen Stelle angebracht sind Bringt das, was Systemhersteller entwerfen, einen Mehrwert für den Endkunden?“

Dies bedeutet, dass die F&E-Kosten der ODMs und OEMs geringer ausfallen, und es bedeutet auch, dass Nvidia ein gewisses Maß an Konsistenz bei der Integration seiner Rechen- und Netzwerkgeräte in Systeme gewährleisten kann.

Wir gehen davon aus, dass die ODMs und OEMs denken werden, sie hätten spezielle Kenntnisse und Fähigkeiten, und dass sie sich zunächst etwas dagegen wehren werden. Das Open Compute Project entstand in Zusammenarbeit mit Dell, dem langjährigen Serverhersteller von Facebook, weil das soziale Netzwerk schneller vorankommen und die Kosten senken wollte. Und nach all dieser Zeit ist Dell immer noch der Meinung, dass seine eigenen Hyperscale-Designs besser sind als die von Meta Platforms oder Microsoft im Open Compute Project. Darüber hinaus werden die großen OEMs befürchten, dass die Wettbewerbsbedingungen für eine ganze Reihe kleinerer Systemhersteller ausgeglichen werden, was ihnen das Leben in gewisser Weise erschweren wird.

Wir gehen davon aus, dass diese kleineren Systemhersteller zunächst von MGX begeisterter sein werden als die großen OEMs wie Dell, Hewlett Packard Enterprise, Lenovo, Cisco Systems und Lenovo. Wenn jedoch wahr ist, was Boyle behauptet – dass sie mit dem Verkauf von MGX-Systemen mehr Geld verdienen als mit dem Bau eigener DGX-Klone – dann werden sie es versuchen.

Eine letzte Sache: Es könnte hilfreich sein, wenn die MGX-Designs über das Open Compute Project geöffnet würden. Warum nicht?

Mit Highlights, Analysen und Geschichten der Woche direkt von uns in Ihren Posteingang, ohne dass etwas dazwischen liegt. Jetzt abonnieren