12.000 Epyc-Prozessoren: Briten setzen in Supercomputer Archer 2 auf AMD-Chips
An der Universität von Edinburgh soll Mitte 2020 ein neuer Supercomputer mit einer der weltweit höchsten CPU-Rechenleistung entstehen. Fast 12.000 Epyc-2-CPUs von AMD kommen in Archer 2, dessen Rechenleistung mit 28 PetaFLOPS angegeben wird, zum Einsatz.
Voraussichtlich im Mai 2020 entsteht an der Universität von Edinburgh ein Supercomputer mit einer der bisher höchsten CPU-Rechengeschwindigkeiten. Archer 2 setzt auf 11.696 Epyc-2-CPUs von AMD, die Gesamtrechenleistung wird auf bis bis zu 28 PetaFLOPS beziffert. Insgesamt sollen 5.848 Compute-Nodes in Betrieb gehen, jeder davon mit zwei 64-Kern-Prozessoren und einer Frequenz von 2,2 GHz. Insgesamt also 748.544 Rechenherzen. Die Spezifikationen passen zum Epyc 7002 (Rome).
Da nur vier Nodes Radeon-Instinct-Beschleuniger erhalten, wird die Rechenleistung des Systems durch GPUs nur geringfügig gesteigert. Damit fährt der von der britische Regierungsbehörde UK Research and Innovation (UKRI) in Auftrag gegebene Rechner zwar extrem viel CPU-Rechenleistungen auf. In puncto Gesamtleistung bleibt Archer 2 jedoch deutlich hinter den geplanten Exascale-Supercomputern. Weltweit dürfte es dennoch für die Top-5 der Supercomputer reichen. Archer 2 wäre Europas schnellster Hochleistungsrechner.
Vorgänger noch mit Xeons
Laut UKRI werden die Server in wassergekühlten Schränken untergebracht und durch Slingshot-Interconnects miteinander verbunden. Archer 2 soll zudem über 1,57 Petabyte Arbeits-, 1,1 Petabyte SSD- und 14,5 Petabyte HDD-Speicher verfügen. Bestellt wurde der Superrechner bei Cray, inzwischen Tochter von Hewlett Packard Enterprise, die schon für den Vorgänger verantwortlich gezeichnet hat.
Ebenfalls interessant: AMD Epyc: Experten glauben, dass AMD Server-Marktanteil verdoppeln kann
Archer 2 soll am 6. Mai 2020 mit einer Linux-Distribution den Betrieb aufnehmen, der erste Archer aber schon am 18. Februar 2020 herunterfahren. Der im November 2013 ins Leben gerufene Vorgänger setzte noch auf Intel-Prozessoren, namentlich den Xeon E5-2697 v2. Die Zwölfkerner laufen jeweils im Doppelpack in 4.920 Nodes mit 64 GByte Arbeitsspeicher pro Knoten und ohne Beschleuniger. Die CPU-Rechenleistung beträgt 2,6 PetaFLOPS.
Quelle:EPCC
)
Zudem war der Aurora ursprünglich mit Xeon Phi geplant, die Intel aber auf der SC17 offiziell aufgekündigt hat. (Vertragspartner werden voraussichtlich schon deutlich früher bescheid gewußt haben, sodass man eine Neuausrichtung anging.)
Die möglicherweise genutzten AMD-CPUs spielen beim El Capitan nur eine untergeordnete Rolle, denn bei allen drei Systemen wird der Großteil der Leistung durch die Beschleunigerkarten bereitgestellt. Darüber hinaus ist die Sachlage vorerst unklar, denn zu der Zeit stehen zumindest gesichert der POWER10, Zen4/Genoa und Sapphire Rapids (ggf. gar Granite Rapids) zur Verfügung, voraussichtlich alle mit DDR5 und PCIe 5.0.
Bezüglich der Investition ist das nicht ganz so einfach, denn alle drei Systeme gehören zum Verbund des NNSA und damit zum DoE und die müssen ihre Ausgaben, wie viele andere öffentliche Einrichtungen, verteilen. Hier wird man abwarten müssen.
Im Vergleich mit dem, was in den USA und China genaut wird, ist das größte europäische System vergleichsweise klein und daran wird der ARCHER2 nichts Wesentliches ändern. Aktuell liegt an Platz 6 der Top500 der Piz Daint aus der Schweiz mit rd. 21 PFlops Rmax, der übrigens Tesla P100 Beschleuniger in seiner aktuellen Ausbaustufe verwendet. (Immerhin hat München sich mit dem SuperMUC-NG mit etwa 19,5 PFLops Rmax auf Platz 9 positioniert, zumindest bis der ARCHER2 online geht
a) Von diesen 500 sind relativ viele heutzutage einfache Internetcluster auf denen Linpack laufen gelassen wurde. Von demher ist diese 90% Metrik unter Einschluss des Planungshorizontes fuer Supercomputer weitaus schwaecher, als Du es hier darstellst.
b) Aurora wird auf 1-1,5 Exaflop real geschaetzt und hierbei gibt es schon riesige Probleme. Immer dran denken, dass Intel den "Vorlaeufer" von Aurora haette produzieren sollen, diesen Vertrag erhielt, dann nie lieferte und dieser dann in den Vertrag fuer Aurora umgewandelt wurde. Frontier wird mehr als 1,5 Exaflops haben und somit in den Top 500 hoeher als Aurora liegen. Mit Aurora "den Boden zu wischen" ist jedoch zu hoch gegriffen.
c) In den 600 Millionen sind ca. 100 Millionen fuer Softwarentwicklung beinhaltet. Dies muss man bei einem Vergleich zwischen solchen Vertraegen im Auge behalten..
d) El Capitan wird anscheinend trotzdem mit AMD's CPUs laufen.. Das Problem war fuer NVidia auch nicht die Leistung ihrer Karten sondern der Preis den Sie verlangten. Hier wollte das DOE einfach nicht mitmachen.
e) Archer ist zwar pur CPU basiert aber bei Supercomputern geht es bei der Entscheidung um eine Bandbreite an Applikationen, die darauf laufen sollen. Viele Europaeische Anwendungen sind den Weg zu GPUs noch nicht gegangen. Von demher muss man weiterhin CPU-basierte Systeme kaufen. Dies wird sich jedoch in den naechsten 2-3 Jahren mit der naechsten Generation aendern.
Aktuell ist es aber erst die dritte, größere Ankündigung für AMD im HPC-Bereich ... kein Vergleich zu dem, was Intel die letzten Jahre aufgebaut (bzw. beliefert) hat. Aktuell laufen rd. 90 % der Top500-Systeme auf Intel-CPUs.
Der Frontier in 2021 hat mit Zen2 nichts am Hut. Dieser basiert auf Zen3, genaugenommen sogar auf "customized Zen3/Milan" (gemäß Forrest Norrod), wobei der Großteil der Rechenleistung den NextGen-Instinct-Beschleunigern zuzuschreiben sein wird. Übrigens bisher die erste, nennenswerte Ankündigung für Instinct-Beschleuniger in einem Supercomputer; die bisherigen Generationen finden sich in keinem einzigen Supercomputer (hier dominiert nVidia).
Der Aurora soll nach aktueller Planung ebenfalls in 2021 in Betrieb gehen und mit dem wird der Frontier nicht "den Boden aufwischen", denn auch der Aurora ist ein Exaflops-System. Abgesehen davon ist das eine Skalierungfrage. Der Aurora wird aktuell mit 500 Mio. US$ beziffert, der Frontier dagegen mit min. 600 Mio. US$.
Zudem erscheint bereits ein Jahr später mit dem El Capitan ein mindestens ebenbürtiger, wenn nicht gar etwas schnelleres System, das voraussichtlich auf nVidia-Hardware basieren wird.
Der ARCHER2 ist dagegen nur ein typisch europäisches System. Bereits in 2020 wird der Perlmutter mit rd. 100 PFlops in Betrieb gehen, also nahezu der vierfachen Leistung.
Und Crysis wird der ARCHER2 nicht wirklich berechnen können, denn hier ist die Rede von etwa einem Dutzend NextGen-Instinct-Karten, die nach aktuellem Kenntnisstand über keine 3D-Engine verfügen werden, d. h. nicht mit etwas wie "Vega 20" vergleichbar sein werden. (Gab es für das Original-Crysis überhaupt einen OpenGL-Port? Andernfalls würde es eh schwer werden, DirectX auf die Knoten zu bekommen
Alles in allem die richtige Richtung für AMD, aber es ist noch ein weiter Weg. Wie erst kürzlich zitiert, haben die zurzeit gerade mal einen Datacenteranteil von 5 %. Und AMD selbst sowie Analysten gehen davon aus, dass man bis Mitte/Ende 2020 etwa 10 % erreicht haben wird (gemäß IDC).
MfG, Föhn.