Auf der Arc A770: KI-Bildgenerator dank Microsoft fast dreimal so schnell
Intel hat mit Microsoft zusammengearbeitet, um mit seinen neuen diskreten Arc-GPUs die Leistung generativer KIs zu beschleunigen. Dies sei mit Treiberverbesserungen und dem Open-Source-Modelloptimierungs-Tool Olive von Microsoft gelungen. In diesem Zusammenhang soll die Performance von Stable Diffusion 1.5 um das 2,7-fache verbessert worden sein.
Vergangene Woche war Intel bei Microsofts Ignite-Entwicklerkonferenz zugegen. Dort stellten die beiden Tech-Riesen ihre gemeinsame Entwicklungsarbeit vor, die es zum Ziel hat, "hochmoderne Workloads generativer KI" auf Intel-GPUs unter Windows zu ermöglichen. Gemeint sind Intels neue dedizierte Grafikkarten der Arc-Alchemist-Serie, die über Xe Matrix Extensions (Intel XMX) verfügen. Mit diesen lassen sich KI-Workloads beschleunigen, denn das XMX-Array bietet laut Intel enormen Durchsatz für Matrixmultiplikationsarbeit, welche für ebendiese anspruchsvollen KI-Workloads vonnöten seien.
Stable Diffusion fast dreimal schneller auf einer Arc A770
Unterstützt durch Microsofts Open-Source-Tool für Modelloptimierung - Olive - soll das volle Potenzial von Intels Arc-GPUs bei der Beschleunigung von KI-Workloads herausgekitzelt werden. Olive soll vor Kurzem weitere Updates erhalten haben, die sich auf den Text-zu-Bild-Generator Stable Diffusion und das große Sprachmodell Llama 2 konzentrieren.
Auch interessant: Asrock AI Quickset bringt Stable Diffusion auf AMDs RX-7000-Grafikkarten
Auf der Arc A770 mit 16 GiB Grafikspeicher soll die für Olive optimierte Version von Stable Diffusion 1.5 mit der doppelten Geschwindigkeit laufen. Intels GPU-Treiber bringe nochmals Verbesserungen mit Hinblick auf generative Workloads, und so soll eine Steigerung der Performance von Stable Diffusion 1.5 um das fast Dreifache auf einer Arc A770 erreicht werden können. Intel berichtet konkret von einer 2,7-fach besseren Performance.
Quelle: Intel
Performance-Unterschiede bei Stable Diffusion 1.5 auf einer Arc A770 16 GiB.
Intel ist nicht der erste GPU-Entwickler, der mithilfe von optimieren Modellen durch Microsoft Olive eine deutliche Verbesserung der KI-Performance bei Stable Diffusion feststellte. Schon im Mai dieses Jahres versprach Nvidia die doppelte Leistung beim KI-Text-zu-Bild-Generator Stable Diffusion mit dem Game-Ready-Treiber in der Version 532.03. Auch AMD liefert mittlerweile Maßnahmen zur Optimierung von KI-Workloads mit seinen Treibern aus.
Quelle: Intel
[Ins Forum, um diesen Inhalt zu sehen]
müsste die A770 damit auf folgende Vergleiche kommen:
512x512: A770 16 GB = 15,44 * 2,7 = 41,7 = RTX 4070 Ti
768x768: A770 16 GB = 4,7 * 2,7 = 12,69 = RTX 4070
Nehme ich nicht die Intel Arc A770 Limited Edition sondern eine andere A770 Karte zum Preisvergleich, dann kostet eine A770 16 GB-Karte aktuell ca. 300-350€, also etwa halb soviel wie eine RTX 4070 mit nur 12 GB. 768x768 ist für mich eher der relevante Vergleich, aber schon das ist individuell verschieden.
Den Vergleich zu AMD darf sich ein AMDler selber ausrechen und z.B. die SHARK Werte von Puget Systems irgendwie damit verrechnen.
[Ins Forum, um diesen Inhalt zu sehen]
Obige NVidia-Werte stammen von A1111, was MS/Intel genutzt haben und ob die (vermutlich) 3 Implementierungen bei identischen Ausgangsparametern auch 100% identische Ergebnisse liefern, weiss ich nicht.
Da es aber nicht nur um die Leistung ansicht ging, sonder auch um den Preis, würde ich aber auch der Stromverbrauch der Karten nicht vernachlässigen. Intel dürfte hiernach zumindest über der RTX 4070 liegen:
[Ins Forum, um diesen Inhalt zu sehen]
Mir geht es dabei nicht nur um Volllast, sondern auch um so Werte wie bei YT oder den Idle-Desktop. Damit fällt die A770 Karte für mich schonmal flach, da ich den PC nicht nur für SD nutze, sondern z.B. auch als TV.
Dazu kommt, wenn man sich nicht gerade einen neuen PC zusammen stellt, auch noch die Frage, ob man beim Aufrüsten der alten Grafikkarte das vorhandene Netzteil weiter nutzen kann oder nicht.
Das mag sich alles als Milchmädchenrechnung anhören, das ist aber genau das, worum es mir aktuell geht:
Vorhanden ist ein i9-9900K mit GTX 1060 und einem 450W Netzteil. Bleibt der i9 bei meinen "standardmäßigen" 150W max., dann reicht mein 450W NT ziemlich sicher für eine RTX 4070 mit 200W (mit SD und der 1060 zieht der i9 keine 50W). Eine (vermutlich bei SD 1.5 mit der 4070 vergleichbare) RT 7800 XT benötigt dagegen bis zu 260W, da ist also bei gleicher Leistung (aber mehr VRam) ein neues NT fällig, wenn ich den PC nicht in Ruhe lasse während SD arbeitet. Damit ist Kostenersparnis der Intel oder AMD Karte nach ein paar Jahren egalisiert und es bleibt eine Spekulation darauf, wie gut die Community neue SD Versionen auf NVidia, AMD und/oder Intel GPUs anpassen wird und/oder ab wann ich dort unbedingt 16 GB VRam möchte.