Benchmarks: Wie synthetisch darf's denn sein?

Benchmarks: Wie synthetisch darf's denn sein?
Generell wird eine grobe Unterteilung der Benchmarks vorgenommen. Die eine große Gruppe bilden dabei die sogenannten synthetischen Benchmarks, die andere große Gruppe ist die der Spiele-Benchmarks. Unter Ersteren versteht man einerseits relativ unbekannte, oft selbst programmierte Messsoft­ware, die nur einen einzelnen Aspekt des gesamten Systems möglichst isoliert betrachtet. Dabei wird beispielsweise die arithmetische Leistung moderner CPUs ab­strakt mithilfe winziger Algorithmen in FLOPS, Gleitkommaoperatio­nen pro Sekunde, gemessen. Diese sind so klein, dass sie im Gegensatz zur großen Mehrheit der Anwender-Software komplett aus dem Cache der CPU mit Daten versorgt werden können. Grafikprozessoren werden mithilfe von Füllratenmessungen zu klassifizieren versucht, wobei es allein hiervon bereits völlig unterschiedliche Typen (von reinen Tiefentests über Pixel-, Textur- und Shaderfüllraten) gibt. Dies ist nützlich, wenn Sie sich über grundlegende Stärken und Schwächen einer bestimmten Architektur informieren wollen - allerdings gibt es auch hier Stolperfallen: Reine Füllraten- und Texturtests haben die Geforce 7 im Gegensatz zur Spielerealität meist auf Augenhöhe mit der Radeon X1900 gesehen. Zu den synthetischen Benchmarks gehören auch Programme wie der 3D Mark Vantage. Diese versuchen, die allgemeine Spieleleistung eines Systems in einer einzigen Zahl abzubilden - diese Einfachheit erklärt auch deren große Beliebtheit.

Doch Vorsicht: Echte Vergleichbarkeit ist so nur gegeben, wenn jeweils nur eine einzelne Komponente des Systems getauscht und der Einfluss dieses Wechsels auf die Benchmark-Ergebnisse beobachtet wird. Eines jedoch haben alle diese Programme gemeinsam: Alle Messungen finden innerhalb einer Umgebung statt, welche echte Spielsituationen entweder absichtlich nicht abbildet oder nicht in der Lage ist, dies korrekt zu tun. Kaum ein Benchmark nutzt während des Durchlaufes Soundberechnungen in Echtzeit, viele bieten keine dynamische KI, andere wiederum nutzen komplizierte Formeln, um den Einfluss von separat gemessener CPU-Leistung auf das Gesamtergebnis darzustellen. Die wirkliche Spieleleistung wird dabei in kaum einem Fall reell wiedergegeben.

Im Falle des aktuellen 3D Mark Vantage zum Beispiel wird die Gesamtwertung aus dem Grafik- und dem CPU-Ergebnis mittels einer komplizierten Formel errechnet. Die Grafiktests nutzen dabei kaum einen Dualcore-Prozessor aus, geschweige denn eine CPU mit vier oder mehr Kernen. Dies tun erst die CPU-Tests, welche allerdings die Grafikkarte kaum belasten. Um wenigstens eine Annäherung an die Spielerealität zu erhalten, wird dann eine Gewichtung der beiden Teilresultate vorgenommen, welche sich bei den offiziellen Voreinstellungen ("Presets") sinnvollerweise wenigstens unterscheidet - das war im 3D Mark 06 noch wesentlich schlechter gelöst. Fließen in das "Performance"-Preset die CPU-Ergebnisse noch zu 15 Prozent in die Gesamtwertung mit ein, sind es in der grafisch aufwendigeren "Extreme"-Einstellung nur noch 5 Prozent Anteil am 3D-Mark-Wert.

Artikel teilen

Besonders Grafikkarten-Benchmarks sind ein heikles Thema, eines, welches immer wieder für Kontroversen sorgt und das nur schwierig zu vermitteln ist. Unser Artikel zeigt einige Perspektiven, welche für Außenstehende mangels Einblick oft nur wenig einschätzbar sind. Wir hoffen damit, das Thema Benchmarks bei unseren Lesern weiter sensibilisieren zu können.

Per E-Mail versenden

0

1. Seite 1 Benchmarks auf dem Prüfstand
2. Seite 2 Benchmarks: Wie synthetisch darf's denn sein?
3. Seite 3 Sind Spiele immer die besseren Benchmarks?
4. Seite 4 Benchmark-Methoden I: Integrierter Benchmark
5. Seite 5 Benchmark-Methoden II: Timedemo 1
6. Seite 6 Benchmark-Methoden III: Cut-Scenes
7. Seite 7 Spielbarkeitsbenchmarks
8. Seite 8 Wichtig: Aktuelle Patches
9. Seite 9 Treiberwahl
10. Seite 10 Fazit Benchmarking