Benchmark-FAQs: So testet PCGH CPUs und Grafikkarten mit Spielen - Update mit Battlefield 3, Skyrim und Spielbarkeitsgrenzen

Wie das "Games" in PC Games Hardware unschwer verrät, legt unsere Redaktion ihren Schwerpunkt beim Testen neuer Hardware auf deren Spieleleistung. Egal ob Grafikkarte, CPU oder Arbeitsspeicher - in erster Linie werden (zumeist) aktuelle Titel zur Leistungsbeurteilung herangezogen. Dieser Artikel soll Ihnen einen Überblick darüber geben, wie PC Games Hardware Spiele bencht und nach welchen Kriterien wir Spielstände und Co auswählen. Darüber hinaus legen wir sehr viel Wert auf transparente Benchmarks: Seit nun mehr einigen Jahren finden Sie daher in unserem Forum das veraltete (!) FAQ: So bencht PCGH Spiele (How-to-Benches inside), welches die aktuell getesteten Spiele samt Anleitungen, Videos und Spielständen auflistet - dies ist ein Novum im Internet; intern werden die Anleitung bereits weitaus länger penibel dokumentiert. So kann jeder Leser die Benchmarks daheim nachstellen und die Werte vergleichen.

 

GTA 4: Der integrierte Benchmark spiegelt nicht ansatzweise die reale Performance wieder [Quelle: siehe Bildergalerie]

 

Need for Speed Shift: Erst mit dem Patch #2 Benchmark-tauglich, da Radeon-Karten zuvor stark ausgebremst wurden [Quelle: siehe Bildergalerie]

 

Anno 1404: Unsere "Small City"-Szene erwies sich als zu Intel-lastig. PCGH nutzt daher nun einen ausgeglicheneren Benchmark [Quelle: siehe Bildergalerie]

Wie ein Spiele-Benchmark entsteht
PC Games Hardware erhält sehr oft Spiele bereits Tage oder Wochen vor dem eigentlichen Verkaufsstart, das gleiche gilt für gewöhnlich auch bei Hardware wie neuen Grafikkarten und Prozessoren. Dies ermöglicht es unseren Redakteuren, vor dem Release des jeweiligen Spiels dieses ausführlich anzutesten. So erhalten wir nicht nur ein Gefühl für die allgemeine Performance, sondern auch wie abhängig der Titel von der Grafik- oder auch der CPU-Leistung ist. Während dem Anspielen ist es für einen PCGH-Redakteur selbstverständlich, dass er sich nach einer passenden Szene für Benchmarks umschaut und entsprechende Spielstände anlegt.

Test-Philosophie
PC Games Hardware verfolgt die Maxime, dass einzig Benchmarks mit Spielständen die reale Performance eines Spieles widerspiegeln, da nur hier die KI und Co. aktiv sind. Diverse Spiele bringen integrierte Benchmark-Funktionen mit sich. Diese repräsentieren jedoch nur selten das ingame-Geschehen. Als Beispiel sei der Flyby von Grand Theft Auto 4 genannt, der mit dem eigentlichen Spiel kaum etwas gemein hat und auch die Ergebnisse klaffen weit auseinander. Sofern zeitlich wie technisch möglich nutzt PC Games Hardware daher Spielstände oder zumindest Ingame-Scripts (wie bei Call of Duty).

Wahl des Benchmarks
Für gewöhnlich generiert das Durchspielen eines Titels mehrere für Benchmarks nutzbare Spielstände, bei umfangreichen Titeln wie Dragon Age greifen wir auch teils auf Saves der Kollegen von PC Games/Action zurück und spielen von dort aus weiter. Die gefundenen Savegames werden anschließend mit mehreren Grafikkarten und CPUs Probe gebencht, um herauszufinden, welches die besten Ergebnisse hinsichtlich Anforderungsprofil (soll es ein CPU- oder ein GPU-Benchmark werden oder gar beides und auch den Arbeitsspeicher stressen?), Skalierung (wo ist das CPU- wie GPU-Limit?) und Reproduzierbarkeit (schwankende Resultate sind unpraktikabel) erbringt. Zu guter Letzt werden alle Resultate von einem vierköpfigen Gremium (Spieleveteran Frank Stöwer, Testlabor-Chef Daniel Möllendorf und die Benchmark-Profis Marc Sauter sowie Raffael Vötter) begutachtet und ein Spielstand für die Tests ausgewählt. Diese Methode es ist extrem zeitintensiv und daher nicht immer möglich.

Ein paar Worte zum Thema "Repräsentativität"
Selbstverständlich ist jeder Test streng genommen nur eine Momentaufnahme, da ein bestimmtes System mit bestimmter Software (Hardware, OS, Treiber und insbesondere die Spielversion!) sowie einer speziellen Szene niemals repräsentativ für x Stunden Spielzeit sein kann. Jegliche Schlussfolgerungen, die über die Fps-Leistung getroffen werden, basieren ergo auf einer solchen Momentaufnahme - zuzüglich den Erfahrungen, die wir während dem Spielen sammeln. Dementsprechend gibt es auch keine "richtigen" oder "falschen" Benchmarks, es gibt nur solche, die vom ungefähren Performance-Mittel (teils massiv) abweichen oder dieses gut abbilden - letzteres ist klar zu präferieren. Das Mittel lässt sich sehr gut herausfinden, indem man mehrere Level oder Szenen jeweils 15 Minuten spielt und dabei die Fps aufzeichnet und diese Werte anschließend mittelt; enorm aufwendig, aber sehr effektiv.

Dass auch PC Games Hardware mit einer Szene stark abweichen kann, zeigte unser Anno-1404-Benchmark "Small City", welcher sich im Nachhinein als extrem Nehalem-CPU-freundlich erwies. Zwar sieht das Spiel in den vielen Szenen die Intel-Prozessoren in Front, jedoch nicht derart wie unser Benchmark suggerierte; zudem erwies sich der Spielstand mit Patch 1.2 als fehlerhaft . Mittlerweile nutzen wir mit "Big City" ein ausgewogeneres Savegame. Eine solche Umstellung ist allerdings mit großem Aufwand verbunden und kann ergo nicht innerhalb kurzer Zeit vollzogen werden - zu viele Vergleichswerte müssen neu erstellt werden.

Im Gegenzug verwenden teils auch andere Webseiten wie Computerbase oder das 3D Center Benchmarks oder (eine ähnliche) Szenen, welche PCGH bereits zuvor einsetzte - beispielsweise bei Call of Duty: World at War ("Ohne Unterbrechung") und Colin McRae Dirt 2 ("Malaysia") sowie GTA 4 ("Promenade"). Dies spricht positiv für die Auswahl unserer Benchmarks, denn auch unsere Mitbewerber erachten diese offensichtlich als repräsentativ.

Die Kunst ist es, eine Szene zu finden und zu wählen, die einerseits fordernd ist, andererseits muss dieses Performance-Level im Spiel häufig anzutreffen sein - dann ist die Szene als repräsentativ anzusehen. Beispielsweise ist es sinnlos, einen Benchmark zu wählen, der sehr hohe Fps produziert, sobald aber im Spiel Aktion angesagt ist, die Bildrate ins Bodenlose stürzt - ein solcher Benchmark spiegelt nicht das Anforderungsprofil wieder. Die Szenen, die PC Games Hardware auswählt, zeigen in der Regel das Leistungsbild in fordernden Abschnitten eines Spiels. Erreicht Ihre Komponente hier spielbare Werte, läuft der Titel bis auf wenige Ausnahmen flüssig. Bei den meisten Benchmarks benennen wir den Grad der verwendeten Szene, beispielsweise wenn es sich um einen sogenannten Worst-Case handelt, welcher extrem leistungshungrig ist und der Hardware alles abverlangt.

How-to-Benches inside
Auf den kommenden Seiten finden Sie alphabetisch sortiert unsere aktuellen Spiele-Benchmarks samt How-to-Benches, Savegames und Videos der verwendeten Szenen. Ältere Benchmarks (z.B. Assassins Creed) halten wir weiterhin im Extreme-Forum für Sie bereit. Bitte beachten Sie, dass unsere Werte nur dann reproduzier- und vergleichbar sind, wenn Sie die identischen (!) Einstellungen wählen und sich penibel an die jeweilige Anleitung halten, zudem benötigen Sie eine gewisse Routine. Im Idealfall spuckt Fraps nach drei Durchläufen Werte aus, die sich im Rahmen von weniger als einem halben Fps unterscheiden - im Mittel wie bei den minimalen Resultaten. Ausreißer sind bei unseren Benchmarks unüblich, treten solche wider Erwarten auf, gilt es einen dritten oder vierten Run durchzuführen.

Gerne gestatten wir auch die Verwendung unserer Benchmarks durch Dritte, sofern wir als Urheber genannt werden.