DaveGame Vol. 1: Warum Benchmarks so komplex sind - Der PCGH-Blog im Januar 2020

Hallo an alle da draußen. Mein Name ist David Ney, ich bin 32 Jahre alt und wohne nicht weit von den "heiligen" PCGH-Hallen entfernt. Doch warum sind diese Hallen eigentlich so heilig? Da ich schon immer ein Mensch war, der täglich über sein Leben, seine Umwelt und über die Menschen in seinem Umfeld nachdenkt, habe ich immer viele mögliche Erklärungen für alles parat. Dieser Blog, dieser monatliche Kommentar, welcher im Januar 2020 seinen Anfang nehmen soll, soll als eine Art Dolmetscher für jene Gedanken dienen.

Ich schreibe hier frei von der Seele herunter, und das muss dem Leser klar sein: Alles, was ich hier sage, schreibe und bewerte, zeigt den Menschen hinter "PCGH_Dave". Ich muss es somit als "Kommentar" beschreiben, als persönliche Meinung. Diese müsst ihr nicht akzeptieren, doch wünsche ich mir natürlich den Respekt, den ihr auch anderen fremden Menschen gegenüber aufbringt. Doch nun zurück zu der Frage, was PCGH mit "heilig" zutun hat. Wisst ihr, vor gar nicht mal so langer Zeit war ich selbst noch Leser. Erinnert sich noch jemand an die PCGH-Woche in Bildern? Ich fand das damals immer großartig, weil es einen kleinen Einblick in den Alltag von PC Games Hardware gab. Nach diesem Schema möchte ich euch auch mein "PCGH-Bild der Woche" zeigen. Ihr findet es im Titel, und habt es wahrscheinlich zuerst angeschaut. Dort seht ihr mich, wie ich an meinem ersten Tag überhaupt in der Redaktion war.

Und damit meine ich nicht meinen ersten Arbeitstag, sondern meinen ersten Besuch, kurz nachdem klar war, dass ich den Job als (CPU-)Volontär in der Tasche halte. Sämtliche Kollegen mussten alsbald zur einer Versammlung ein Stockwerk höher und ich war etwa eine halbe Stunde allein in den "heiligen Hallen", bis ich hinaus ging, weil ich meinen Zug erwischen musste. Mein Blick zeugt von Hoffnung, Zuversicht und Ehrfurcht. Ich wusste da noch nicht, welch großartiger Alltag mich erwarten würde. Und von diesem Alltag möchte ich euch heute erzählen.

Benchmarks - Wenn dein PC macht, was er will

Wer immer schon mal wissen wollte, wie PCGH seine Benchmarks erstellt, dem möchte ich euch heute einen kleinen Einblick darüber geben. Denn Benchmarks sind eine Sache, die ich fast jeden Tag erledige. Und damals, als Leser, dachte ich immer, dass es doch eigentlich ganz einfach wäre: Man stellt die Grafik ein, stellt sich im Spiel an eine bestimmte Stelle und startet den Durchlauf. Doch weit gefehlt, Benchmarks sind eine Kunst für sich, ein eigenes Mysterium. Da entstehen sehr viele Fragen, wie zum Beispiel: Was möchte ich dem Leser sagen? Welche Funktion erfüllt dieser Benchmark? Eignet sich das Spiel XY überhaupt für Benchmarks? Welche Einstellungen sollte ich vornehmen, wenn ich beispielsweise die CPU oder die Grafikkarte testen möchte? Woher weiß ich, dass die Werte "richtig" sind? Und vor allem: Wie interpretiere ich die gemessenen Werte korrekt?

Den CPU-Index hochgerechnet

Da ich gerne mit Zahlen spiele, hier mal ein kurzer Überblick darüber, wie umfangreich allein die Benchmarks für den CPU-Index ausgefallen sind:

- Derzeit befinden sich 38 CPUs im Index.
- Der Index besteht aus zehn Spielen und sechs Anwendungen.
- Jeder Test findet mindestens dreimal statt, um Kuriositäten, wie falsche Werte oder Hintergrundlast, möglichst auszuschließen.
- Bei 16 Tests, die dabei durchlaufen werden müssen, absolviert jede CPU demnach mindestens 48 Messungen.
- Bei 38 CPUs mit jeweils 48 Messungen bedeutet das insgesamt mindestens 1.824 Messungen.

Quelle: PC Games Hardware So sieht mein zweiter Tisch aus. Hier sammeln sich alle Mainboards, die ich für meine CPU-Tests benötige. Und das sind nur die, die ich oft benötige. Unter dem Tisch finden sich noch mehr.
Doch die gemessenen Werte haben im modernen Benchmark-Alltag nur eine geringe Halbwertszeit. Fast jede Woche wird irgendein Spiel gepatcht. Oder ein neuer Grafikkartentreiber erscheint. Oder Windows 10 wird abermals mit einem Update versehen, welches zum Beispiels Ryzen-CPUs beschleunigen soll. Die Chipsatztreiber für AMD-Boards werden auch ständig weiterentwickelt. Das bedeutet, dass ein Index-Run, mit beispielsweise einem Ryzen 5 1600, nach wenigen Monaten nur noch ungenaue Werte liefert. Niemand weiß, ob Treiber X, Windows-Update Y oder Patch Z die Performance beim Spielen verändert hat. Es werden stichprobenartig Werte überprüft - ist die Diskrepanz zu groß, muss die CPU zwangsläufig einen neuen Index-Run absolvieren. Der problematische Faktor dabei ist die Zeit, da neben solchen Messungen noch ein Heft mit Inhalten gefüttert und unsere Homepage mit Specials versehen werden möchte.

Das ist mein Job

Meine Ausführungen klingen, als wolle ich mich darüber beschweren. Doch versteht mich bitte nicht falsch. Das ist mein Job, und ich mache ihn gern, wirklich. Ich kann jeden Tag mit Hardware hantieren, die weit über meinen finanziellen Möglichkeiten liegt, und damit Vergleiche anstellen, die sonst nicht möglich wären. Ich stehe in Kontakt mit AMD und Intel (beziehungsweise dessen Vertretern), werde zu Events auf der ganzen Welt eingeladen, kann mich täglich mit meinen Kollegen über jedwedes Hardware-Thema austauschen und habe rund um die Uhr Zugang zu Kaffee. :-)

Ich bin offen für Kommentare und Feedback, teilt mir doch bitte mit, was ihr von der Idee um "DaveGame" haltet und ob ihr gerne mehr davon sehen würdet. Ich arbeite dann mal weiter. Viele Grüße, euer Dave.

Artikel teilen

DaveGame Vol. 1: Warum Benchmarks so komplex sind - Der PCGH-Blog im Januar 2020 Ich möchte hiermit einen monatlichen Blog ins Leben rufen. Das Ziel dieses Blogs soll sein, dass ich frei von der Seele reden kann, ohne in eine Schublade gesteckt zu werden. Er soll den Lesern aber auch einen Blick in den Redakteurs-Alltag geben. Ich möchte hier über Alltägliches sprechen, aber auch besondere Momente und Menschen hervorheben. Dafür suche ich mir jeden Monat ein Thema aus, über das ich sprechen möchte. Im Januar sollen es Benchmarks sein.

Per E-Mail versenden

33