PCGH-Benchmarks: Feedback von und mit der Redaktion
Eine Meldung in eigener Sache: Aufgrund offenbar gründlich missverstandener Benchmarks sowohl auf der Webseite als auch im Heft wollen wir die Situation (er)klären und hoffen auf ihr konstruktives Feedback.
Gerade seit dem Erscheinen der Radeon-HD-4800-Reihe wurde in letzter Zeit Kritik an PC Games Hardware laut, unsere Benchmarks seien widersprüchlich, abweichend von den Ergebnissen anderer Seiten und anderes. Dabei wurden vielen Dinge in einen Topf geworfen, welche nicht zusammen passten, teilweise wurden Fehlannahmen als Fakten dargestellt und anderes mehr.
PCGH Benchmarks: Leserfeedback erwünscht
Da wir nach wie vor der Überzeugung sind, dass unsere Benchmarks realitätsnah und sinnvoll gehalten sind, wurden in jedem entsprechenden Thema die Irrtümer durch die Redaktion richtiggestellt und die Benchmarks und deren Zustandekommen erklärt.
Um der offensichtlich bestehenden Unklarheit zu begegnen, bringen wir in der Printausgabe 09/2008 der PC Games Hardware ab Seite 102 einen umfangreichen Artikel zum Thema Benchmarks, in dem ein guter Überblick gegeben wird, was Sie beim beliebten Balkenvergleich im Hinterkopf behalten sollten, bevor Sie sich ein Urteil bilden (ein kleiner Auszug findet sich am Ende dieser Meldung).
Transparenz und Nachvollziehbarkeit:
PC Games Hardware gestaltet seine Benchmarks möglichst transparent und für jedermann nachvollziehbar. Doch offensichtlich wird diese Möglichkeit nicht genügend von uns kommuniziert, sodass wir hier und heute versuchen wollen, Abhilfe zu schaffen. Kaum ein andere Medium gibt so offen Einstellungen, Details zu Testsystemen und den verwendeten Testsequenzen und -arten Rückmeldung wie PC Games Hardware. Neben den im Heftartikel demonstrierten Benchmarks finden Sie ausführliche Anleitungen auf der Heft-DVD und eine Erklärung der Sequenzen im Video.
Feedback erwünscht!
Zusätzlich gibt es im PCGH-Extreme-Forum einen Thread, in dem mehr und mehr Benchmark-How-Tos veröffentlicht werden. Auch fragen wir ständig per Quickpoll-Funktion ab, was für unsere Leser besonders interessant ist - wenn Sie ernsthaft daran interessiert sind.
Zusätzlich möchten wir Sie einladen, uns Ihre Meinung im speziellen, zentralen Feedback-Thread im Forum von PCGH-Extreme kundzutun - für konstruktive Kritik haben wir immer ein offenes Ohr und verschließen uns selbstverständlich nicht den Wünschen unserer Leser.
Hier noch der kurze Appetitanreger zum Artikel - auf der Heft-DVD finden Sie ein Video, in dem für viele PCGH-Benchmarks genau deren Durchführung erklärt wird.
Benchmark: Spielbarkeit jenseits der Durchschnitts-Fps
(Auszug)
Benchmarkmethoden II: "Timedemo 1"
Eine weitere beliebte Methode der Leistungstests (neudeutsch: des "Benchmarkens") ist die Verwendung von sogenannten Timedemo-Funktionen. Diese sind durch die Quake-Engine zum bekannten und beliebten Mittel geworden, Fps-Werte zu generieren. Dabei wird über eine Befehlskonsole eine zuvor aufgezeichnete Spielsequenz wiedergegeben. Darin enthalten sind die Befehlsfolgen sämtlicher Spielereingaben und die Reaktionen der Gegner darauf. Vorteil dieser Methode: In der Regel erhält man recht gut reproduzierbare Werte, welche aber oft mangels Echtzeitberechnung von Gegner-KI und Spielphysik den sogenannten Workload, also die Lastverteilung auf einzelne Komponenten, nicht realistisch nachbilden. Zudem werden I/O-Systeme des PCs wesentlich stärker belastet, da die meisten Timedemo-Varianten die aufgezeichnete Sequenz so schnell wie möglich abspielen.Oft wird dabei ein Vielfaches der echten Spielgeschwindigkeit erreicht, sodass die CPU entsprechend schneller die Geometrie anliefern und der auf Echtzeitverarbeitung ausgelegte Soundprozessor in derselben Zeit mehr Effekte verarbeiten muss. Je höher die Bildwiederholraten hierbei ausfallen, desto stärker tritt dieser Effekt zutage. Zumindest gegen die letztgenannte Einschränkung hilft es, wenn Spiele in der Lage sind, mittels Konsolenbefehl die aufgezeichnete Sequenz in Echtzeit abzuspielen. Meist werden so zwar keine Fps-Werte ausgegeben, dafür bietet sich aber das Programm Fraps an, welches Sie in einer kostenlosen Variante auf unserer Heft-DVD finden. Praktischerweise liefert es auch gleich die Minimal-Fps mit, welche für das gefühlte Ruckeln eines Spiels wichtig sind.
