Cap Frame X Version 1.50: Umfangreiches Tool zur Überwachung und Analyse im Test

Wenn Sie gerne Benchmarks erstellen und Ihr System damit auf Herz und Nieren prüfen möchten, benötigen Sie dafür ein Tool zur Analyse und Auswertung. Cap Frame X schickt sich, das beste Tool für diese Aufgaben zu werden. Bis vor einigen Jahren erledigte das Fraps; das Tool ist dazu in der Lage, Benchmarks, Screenshots und Videos zu erstellen. Der Support wurde allerdings Anfang 2013 eingestellt. Zu dieser Zeit wurde MSI Afterburner immer populärer. Neben den Funktionen die Fraps bereitstellt, lässt sich mit dem Afterburner noch viel mehr anstellen, zudem fällt die Dokumentation für Benchmarks umfangreicher aus. Das Tool ist jedoch primär fürs Grafikkarten-Tuning gedacht, weniger zur Analyse. Das dritte Tool im Bunde ist OCAT. Letzteres zeichnet "nur" Fps auf und bietet zudem ein Overlay, welches allerdings massiv Performance kostet. Wenn Sie dann noch Taktfrequenzen und die Leistungsaufnahme einzelner Komponenten auslesen möchten, benötigen Sie Tools wie HW Info x64.

Stellen Sie sich folgende Situation vor: Sie sind CPU-Fachredakteur und erhalten beispielsweise von Intel einen neuen Prozessor zum Testen. Sie sollen nicht nur die durchschnittliche Leistung aufzeigen, sondern auch die Leistungsaufnahme bei alltäglichen Aufgaben und Spiele-Sessions. Welche Programme zur Analyse würden Sie jetzt benutzen? Bisher sind dafür mindestens drei Tools erforderlich: OCAT/MSI Afterburner für die Benchmarks, HW Info x64 um Durchschnittswerte von Taktfrequenzen und der Leistungsaufnahme auszulesen/anzulegen und schließlich Microsoft Excel respektive Textdatei inklusive Taschenrechner zur finalen Auswertung der Daten. Das geht zulasten der Übersicht und erhöht das Fehlerpotenzial. Lange Rede, kurzer Sinn: Es gibt viele Tools, die eine Sache gut können, aber kein Programm, was alles vereint. Bis jetzt.

Das Master-Tool, welches alle Aufgaben im Alleingang bewältigt

In der PCGH-Redaktion nutzen wir bisher OCAT und HW Info x64, um unsere Benchmarks zu dokumentieren. In einer vorkonfigurierten Zeitspanne von 20 Sekunden starten wir das Einlesen der relevanten Daten per Hotkey, führen den Benchmark durch und bekommen durch die Tools schließlich die Zusammenfassung der gemessenen Daten. Der Mittelwert aus drei Messungen ergibt so unter anderem die durchschnittlich erreichte Bildrate. Bei den CPU-Tests kommt zusätzlich eine Messung der Leistungsaufnahme zum Einsatz, welche per HW Info x64 erfolgt, die über den kompletten Zeitraum vom Spielstart bis zum Ende der Messungen, alle zwei Sekunden die sogenannte CPU-Package-Power aufzeichnet. Dieser Vorgang hat zwei Nachteile: Erstens ist Feedback von OCAT ungenau und zweitens erfordert das Starten sowie Beenden des Log-Vorgangs bei HW Info x64 einen kurzen Moment ohne Last außerhalb der Anwendung beziehungsweise dem zu testenden Spiel.

Optisch ansprechender und deutlich komfortabler ist Cap Frame X. Die Entwickler, Mark Fangmeyer, Alexander Winnen und Mario Dietz sind unter anderem Teil der PC Games Hardware Extreme Community (gaussmath, Nafi und Taxxor) und arbeiten gemeinsam eifrig an der Open Source Software. Die Idee bei CX ist, nicht nur Benchmarks zu erstellen, sondern sie danach direkt analysieren und verwalten zu können. Die Berechnung übernimmt dabei das Tool selbst, was Zeit spart. Bevor wir uns zu den Tests und Vergleichen mit ähnlichen Tools begeben, erklären wir Cap Frame X vollständig in seinem Aufbau.

Capture

Quelle: PCGH CapFrameX Version 1.50: Capture-Tab: Hier werden die wichtigsten Einstellungen gemacht. Dieser Tab begrüßt Sie, wenn Sie das Tool starten. Auf der linken Seite sehen Sie auf dem Bild bereits mehrere Durchläufe, die der Autor dieser Zeilen vor einiger Zeit durchgeführt hat. Mit der aktuellen Version ist es möglich, mehrere Ordner anzulegen, dazu klickt man links ganz einfach auf Observed Directory. Viel wichtiger sind aber die Einstellungen in der Mitte des Tabs. Hier legen Sie den Capture Hotkey und die Capture Time fest. Wenn Sie wie PCGH benchen möchten, dann legen Sie hier beispielsweise einen Wert von 20 Sekunden fest. Wenn Sie nun im Spiel auf den Capture Hotkey klicken, läuft der Benchmark und beendet sich automatisch nach 20 Sekunden (beziehungsweise nach dem von Ihnen festgelegten Wert, der Wert 0 bedeutet unendlich). Der Hotkey "Sound Mode" gibt bei Start und Ende des Durchlaufs akustisches Feedback. Dies ist optional, da das Tool über ein großartiges Overlay verfügt. Zum Overlay und den Sensor-Log später mehr. Oben gibt es dann noch die laufenden sowie ignorierten Prozesse. Starten Sie ein Spiel, erkennt CX das automatisch und fügt die *.exe zu den Running Processes hinzu. Nur wenn CX den Prozess erkennt, arbeitet das Aufzeichnen der Parameter korrekt, was glücklicherweise aber immer der Fall ist. Ab und zu kann es allerdings passieren, dass sich ein weiterer Prozess reinschummelt. Dies wird aber direkt vom Overlay angezeigt. Den unerwünschten Prozess kann man per Klick auf Move To Ignore List auf jene verschieben, wo er dann für immer bleibt.

Overlay

Quelle: PCGH CapFrameX Version 1.50: Overlay-Tab: Für das Overlay benötigen Sie den RTSS. Zudem finden sich hier die mächtigsten Funktionen von CapFrameX. Neben Capture der wichtigste Tab in CX. Damit das Overlay korrekt funktioniert, benötigen Sie den Riva Tuner Statistics Server (RTSS). In der Mitte legen Sie nun die gewünschten Parameter zur Überwachung fest und achten darauf, dass On-Screen-Display (OSD) zu aktivieren, sowohl in CX als auch im RTSS. Mit dem Overlay Hotkey legen Sie die Taste fest, mit welcher Sie das OSD jederzeit an- und abschalten können. Auf der rechten Seite lässt sich nun die mächtigste Funktion von CX aktivieren, die Run History inklusive der Aggregation (Zusammenfassung von Daten nach mathematisch-statistischen Methoden).
Quelle: PCGH CapFrameX Version 1.50: Overlay in Aktion. Viele User dürften das vom MSI Afterburner kennen. Diese Anzeigen stammen allerdings alle von CapFrameX. Ist die Aggregation aktiviert, wird ein Benchmark-Durchlauf erst gespeichert, wenn er die hier vorher festgelegten Bedingungen erfüllt. Neben der Anzahl der Durchläufe legen Sie zwei Parameter fest, die neben den durchschnittlichen Bildern pro Sekunde untersucht werden sollen, die Second und Third Metric. Unter Aggregation legen Sie nun die Outlier Metric fest. Das kann die Second als auch die Third Metric sein. Wir haben in unserem Beispiel die Second Metric ausgewählt, was der Second Metric der Run History (1% Percentile) entspricht. Als letztes legen Sie die Outlier Percentage fest, wir haben hier drei Prozent ausgewählt.

Was jetzt beim Benchmark passiert, macht Cap Frame X einzigartig. Übersteigt ein Parameter die von Ihnen festgelegte Outlier Percentage, wird der Durchlauf in roter Farbe, sprich als "Ausreißer" markiert. Sie können vorher in CX konfigurieren, was mit diesem Ausreißer-Wert geschehen soll. Mit Mark & Use wird der Wert nur als Ausreißer markiert, jedoch verwendet. Viel praktischer ist Mark & Replace: Mithilfe eines erneuten Durchlaufs, welcher prozentual besser zu anderen beiden (nicht-Ausreißern) passt, kann der fehlerhafte Wert automatisch durch diesen ersetzt werden. Das ist Gold wert! Würde man beispielsweise fünf Durchläufe mit OCAT erstellen, wüsste man erst bei der nachträglichen Auswertung ob die Werte korrekt sind. Cap Frame X hingegen zeigt den fehlerhaften Wert direkt nach dem Erstellen an.

Des Weiteren sorgt die Aggregation für genauere Ergebnisse. Sie mittelt nicht die bereits errechneten Werte der einzelnen Durchläufe, sondern fügt die Rohdaten aller Durchläufe zusammen und bildet davon einmalig die Perzentile und weitere Daten. So wird korrekt simuliert, dass der Tester die Szene tatsächlich in einer zusammenhängenden Aufnahme mehrmals abgelaufen ist. Somit wird vermieden, dass ein Durchlauf mit überdurchschnittlich guten Werten den Wert verfälscht.

Analysis

Quelle: PCGH CapFrameX Version 1.50: Analysis-Tab: Graphen, Balken, Diagramme – hier finden sich unzählige Informationen über die Benchmarks. Die Benchmarks sind abgeschlossen, jetzt geht es an die Analyse. Dafür gibt es den Analysis-Reiter. Mit Klick auf einen der erfolgreich durchgeführten Durchläufe auf der linken Seite, erscheinen im Hauptfenster nun zahlreiche Informationen und Daten. Im kleinen Fenster unten rechts verbergen sich die Sensor Statistics. Wer im Reiter Capture Log Sensors aktiviert hat (Standardmäßig aktiv), bekommt hier aufschlussreiche Informationen zu sehen, beispielsweise die durchschnittliche Leistungsaufnahme der CPU. Die Daten die geloggt werden, sind dabei fest vorgegeben.

Mithilfe der Frametimes lassen sich Leistungsbremsen entlarven. Hier lohnt sich immer ein näherer Blick. Das Tortendiagramm zeigt die sogenannte Stuttering Time. Das sind Frametimes, die um das 2,5-fache über dem Durchschnittswert liegen. Klicken Sie oben auf den Reiter L-Shape, erhalten Sie eine Aufschlüsselung der einzelnen Perzentile.

Aggregation

Quelle: PCGH CapFrameX Version 1.50: Aggregation-Tab: Erlaubt die nachträgliche Aggregation bestehender Benchmarks. Dieser Tab ermöglicht eine nachträgliche Aggregation von Benchmarks, welche zum Beispiel ohne diese Funktion erstellt wurden. Das ist auch nützlich, wenn man auf verschiedene Parameter testen möchte. Ausreißer werden auch hier rot markiert, ähnlich wie im Overlay. Der User entscheidet anschließend, ob die Aggregation inklusive oder exklusive der Ausreißer erstellt wird, was jeweils einen neuen Benchmark in der Übersicht links erstellt.

Comparsion

Quelle: PCGH CapFrameX Version 1.50: Comparsion-Tab 1: Aufgeräumte und optisch ansprechende Vergleichsmöglichkeit aller Benchmarks mit frei konfigurierbaren Parametern. In diesem Tab ist eine sehr übersichtliche Vergleichsmöglichkeit gegeben. Jeder Durchlauf kann per Doppelklick eingefügt werden. Mithilfe der konfigurierbaren Parameter unten lassen sich viele verschiedene Daten miteinander vergleichen. Mit dem Comment, welcher sich für jeden Benchmark einzeln händisch eintragen lässt, geht auch bei sehr vielen Vergleichen die Übersicht nicht verloren. Die Diagramme sind dynamisch. Per Mouseover werden Prozentzahlen eingeblendet. Per Klick in die Frametimes werden die exakten Werte angezeigt.
Quelle: PCGH CapFrameX Version 1.50: Comparsion-Tab 2: Verschiedene Frametimes lassen sich so komfortabel verwalten und vergleichen. Über den Button Range Slider ist es möglich, nur ganz bestimmte Bereiche der Aufzeichnung zu analysieren. Der geneigte Leser kann nach Durchführung aller Benchmarks in diesem Tab bequem alle Werte überprüfen, gegenlesen und/oder direkt verwenden; eine Sache, die in anderen Tools wie beispielsweise OCAT schlichtweg nicht möglich ist.

Report

Quelle: PCGH CapFrameX Version 1.50: Report-Tab: Simple Anzeige aller Parameter, mit der Möglichkeite diese in andere Programme zu exportieren. Der einfachste Tab in Cap Frame X. Per Doppelklick auf einen Benchmark wird eine simple Übersicht aller Parameter ermöglicht. Diese Daten lassen sich kopieren und beispielsweise in Excel, oder wie im Bild gezeigt, in eine Textdatei einfügen. Das funktioniert übrigens auch in anderen Tabs, wie zum Beispiel bei den Frametimes, den Graphen, die Metriken und den L-Shape-Werten.

Synchronization

Quelle: PCGH CapFrameX Version 1.50: Synchronization-Tab: Umfangreiche Input-Lag-Analyse. Zeigt zudem die Zeit an, wie lange ein Frame braucht, bis er auf dem Bildschirm angezeigt wird. Hinter diesem Tab verbergen sich zwei Reiter. Der erste ist die Input Lag Approximation. Wie der Name es vermuten lässt, zeigen die Graphen den Input Lag des jeweiligen Durchlaufs. Mithilfe eines Offsets kann der Wert angepasst werden, da CX den vom Nutzer verursachten Input Lag durch Maus und Tastatur nicht erfasst. Die Graphen im zweiten Reiter, Until Displayed Times, zeigen die Dauer an, wie lange ein Frame gebraucht hat, bis dieser erfolgreich an den Bildschirm geschickt wurde. Für Monitor-Tester interessant: CX kann die Fps anzeigen, welcher innerhalb der Sync-Range des Monitors liegen.

Cloud

Quelle: PCGH CapFrameX Version 1.50: Cloud-Tab: Mithilfe der Cloud können User untereinander Benchmarks teilen. Zudem dient sie dem Nachweis über die Echtheit der Benchmarks. Mithilfe der Cloud ist es seit der neuesten Version möglich, Benchmark-Runs mit anderen zu teilen. Dafür kreiert Cap Frame X eine einzigartige ID, welche jeder, der auch mindestens über die Version 1.50 verfügt, einfügen kann. Das Tool lädt dann den "fremden" Benchmark herunter und Sie können über diesen verfügen, als wäre es ihr eigener. In einem ersten Feldtest darf diese Funktion für die PCGH-Community-Benchmarks herhalten. Und bisher funktioniert das ausgezeichnet. Sie können alle relevanten Daten aber auch schon im Browser ansehen. Als Beispiel dient der Beitrag vom Gründer höchstpersönlich, aus unserem Kingdom Come Deliverance Community-Benchmarks: Cloud-Link KCD-Benchmark

Wenn Sie sich auf der Homepage von CX registriert haben, können Sie sich im Tool einloggen, was den Vorteil hat, dass Sie auf der Homepage all ihre Uploads in die Cloud betrachten und verwalten können. In der oberen rechten Ecke des Cloud-Tabs verbirgt sich nun noch eine kleine Hilfe für die Entwickler. Mit Share New Entries übermitteln Sie jene hinzugefügten, respektive ignorierten Prozesse an die Programmierer und unterstützen damit ihre Arbeit. Mit Auto Update List profitieren Sie dann auch selbst davon, denn das gleicht Ihre Liste mit den Prozessen mit der Online-Datenbank ab.

Cap Frame X Version 1.50: Performance

Kostet das Overlay wertvolle Fps? Das haben wir getestet. Der Testablauf ist simpel: Wir aktivieren alle Parameter im Overlay von Cap Frame X und erzeugen einmal einen Benchmark mit Overlay und einmal ohne. Diese Werte vergleichen wir zudem mit anderen Fps-Tools, darunter Fraps, OCAT und MSI Afterburner, welche ohne Overlay getestet werden (falls vorhanden). Das Testsystem besteht aus einem AMD Ryzen 3900X im Eco-Mode, 16 GiB DDR4-3333-RAM und einer Nvidia Geforce RTX 2080 Ti. Als Testszene dient uns die Mission "Der letzte Tiger" in Battlefield 5.

Im zweiten Test beschäftigen wir uns ausschließlich mit Cap Frame X und dem Overlay. Wir nutzen eine andere Testszene, nämlich die altbekannte PCGH-Szene "Tirailleur". Als Besonderheit haben wir den 3900X händisch auf 45 Watt (TDP) limitiert, was in einem Taktdefizit mündet. Dieser Test soll beweisen, dass das Overlay auch auf langsamen CPUs keine Leistung kostet.

Die Rechnung geht insgesamt auf. Das Overlay kostet zwischen ein und zwei Prozent Leistung. Beachten Sie bitte, dass Benchmarks in Battlefield 5 leichten Schwankungen unterliegen. Zudem gibt es mit dem MSI Afterburner keine Möglichkeit, ein Zeitlimit für den Benchmark einzurichten. Der Ablauf beruht demnach auf unserer Schätzung von 20 Sekunden. Des Weiteren gibt das Tool schlicht keine P99 aus sondern die 1%low Fps, sie sind daher etwas niedriger.

Cap Frame X - Ausblick/Fazit

Das Zusammenspiel zwischen der eigentlichen Funktion von Cap Frame X, nämlich das Sammeln von relevanten Performance-Daten, und dem Overlay funktioniert fantastisch. Zu jeder Zeit sieht der Nutzer auf einen Blick was vor sich geht. Ein weiterer Pluspunkt ist die Kombination von mehreren Aufgaben. Mit CX ist es möglich, alles mit einem Tool zu erledigen: Sensor-Logs, Performance und die Berechnung. Das spart unglaublich viel Zeit, welche im Redakteurs-Alltag sehr wertvoll ist.

Wir stehen mit den Entwicklern in Kontakt und haben sie gefragt, wie es in Zukunft mit Cap Frame X weiter gehen soll. Laut ihrer Aussage wird in nächster Zeit erstmal kräftig Bugfixing und Optimierung betrieben. Auf lange Sicht sollen benutzerdefinierte Grafiken und Reports möglich sein. Des Weiteren muss das Tool gepflegt werden, da ständig neue Hardware herauskommt. Wenn Sie jetzt Lust auf mehr bekommen haben und sich in das Thema einbringen möchten, legen wir Ihnen den Cap Frame X-Thread in unserem Forum ans Herz. Die Entwickler freuen sich über jedes Feedback und konstruktive Kritik ist immer gern gesehen. Zudem sei allen offenherzigen Entwicklern da draußen die CX-Seite bei GitHub ans Herz gelegt.

Artikel teilen

Cap Frame X Version 1.50: Umfangreiches Tool zur Überwachung und Analyse im Test Mithilfe von Cap Frame X ist es möglich, umfangreiche Analysen zu erstellen, Schwachpunkte im eigenen System aufzudecken und zahlreiche Vergleiche anzustellen. Darüber hinaus verfügt das Tool über einzigartige Fähigkeiten wie eine Ausreißer-Erkennung und eine Cloud-Funktion. Wir haben das Tool ausführlich getestet und stellen Vergleiche mit Fraps, OCAT und dem MSI Afterburner an.

Per E-Mail versenden

41