Toxisches Verhalten in Sprach-Chats: KI-Lösungen für die "Echtzeit-Erkennung" - Interview

Das Hamburger Unternehmen 4Players (gehört wie PCGH zu Computec Media) und die norwegische Firma Aiba wollen das Problem von toxischen Sprach-Chats gemeinsam angehen. So erhält die Kommunikationsplattform Odin von 4Players eine Anbindung an Aibas KI-Moderationslösung Amanda, die erstmals ihre Funktionen auf Sprachdaten erweitert und damit Communitys schützen will.

Schädliches Verhalten erkennen und handeln

Mit Amanda soll schädliches Verhalten "nahezu in Echtzeit" erkannt und bekämpft werden. Dazu werden die gesprochenen Inhalte automatisch transkribiert und dann von Amanda analysiert. Die Auswertung wird im Anschluss an die Betreiber übermittelt, die selbst über geeignete Moderationsmaßnahmen entscheiden. Die Lösung ist auf Anforderungen wie die DSGVO ausgelegt. Wir haben mit Aiba und 4Players gesprochen, um mehr über die Technik zu erfahren.

Fragen zu Datenschutz & Speicherung

PCGH: Wird Voice permanent analysiert oder nur bei Meldungen? Wie lange werden Sprachdaten gespeichert?

Phillip Schuster, CEO 4Players: Sobald in Voice-Räumen gesprochen wird, erkennt Odin Cortex die Sprache und erstellt eine Transkription. Das Transkript übermittelt Cortex transportverschlüsselt an Amanda von Aiba.

Hege Tokerud, CEO Aiba: Unterhaltungen werden kontinuierlich analysiert, um unerwünschtes Verhalten zu erkennen, wenn der Entwickler dies aktiviert. Wird ein Alarm ausgelöst, speichern wir diese Informationen zur Überprüfung.

Phillip Schuster, CEO 4Players: Wichtig zu erwähnen: Odin Cortex und Amanda erhalten nur eine eindeutige User-Identifikation (i. d. R. ein Hash oder eine verschlüsselte Nummer) und keinerlei persönliche Daten. Wir wissen also, dass jemand etwas gesagt hat, aber nicht, wer.

PCGH: Werden komplette Gespräche gespeichert oder nur problematische Ausschnitte?

Hege Tokerud, CEO Aiba: Wenn eine Unterhaltung problematische Abschnitte enthält, speichern wir einen Teil der Nachrichten vor und nach dem problematischen Inhalt, um den Moderatoren den erforderlichen Kontext zu liefern. Sobald ein Fall abgeschlossen ist oder ein Spieler sanktioniert wurde, wird der Inhalt über einen frei konfigurierbaren Zeitraum von Tagen aufbewahrt.

Phillip Schuster, CEO 4Players: Das heißt, grundlegend erfolgt die Speicherung immer projektbezogen und im Einklang mit der DSGVO.

PCGH: Können Spieler ihre gespeicherten Daten einsehen/löschen?

Phillip Schuster, CEO 4Players: Grundsätzlich können Spieler die Daten einsehen. Das muss jedoch der Entwickler implementieren, da wir ja nicht die Verbindung zur tatsächlichen Person herstellen können. Odin Cortex bietet Schnittstellen an, die der Kunde nutzen kann, um diese Daten seinen Usern anzeigen zu können.

Hege Tokerud, CEO Aiba: Zudem werden die Daten eines sanktionierten Spielers über einen längeren Zeitraum als Nachweis für das Fehlverhalten gespeichert. Die Spieler können gegen Moderationsentscheidungen Einspruch einlegen. Wird diesem stattgegeben, entfällt die Strafe und die Daten unterliegen der üblichen Aufbewahrungsfrist.

Fragen zu Fehlentscheidungen & False Positives

PCGH: Wie hoch ist die Fehlerrate?

Hege Tokerud, CEO Aiba: In unserem gesamten Kundenstamm beobachten wir je nach Kategorie der Verstöße Schwankungen bei Präzision und Recall. Einige Kategorien weisen stabile und durchweg hohe Leistungen auf, während andere stärker kontextabhängig sind und eine Anpassung an die speziellen Regeln und Sprachmuster der jeweiligen Community erfordern. Aus diesem Grund ist es schwierig, eine pauschale Zahl für Fehlerquoten und Falsch-Positive anzugeben, aber genau deshalb werden unsere Modelle im Laufe der Zeit und durch die Anpassung an die jeweilige Community immer leistungsfähiger und besser. Generell stellen wir fest, dass unsere Modelle bei der Content-Moderation besser abschneiden als die Benchmark-Werte für KI.

PCGH: Wie erkennt Amanda Sarkasmus, Ironie oder Trash Talk unter Freunden?

Hege Tokerud, CEO Aiba: Wie bereits erwähnt, ist dies einer der anspruchsvollsten Aspekte der Inhaltsmoderation, und unserer Ansicht nach ist es gerade deshalb wichtig, die Modelle jeweils auf die spezifische Community abzustimmen. So können sie sich an das angemessene Verhalten in diesem konkreten Umfeld anpassen. Unsere Erfahrung zeigt außerdem, wie wichtig auch andere Signale neben den Nachrichten selbst sind, um bei kontextabhängigen und nuancierten Themen gute Entscheidungen treffen zu können.

PCGH: Was passiert bei Dialekten, Slang oder mehreren Sprachen?

Phillip Schuster, CEO 4Players: Wir nutzen bewährte Transkriptionsmodelle von OpenAI. Diese sind grundsätzlich in der Lage, Dialekte und Slang zu erkennen, es gibt aber natürlich Grenzen. Mehrsprachigkeit, auch innerhalb eines "Raums", ist aber beispielsweise kein Problem.

Hege Tokerud, CEO: Unser System unterstützt derzeit über 100 Sprachen und unsere Modelle sind auch auf Umgangssprache sowie Dialekte trainiert.

PCGH: Können Spieler automatisiert gebannt werden?

Hege Tokerud, CEO Aiba: Ja, bei offensichtlichen Verstößen wie Belästigung können automatische Sperren gemäß einem frei konfigurierbaren Regelwerk verhängt werden.

Phillip Schuster, CEO 4Players: Wenn diese Sperren von Amanda verhängt werden, kann Odin Cortex diese dann im Voice-Chat von Odin Voice automatisiert auslösen, den betreffenden User beispielsweise stummschalten oder kicken. Jedoch behalten die Entwickler:innen jederzeit die Kontrolle und können die Maßnahmen anpassen oder immer eine Moderation durch einen Menschen zwischenschalten.

PCGH: Gibt es immer ein menschliches Review?

Phillip Schuster, CEO 4Players: Unsere Empfehlung ist es, zumindest in der Anfangszeit einen "Human in the Loop" zu haben (sprich menschliche Moderation), da dieses Thema grundsätzlich sehr sensibel ist und auch sensibel gemanagt werden muss. Wenn man an den Punkt kommt, dass ein Mensch immer nur noch Knöpfchen drückt und die Vorschläge von Amanda bestätigt, kann man den Prozess sehr einfach automatisieren.

Hege Tokerud, CEO Aiba: Wir gestatten es hier den Spielanbietern, für bestimmte Kategorien eigene Grenzwerte für die Automatisierung festzulegen. Bei kritischen Kategorien wie "Grooming", Selbstverletzung oder Suizidgedanken erfolgt stets eine Überprüfung durch einen Menschen.

PCGH: Wie verhindert ihr Missbrauch durch falsche Reports?

Hege Tokerud, CEO Aiba: Amandas "360 Account View" fasst alle nutzergenerierten Inhalte in einer Übersicht zusammen, anhand derer Moderatoren schnell überprüfen können, ob eine Meldung mit den Aktivitäten des Kontos übereinstimmt. Da alle nutzergenerierten Inhalte von unseren Modellen auf auffälliges Verhalten überprüft werden, können wir auch die Stichhaltigkeit einer Meldung im Zusammenhang mit dem Verhalten des Spielers einschätzen.

Phillip Schuster, CEO 4Players: Auf diese Weise reduzieren wir die Gefahr, dass durch falsche Reports Spieler gemobbt werden. Auch deshalb ist unsere Empfehlung, zumindest in der Anfangsphase immer eine menschliche Review zu machen, damit die Systeme mitlernen und so präziser auch diese Fälle erkennen.

Fragen zur technischen Umsetzung

PCGH: Wie hoch ist die zusätzliche Latenz?

Phillip Schuster, CEO 4Players: Die Lösung wirkt sich in keiner Weise auf die Latenz im Voice-Chat aus. Dieser läuft ganz regulär und im Fall von Odin Voice in der Regel mit weniger als 50 ms Latenz bei stabiler Internetverbindung.

Die Transkription erfolgt innerhalb weniger Sekunden, nachdem ein User aufgehört hat zu sprechen, also annähernd parallel zum gesprochenen Wort. Parallel läuft die Übertragung an Amanda, abhängig von der Netzwerkgeschwindigkeit.

Beleidigungen werden also im Voice-Chat zwar noch zu hören sein, aber schon kurz danach erfolgt dann die Konsequenz durch die Moderation, ob nun automatisiert oder durch einen Menschen.

PCGH: Welche Hardware-/Serverkosten entstehen?

Phillip Schuster, CEO 4Players: Wenn Entwickler Odin Voice mithilfe von Amanda moderieren lassen wollen, ist das ein zusätzlicher Service. Aber neben der Verpflichtung durch europäische Gesetze, speziell bei Spielen für unter 18-Jährige, bringt das auch einen konkreten Nutzen für die Spieleentwickler. Verschiedene Untersuchungen und Studien stellen heraus, dass Gamer viermal so oft und 60 % länger spielen, wenn die Community und der Chat gut moderiert sind. Das steht für glücklichere Spieler und am Ende für bessere Verkäufe für die Developer.

Wir sprechen bereits mit verschiedenen Studios, von Indies bis hin zu großen Studios mit riesigen Spielerzahlen. Am Ende funktioniert die Lösung für sie alle, technisch wie preislich. Wie und wo Cortex genutzt wird, überlassen wir dabei den Kunden. Sie können die Transkription mit eigener Infrastruktur selbst durchführen, unsere Infrastruktur nutzen oder uns einen eigenen Cloud-API-Key zur Verfügung stellen. Bei Nutzung unserer Transkriptionsinfrastruktur fallen 0,01 Euro pro Minute Transkription und zusätzlich 0,15 Euro pro Peak Concurrent User für die Hate-Speech-Moderation an. Die Preise werden sicherlich im Laufe der nächsten Monate und Jahre fallen, da KI-Leistungen immer erschwinglicher werden.

PCGH: Wie stark belastet die Echtzeit-Transkription die Infrastruktur?

Phillip Schuster, CEO 4Players: Echtzeit-Transkription erfordert wie die meisten KI-Modelle leistungsfähige GPUs, um wirklich effizient zu laufen. Aktuell ist solche Hardware praktisch kaum oder nur sehr teuer zu bekommen. Kleinere Use-Cases sind auch ohne die spezielle Hochleistungs-Hardware machbar, doch für eine größere Skalierung empfehlen wir aktuell, die großen Cloud-KI-Anbieter zu nutzen. Deren Vereinbarungen sehen vor, dass die Informationen weder gespeichert noch für KI-Trainings verwendet werden. Man schickt eine anonyme Aufzeichnung hin und erhält Text zurück. Weder wir noch der Cloud-KI-Anbieter wissen, welche Personen sich hinter dem gesprochenen Wort verbirgt.

PCGH: Welche Sprachen werden unterstützt?

Phillip Schuster, CEO 4Players: Die Transkription über Cortex ist aktuell in 99 Sprachen verfügbar. Allerdings schwankt die Transkriptionsqualität stark je nach Sprache. Weit verbreitete Sprachen wie Englisch, Deutsch, Italienisch, Spanisch, Portugiesisch, Chinesisch und Japanisch funktionieren am zuverlässigsten, da die dahinterliegenden KI-Modelle mit umfangreicheren Datengrundlagen trainiert werden konnten als bei selteneren Sprachen.

Fragen zu den Auswirkungen aufs Spielerlebnis

PCGH: Verändert KI-Moderation die Kommunikationskultur in Multiplayer-Games?

Phillip Schuster, CEO 4Players: Mit Odin Voice wollen wir das bestmögliche Erlebnis von Kommunikation in Games, XR und Social Platforms anbieten. Mit klarem Sound, einem natürlichen Gefühl von Sprache und dynamischer Anpassung an jede Umgebung haben wir den technischen Teil schon seit geraumer Zeit erfüllt. Doch zur Kommunikation gehört auch der Umgang miteinander. Deshalb war es uns wichtig, auch hierfür eine Lösung zu finden. Mit Aiba verbessern wir definitiv die Kultur in Multiplayer-Games. Aber noch stehen wir hier am Anfang. Denn letztlich gehören neben dem gesprochenen Wort einer Person selbst auch Aussagen über andere Personen dazu.

Hege Tokerud, CEO Aiba: Daher ist es auch so wichtig, die Schwellenwerte und Regeln für Warnmeldungen auf die jeweilige Community zuzuschneiden. Entscheidend ist es, den richtigen Mittelweg zu finden, um schädliche Inhalte zu unterbinden, ohne die Kommunikation dadurch zu hemmen oder sie langweilig wirken zu lassen. Freundschaftliches Geplänkel ist etwas ganz anderes als Belästigung, kann aber sehr ähnlich aussehen oder klingen. Und genau dann sind Kontext und Nuancen entscheidend.

Phillip Schuster, CEO 4Players: Die Entwickler und wir nähern uns also jeweils gemeinsam sehr vorsichtig an. Aber langfristig werden solche Systeme hoffentlich dazu führen, Multiplayer-Spiele insgesamt wieder attraktiver zu machen. Denn wenn toxisches Verhalten konsequent moderiert wird, wird sich ein besserer Umgangston durchsetzen, der am Ende Gaming inklusiver und angenehmer für alle macht.

PCGH: Werden Spieler dadurch vorsichtiger oder weniger spontan?

Hege Tokerud, CEO Aiba: Es sollte toxische Spieler dazu bringen, vorsichtiger mit ihren Äußerungen zu sein. Dieses Verhalten ist eine Frage der Einstellung und oft nichts anderes als eine schlechte Angewohnheit. Wir beobachten, dass sich das Verhalten in der Community im Laufe der Zeit positiv verändert.

Phillip Schuster, CEO 4Players: Wir sind alle selbst Gamer und unser größtes Anliegen ist es, dass sich die Kommunikation in Videospielen natürlich und für alle richtig anfühlt. Flüche und Trashtalk werden auch künftig durch die Lobbys schallen. Das gehört dazu. Es soll und darf aber nicht in toxisches Verhalten abdriften, das Spieler abschreckt oder sogar unter psychischen Druck setzt.

PCGH: Welche Arten von Verhalten werden konkret erkannt?

Hege Tokerud, CEO Aiba, und Phillip Schuster, CEO 4Players:

• Grooming (z. B. gezielte Manipulation von Minderjährigen)
• Bullying (Mobbing)
• Radikalisierung
• Soziale Manipulation
• Hassrede
• Toxisches Verhalten (allgemein)

PCGH: Wo zieht ihr die Grenze zwischen Trash Talk und Toxicity?

Hege Tokerud, CEO Aiba: Diese können an jedes Spiel und dessen Zielgruppe angepasst werden. Jeder Kunde verfügt über eigene, speziell auf ihn zugeschnittene Modelle.

PCGH: Werden private Voice-Channels ebenfalls analysiert?

Phillip Schuster, CEO 4Players: In der Regel ist Moderation eher im öffentlichen Raum notwendig. In privaten Voice-Channels moderieren sich Bekannte und Freunde oft selbst, da in diesen Strukturen ja auch einfach das Spiel verlassen werden kann und eine andere Gruppe gesucht werden kann. Dennoch sind natürlich gerade die privaten Räume Orte, an denen gemobbt wird, seien es nun vermeintliche Freunde oder die Einladung in einen privaten Channel durch Mobber. Letztlich muss der Spielentwickler entscheiden, welche Strukturen und Bereiche moderiert werden.

Artikel teilen

Toxische Sprach-Chats: So soll KI Probleme in Echtzeit erkennen - exklusives Interview Spieler tauschen sich zunehmend in Sprach-Chats aus - doch wie stellt man hier sicher, dass man nicht beleidigt oder belästigt wird? PCGH spricht mit 4Players und Aiba über die Softwarelösungen Odin und Amanda.

Per E-Mail versenden

37