PUBG LABS-Bericht – 1. Test mit Skill-basierter Wertung (SBR)

PUBG LABS-Bericht – 1. Test mit Skill-basierter Wertung (Skill Based Rating/SBR)

 

PUBG Labs hat 2020 mit unseren ersten Versuchen zu Skill-basierter Wertung (SBR) begonnen. Ein großes Dankeschön an alle Spieler, die sich das in den PUBG Labs angesehen und an dem Test teilgenommen haben! Wir gehen derzeit Euer gesamtes Feedback und alle anderen Daten des Tests durch, damit wir das System in der nächsten Version des SBR in den Labs verbessern können.

 

Einige von Euch waren neugierig, warum wir PUBG Labs nutzen, um die Skill-basierte Wertung auszutesten.

Hier sind einige der Gründe:

Wir benötigten umfangreiche Live-Testdaten 

Ein Bewertungssystem ist in einer geschlossenen Umgebung nicht aussagekräftig. Genau wie bei der Entwicklung des Meisterschaftssystems haben wir einen „dark Launch“ der Skill-basierten Wertung durchgeführt, um erste Daten sammeln zu können, die wir benötigen, um den Wertungsalgorithmus anzupassen und einen soliden Anfangspunkt zu erstellen, den wir als Basis nutzen können. 

 

Diese ersten Daten waren jedoch nicht genug, da das geheime Beobachten von Spielern (neben anderen Problemstellungen) nicht wirklich repräsentieren kann, wie die Spieler sich verhalten werden, wenn ihnen bewusst ist, dass sie bewertet werden. Es war nötig, das Runden über einen längeren Zeitraum im echten PUBG-Style von echten Spielern in echten Situationen gespielt wurden, damit wir die Daten bekamen, mit denen wir die nächsten Schritte zur Feinabstimmung der Daten vornehmen konnten.

Wir brauchten Feedback dazu, wie sich das System „anfühlt“ 

Zahlen und Design-Philosophien sind gut und schön, aber am Ende des Tages muss sich das System für die Spieler gut „anfühlen“. Für eine Skill-basierte Wertung wollten wir noch offener für Feedback sein und noch enger mit der Community zusammenarbeiten, als es uns zuvor möglich war. Deshalb hatten wir in den Labs ein paar Möglichkeiten eingebaut, durch die Spieler ihre Einschätzung zur Funktionsweise des Systems direkt abgeben konnten.

Die Labs haben uns die Möglichkeit, die Entwicklung der Skill-basierte Wertung schon früh zu teilen, sodass wir einen Vorsprung dabei erreichten, das System in die Richtung zu bugsieren, in der die Spieler es sehen wollen.

Wir wollten die Community in die Konversation einbinden 

Uns ist bewusst, dass die Community Skill-basierte Wertungen sehr ernst nimmt. Wir hatten den Eindruck, dass es nicht richtig sei, dies in ein Silo zu bauen – ohne eine solide und aktuelle Idee davon zu haben, wie die Community solch ein System bei PUBG gerne hätte.

Der Start der Skill-basierten Wertung in Labs hat die Community geradewegs in eine fokussierte Diskussion ums das Thema geworfen, was sich für die Bemühungen bei der Entwicklung als sehr vorteilhaft erwiesen hat. Im Verlauf des Tests haben sehr viele Spieler jede Menge spannender Ideen eingebracht. Ein paar einfallsreiche Spieler haben sogar Konzepte für komplette Wertungssysteme nach eigenem Entwurf vorgestellt! Wir möchten, dass Ihr wisst, wir haben all Eure Kommentare und Ideen gründlich gelesen. Und wir werden weiterhin unser Bestes geben, ein Wertungssystem abzuliefern, mit dem jeder zufrieden sein kann. 

 

 

Übersicht des Testzyklus

 

Die Skill-basierte Wertung ging Ende November in den PUBG Labs live und lief über 6 Wochen. Während dieser Testphase konnten wir aufgrund unserer Beobachtungen einige Anpassungen am Algorithmus vornehmen.

https://twitter.com/PUBG_Support/status/1202768163470839808?s=20 

 

Aufgrund der Art und Weise, wie die Infrastruktur der Skill-basierten Wertung aufgebaut ist, konnten wir die Änderungen an den Liveservern übernehmen, ohne sie dafür zur Wartung herunterfahren zu müssen. Damit konnten wir die Geschwindigkeit zum Eingreifen und Verbessern des Erlebnisses erheblich steigern.

https://clips.twitch.tv/SpineyHonorablePorcupineOSsloth

 

Nach dem Sammeln von Umfrage-Ergebnissen, dem Analysieren von Live-Daten sowie dem Sammeln von Feedback aus diversen sozialen Kanälen haben wir beschlossen, im Februar einen zweiten Test zu starten, bei dem einige der Probleme angegangen werden können, die uns bei der Konfigurierung des Algorithmus beim ersten Test der Skill-basierten Wertung aufgefallen sind.

 

 

Beobachtungen

 

Als Nächstes möchten wir ein paar lustige und interessante Daten und Feedbacks teilen, die wir zur Skill-basierten Wertung in den Labs bekommen haben. Und wir möchten ein bisschen davon erzählen, wie wir im zweiten Test weitermachen wollen.

18,8 % der PC-Spieler haben kompetitiv gespielt

22,3 % der Konsolenspieler haben sich den kompetitiven Rängen von PUBG-Spielern angeschlossen (Das ist ziemlich cool!) 

 

Prozentuale Teilnahme nach Region

 

Region PC Console
Asia 19.7% 23.4%
EMEA 15.2% 23.5%
JP 20.9% 28.6%
KR 18.5% 32.8%
NA 15.3% 21.5%

Der Test in den Labs zur Skill-basierten Wertung wurde durchgeführt, um die Performance von Spielern in existierenden Gruppen zu messen. Aus diesem Grund (und auch aus anderen Gründen) wurde beschlossen, dass Spieler auf der Labs-Seite die Option bekommen sollen, ob sie an diesem Test teilnehmen wollen oder nicht. Die oben aufgeführte Tabelle zeigt die Prozentanteile aktiver Nutzer pro Region und pro Plattform, die sich entschlossen hatten, in den Labs am Test zur Skill-basierten Wertung teilzunehmen.

Aufgrund diverser Zusammenhänge mit Erhebungen und Erfahrungen bei anderen Spielen wären wir nicht überrascht gewesen, einen Spieleranteil von 10 % oder weniger zu sehen. Daher waren die hier genannten Zahlen eine sehr positive Überraschung! Für uns ist es eine große Motivation, zu sehen, wie leidenschaftlich PUBG-Spieler das Thema „Bewerten von Fähigkeiten“ angehen. In einigen Fällen war es tatsächlich fast jeder dritte aktive Spieler, der sich am Test beteiligt hatte.

Wertungsverteilung

 

PC (Squad TPP)
Tier Distribution
Bronze 2.85%
Silver 37.47%
Gold 30.16%
Platinum 24.15%
Diamond 5.24%
Master 1.05%

Die obenstehende Tabelle und Grafik repräsentieren eine Momentaufnahme des aktuellen Status einer wichtigen Metrik, auf die wir uns konzentrieren, wenn wir den Algorithmus für die Skill-basierte Wertung anpassen: die Wertungsverteilung. Die Wertungsverteilung ist eine Zusammenfassung davon, wie der Spieler-Pool in Hinsicht auf WP und Stufen aufgeteilt ist. Es gibt viele Möglichkeiten, diese Art Daten zu betrachten, aber um es einfach zu halten, werden wir die oben aufgeführte Tabelle von Squad-TPP-Spielern auf dem PC nutzen, die mindestens 50 bewertete Runden gespielt haben.

Wenn wir uns die Ergebnisse ansehen, wird klar, dass es hier ein paar Dinge zu verbessern gibt. Vor allem sticht heraus, dass die Anzahl der Bronze-Spieler recht klein und die Anzahl der Spieler in der Meister-Stufe etwas größer als im Idealfall ist. Die Diamant-Gruppe ist ebenfalls eher als klein zu betrachten. Wir werden weiter Anpassungen vornehmen, um die Ungleichheiten mit den Stufen zu glätten, während wir gleichzeitig alle Stufen etwas verschieben werden, sodass sie im Allgemeinen etwas schwieriger zu verdienen sind.

Feedback

 

Als Nächstes möchten wir auf das häufigste Feedback eingehen, das die Spieler uns während des Tests zukommen lassen haben.

 

„Schaden sollte in die Berechnung mit einfließen. Es fühlt sich nicht gut an, Teammodi zu spielen und mit den Teamkameraden um WP wetteifern zu müssen.“

Dieses Feedback haben wir gleich zu Beginn des Tests erhalten. Und dies war auch eine der ersten Anpassungen, die wir uns vorgenommen haben, um das Erlebnis zu verbessern. Wir haben ernsthaft die Möglichkeit in Erwägung gezogen, den Schaden direkt in die Rechnung mit einfließen zu lassen, denn dies schien auf den ersten Blick die einfachste Lösung zu sein. Doch nach reichlichen Erwägungen stellte sich heraus, dass es dem Erlebnis eher schadet als hilft, wenn man den Schaden einfach dazurechnet. Es gab einfach zu viele Ausnahmefälle und Möglichkeiten des Missbrauchs, wenn man den Schaden so einrechnet. 

Das Problem des Teamspiels, das sich nicht gut anfühlt, musste jedoch immer noch gelöst werden, auch wenn der Schaden nicht die Antwort darauf war. Letztendlich einigten wir uns darauf das Konzept von „Assists“ umzusetzen. Hier gilt: Wenn Spieler einem Feind erheblichen Schaden zufügen, und dieser Feind stirbt innerhalb eines vernünftigen Zeitrahmens, so erhält dieser Spieler einen „Assist“. Und der Algorithmus wertet Assists mit der gleichen Gewichtung wie Kills, sodass Spieler eines Teams sich nicht mehr darum streiten müssen, wer die Punkte für den letzten Schlag bekommt.

 

„WP zu erhalten fühlt sich viel leichter an, als sie zu verlieren. Das ist wie ein Fortschrittssystem. Spieler der Meister-Stufe können ewig aufsteigen.“

Oh, oh. Das Letzte, was wir für die Skill-basierte Wertung – ein System, dessen Zweck es ist, Skills und Performance eines Spielers zu messen – wollen, ist, dass es mit einem Fortschrittssystem verwechselt wird, oder dass es sich anfühlt, als könne man einen hohen Rang einfach dadurch erreichen, dass man viele Runden spielt. Bitte seid versichert, dass es bei alldem unser höchstes Ziel ist, unseren Spielern das bestmögliche Spiel-Erlebnis zu bieten, und dass wir fest daran glauben, dass die beste Methode, dieses Ziel zu erreichen Folgendes ist: das fairste und genauste Wertungssystem zu erstellen, das möglich ist.

Wir haben Euer Feedback vernommen, dass das System noch nicht da steht, wo es stehen sollte, und unsere Daten geben Euch recht. Auch wenn es ermutigend ist, zu sehen, dass Spieler tatsächlich permanent in Stufen eingeteilt werden, die auf ihrer Performance und nicht auf ihrer Spielzeit beruhen, ist uns aufgrund der Metriken wie der Tabelle zur Wertungsverteilung, über die wir zuvor gesprochen haben, klar, dass wir einige Änderungen vornehmen müssen.

Für den zweiten Test könnt Ihr erwarten, dass alle Wertungsstufen bezüglich ihrer Performance-Anforderungen strikter sind. Dies sollte zu einer Erhöhung der Schwierigkeit über alle Stufen führen. Spieler höherer Stufen werden außerdem bemerken, dass die Anzahl WP, die sie in einem einzelnen Spiel verdienen können, im Vergleich zu Spielern niedrigerer Stufen abnehmen wird. Spieler der Meister-Stufen werden sehen, dass sie ihre Wertung nun nicht mehr ewig erhöhen können, da es sowohl eine weiche Obergrenze geben wird, welche die Schwierigkeit für alle 100 WP oberhalb von 3.500 erhöht, also auch eine harte Obergrenze von 5.000 WP.

Abschließende Gedanken

 

Die Skill-basierte Wertung ist noch im Entwicklungsstadium, und wir werden weiterhin mit der Community zusammenarbeiten, um sicherzustellen, dass wir die Sache immer in die richtige Richtung voranbringen.

Dies ist die Art lebendiges System, das eine ständige Aufmerksamkeit sowohl der Entwickler als auch der Spieler erfordert, damit die Qualität hoch und das Erlebnis erfreulich bleibt.

Während wir uns dem zweiten SBR-Test in den Labs und allem danach nähern, werden wir unser Bestes geben, um sicherzustellen, dass die Richtung der Entwicklung mit den Bedürfnissen und Wünschen der Community übereinstimmt. Wir werden unsere Hand immer am Puls der Community halten, um sicher zu sein, dass wir nicht vom Weg abkommen.

Noch einmal vielen Dank für Eure Teilnahme am ersten SBR-Test. Viel Glück auf den Battlegrounds! Sobald wir Test 2 hinter uns gebracht haben, werden wir uns mit einem weiteren Update zum Stand der SBR bei Euch melden.

 

– PUBG-Team für die Skill-basierte Wertung

 

Discuss this article
Share this article