Raport PUBG Labs – Pierwszy test systemu klasyfikacji

Oto kilka uwag po zakończeniu pierwszego testu systemu klasyfikacji PUBG Labs.

Witajcie!

Rok 2020 w PUBG Labs zaczął się pierwszymi próbami systemu klasyfikacji. Serdecznie dziękujemy wszystkim, którzy zajrzeli do PUBG Labs i wzięli udział w teście! Analizujemy opinie graczy i inne dane z testu, żeby ulepszyć system przed umieszczeniem w Labs kolejnej wersji.

Niektórzy byli ciekawi, dlaczego testy systemu klasyfikacji przeprowadziliśmy w PUBG Labs.

Oto kilka powodów.

Potrzebowaliśmy danych z testów na dużą skalę

Systemu klasyfikacji nie da się sensownie stworzyć w izolacji. Podobnie jak przy pracach nad systemami biegłości, uruchomiliśmy system klasyfikacji „ukradkiem”, by zebrać początkowe dane, które posłużyły nam do wyregulowania algorytmu klasyfikacji i dały nam solidną podstawę do dalszych prac.

Początkowe dane to jednak za mało, gdyż, nie licząc innych problemów, ukradkowa obserwacja graczy nie odpowiada wiernie pomiarowi ich dokonań w sytuacji, kiedy będą wiedzieć, że podlegają ocenie. Potrzebowaliśmy prawdziwych meczów w PUBG rozgrywanych przez prawdziwych graczy w prawdziwych sytuacjach przez dłuższy okres, żeby zdobyć dane konieczne do następnych etapów doskonalenia naszych obliczeń.

Potrzebowaliśmy opinii na temat wrażeń z korzystania z systemu

Liczby i filozofie projektowania są fajne, ale koniec końców system musi sprawiać na graczach dobre wrażenie. W wypadku systemu klasyfikacji chcieliśmy bardziej otworzyć się na komentarze i ściślej niż dotąd współpracować ze społecznością. W tym celu daliśmy w Labs kilka nowych możliwości bezpośredniego przekazania swoich odczuć co do działania systemu.

Dzięki Labs mogliśmy udostępnić system klasyfikacji na wczesnym etapie prac i szybko przekształcać go w sposób, którego oczekiwali gracze.

Chcieliśmy zachęcić społeczność do dyskusji

Wiemy, że społeczność podchodzi do systemu klasyfikacji bardzo poważnie. Czuliśmy, że nie możemy tworzyć go w izolacji, bez solidnego i aktualnego pojęcia o oczekiwaniach społeczności co do działania takiego systemu w PUBG.

Uruchomienie systemu klasyfikacji w Labs sprowokowało społeczność do rzeczowej dyskusji na ten temat, co miało bardzo korzystny wpływ na prace rozwojowe. Podczas testów mnóstwo graczy przedstawiło multum ekscytujących pomysłów. Kilku śmiałków zamieściło nawet koncepcje całych systemów klasyfikacji własnego projektu! Chcemy, żebyście wiedzieli, że czytamy uważnie wszystkie wasze komentarze i pomysły i zrobimy wszystko, co w naszej mocy, by wprowadzić system klasyfikacji, z którego wszyscy będą zadowoleni.

Podsumowanie cyklu testów

System klasyfikacji został wprowadzony w PUBG Labs pod koniec listopada i działał przez 6 tygodni. W okresie testowym na podstawie obserwacji dokonaliśmy kilku poprawek w algorytmie.

Dzięki sposobowi, w jaki skonstruowano infrastrukturę systemu klasyfikacji, mogliśmy dokonać tych zmian na serwerach bez wyłączania ich na przerwę serwisową, co znacznie przyspieszyło wprowadzanie poprawek.

Po zebraniu wyników ankiety, analizie danych gromadzonych na żywo i uzyskaniu opinii z różnych kanałów społecznościowych podjęliśmy decyzję o przeprowadzeniu w lutym drugiego testu, w którym zajmiemy się problemami dostrzeżonymi w konfiguracji algorytmu przy pierwszym teście systemu klasyfikacji.

Obserwacje

Teraz chcielibyśmy przedstawić trochę interesujących danych i opinii zgromadzonych w Labs i powiedzieć co nieco o tym, jak zamierzamy przeprowadzić drugi test.

18,8% graczy na PC zapisało się do współzawodnictwa w ramach klasyfikacji.

22,3% graczy konsolowych zdecydowało się na grę w ramach klasyfikacji (nieźle!).

Procent uczestników z podziałem na regiony

Test systemu klasyfikacji w Labs miał mierzyć wyniki graczy w istniejących kolejkach. Między innymi z tego powodu podjęliśmy decyzję, że gracze będą mogli zdecydować, czy chcą wziąć w nim udział, wybierając opcję „Zapisz się” na ekranie Labs lub nie korzystając z niej. Powyższa tabela zawiera dane o odsetku aktywnych użytkowników, którzy wzięli udział w teście systemu klasyfikacji, z podziałem na regiony i platformy.

Tak dla kontekstu, na podstawie badań i doświadczeń z innych gier nie bylibyśmy zdziwieni, gdyby na udział zdecydowało się 10% albo mniej, więc te liczby są zaskakujące i emocjonujące! Po tym, że w niektórych wypadkach niemal jedna trzecia wszystkich aktywnych graczy postanowiła uczestniczyć w teście, dobitnie widać, jak bardzo użytkownicy PUBG są zainteresowani tematem klasyfikacji umiejętności.

Rozkład klasyfikacji

 

Tabela i wykres powyżej przedstawiają obraz obecnego stanu kluczowej miary, na której skupiamy się przy poprawkach systemu klasyfikacji – rozkładu klasyfikacji. Jest to podział graczy pod względem RP i rang. Można na te dane patrzeć na wiele sposobów, ale dla uproszczenia posłużymy się powyższą tabelą graczy na PC w oddziałach z widokiem TPP, mających na koncie co najmniej 50 klasyfikowanych gier w kolejce oddziałów.

Widać, że jest tu jeszcze co poprawiać. Wyróżniające się kwestie to niewielka liczba graczy z brązem i nieco za dużo graczy o randzie mistrza w porównaniu z ideałem. Diamentowa ranga też jest trochę przymała. Wprowadzimy poprawki, żeby doszlifować poziom trudności rang, a przy okazji ogólnie utrudnimy trochę zdobycie każdej rangi.

Opinie

Następnie chcielibyśmy przedstawić i omówić kilka najczęstszych opinii przekazywanych przez graczy w czasie testu.

„Obliczenia powinny uwzględniać obrażenia. Głupio tak grać w trybach drużynowych i rywalizować z kolegami z drużyny o RP”.

To jedna z pierwszych opinii, które otrzymaliśmy po rozpoczęciu testu, i jedna z pierwszych poprawek, które uznaliśmy za konieczne. Poważnie rozważaliśmy możliwość dodania obrażeń bezpośrednio do obliczeń, bo wydawało się to na pierwszy rzut oka najprostszym rozwiązaniem, ale po dłuższym namyśle okazało się, że dodanie obrażeń pogarsza sprawę, zamiast pomóc. Było zbyt wiele przypadków granicznych i sposobów na nadużycia dzięki obecności obrażeń w obliczeniach.

Problem niewłaściwych odczuć z gry drużynowej pozostawał jednak nierozwiązany, nawet jeśli odpowiedzią nie były obrażenia. Ostatecznie stanęło na dodaniu „asyst”. W związku z tym gracze, którzy zadadzą wrogowi znaczące obrażenia w rozsądnym okresie przed śmiercią tego wroga, otrzymają asystę, a algorytm nadaje asystom taką samą wagę jak zabójstwom, więc członkowie drużyny nie muszą się spierać o to, który z nich zada zabójczy cios.

„Zdobywanie RP wydaje się za łatwe w porównaniu z traceniem ich, jak w systemie postępów. Gracze o randze mistrza mogą wspinać się wiecznie”.

O-o. Na pewno byśmy nie chcieli, żeby system klasyfikacji, którego celem jest dokładne mierzenie umiejętności i wyników graczy, nie różnił się od systemu postępów ani żeby wyglądało na to, że wystarczy dużo grać, żeby osiągnąć wysoką rangę. Bądźcie spokojni – naszym podstawowym celem jest zapewnienie wszystkim graczom jak najlepszych wrażeń i twardo stoimy na stanowisku, że sposobem na osiągnięcie tego celu jest stworzenie jak najuczciwszego i jak najdokładniejszego systemu klasyfikacji.

Zapoznaliśmy się z waszymi opiniami, że system jeszcze nie osiągnął pożądanej postaci, a nasze dane to potwierdzają. Otuchy dodaje nam fakt, że gracze faktycznie są konsekwentnie dzieleni na rangi ze względu na dokonania, a nie czas gry, ale miary takie jak omawiana wcześniej tabela rozkładu klasyfikacji pokazują wyraźnie, że trzeba dokonać pewnych zmian.

W drugim teście możecie spodziewać się, że wszystkie rangi będą bardziej wymagające – przez co ogólny poziom trudności wzrośnie. Gracze o wyższych rangach przekonają się też, że mogą zdobyć w jednym meczu mniej RP niż gracze niższych rang. Gracze rangi mistrza nie będą już mogli wiecznie podnosić swojej klasyfikacji, gdyż pojawi się miękki limit zwiększający trudność przy każdych 100 RP zdobytych ponad 3500, a także twardy limit 5000 RP.

Uwagi końcowe

System klasyfikacji opartej na umiejętnościach nie jest jeszcze ukończony i nadal będziemy współpracować ze społecznością, żebyśmy wciąż posuwali się we właściwym kierunku.

To żyjący system, w którym utrzymanie wysokiej jakości i przyjemnych wrażeń z gry wymaga stałej uwagi ze strony zarówno deweloperów, jak i graczy.

Podczas drugiego testu w Labs i później postaramy się zadbać, żeby kierunek prac pokrywał się z potrzebami i oczekiwaniami społeczności, i będziemy trzymać rękę na pulsie społeczności, by mieć pewność, że zmierzamy w dobrą stronę.

Jeszcze raz dziękujemy wszystkim za udział w pierwszym teście systemu klasyfikacji. Powodzenia na polach bitwy! Poinformujemy ponownie o stanie systemu klasyfikacji po zakończeniu drugiego testu.

Dziękujemy za uwagę!
Zespół PUBG

Dyskusja o artykule
Udostępnij ten artykuł