Rapporto di PUBG Labs – Primo test del sistema di classificazione

Ecco alcune considerazioni a caldo in seguito alla conclusione del primo test del sistema di classificazione di PUBG Labs.

Ciao a tutti!

I PUBG Labs hanno inaugurato il 2020 con la prima prova del nostro sistema di classificazione. Ringraziamo tutti i giocatori che hanno visitato i PUBG Labs e preso parte al test! Stiamo analizzando i feedback ricevuti e i dati estrapolati dal test per perfezionare il sistema in vista della prossima iterazione del sistema di classificazione in arrivo nei Labs.

Alcuni utenti ci hanno chiesto perché abbiamo usato i PUBG Labs per testare il sistema di classificazione.

Ecco alcuni dei motivi!

Avevamo bisogno di dati di testing dal vivo e su larga scala

Un sistema di classificazione valido non può essere elaborato in un ambiente isolato. Proprio come durante lo sviluppo del sistema Maestria, abbiamo introdotto dietro le quinte il sistema di classificazione per ottenere un set iniziale di dati, che abbiamo usato per calibrare l’algoritmo di classificazione e avere una solida base di partenza.

I dati iniziali non erano però sufficienti per vari motivi, in particolare perché esaminare di nascosto i giocatori non rivela davvero come questi si comportino quando sanno di essere sotto osservazione. Avevamo bisogno di partite vere di PUBG, con giocatori reali, per un periodo abbastanza lungo da fornire i dati necessari a muovere i passi successivi verso il perfezionamento dell’algoritmo.

Ci servivano feedback sul sistema

Numeri e idee sono un buon punto di partenza, ma alla fine ciò che conta è che il sistema trasmetta una sensazione positiva ai giocatori. Per il sistema di classificazione abbiamo voluto ricevere un feedback più diretto e abbiamo lavorato più a stretto contatto con la community rispetto al passato. A tale scopo, abbiamo incluso alcune specifiche parti nei Labs che permettessero ai giocatori di esprimere la propria opinione sul funzionamento del sistema.

I Labs ci hanno dato modo di condividere fin dall’inizio lo sviluppo del sistema di classificazione, così da poter iniziare subito a far evolvere il sistema in una direzione gradita ai giocatori.

Volevamo coinvolgere la community nella discussione

Sappiamo che la community prende molto sul serio i sistemi di classificazione e pensavamo non fosse corretto svilupparne uno senza avere una chiara idea di che tipo di sistema la community desideri implementare in PUBG.

Lanciare il sistema di classificazione nei Labs ha fatto nascere una discussione in merito nella community, che si è rivelata molto utile nel nostro lavoro di sviluppo. Tantissimi giocatori hanno condiviso idee fantastiche durante tutto il periodo del test e alcuni hanno perfino postato possibili sistemi di classificazione alternativi interamente ideati da loro! Stiamo leggendo con grande attenzione tutti i commenti e le idee che abbiamo ricevuto, e faremo del nostro meglio per sviluppare un sistema che possa soddisfare tutti.

Panoramica del periodo di test

Il sistema di classificazione è stato implementato nei PUBG Labs alla fine di novembre ed è rimasto attivo per 6 settimane. Durante questo periodo siamo riusciti ad applicare alcune modifiche all’algoritmo sulla base di quanto osservato.

Grazie al modo in cui abbiamo costruito l’infrastruttura del sistema di classificazione, abbiamo potuto introdurre queste modifiche nei server di gioco senza doverli chiudere per manutenzione, permettendo di migliorare l’esperienza di gioco in tempi più rapidi ed efficienti.

Dopo aver raccolto i risultati dei sondaggi, analizzato i dati in tempo reale e raccolto feedback da vari canali social, abbiamo deciso di eseguire un secondo test a febbraio. L’obiettivo è risolvere alcuni problemi riscontrati nella configurazione dell’algoritmo usato nel primo test.

Osservazioni

Vogliamo ora condividere alcuni interessanti (e divertenti) dati e impressioni raccolti durante il periodo del test e discutere di come intendiamo procedere per quanto riguarda il secondo test.

Il 18,8% dei giocatori su PC hanno scelto di giocare in modo competitivo.

Questo numero sale a 22,3% per i giocatori su console: davvero niente male!

Percentuali di partecipazione per area geografica

Il test del sistema di classificazione era pensato per misurare le prestazioni dei giocatori in modalità esistenti. Questa è una delle regioni per cui abbiamo deciso di far scegliere ai giocatori se volevano partecipare o meno al test, dandogli la libertà di selezionare o ignorare l’opzione “Partecipa” nella pagina di Labs. La tabella in alto mostra la percentuale di utenti attivi (per area geografica e tipo di piattaforma) che ha scelto di partecipare al test del sistema di classificazione.

Diamo un’idea di quanto siano positivi questi numeri: non ci avrebbe affatto stupito se meno del 10% dei giocatori avesse deciso di partecipare, sulla base di esperienze passate di altri giochi. Siamo davvero piacevolmente sorpresi! Il fatto che, in alcuni casi, quasi un terzo dei giocatori abbia deciso di partecipare al test è un segno di quanto i giocatori di PUBG abbiano a cuore l’argomento.

Distribuzione della classificazione

 

La tabella e il grafico in alto rappresentano un’istantanea dello stato attuale di uno dei metri di misura chiave per la messa a punto dell’algoritmo del sistema di classificazione. La distribuzione della classificazione mostra come i giocatori sono divisi in termini di classi e Punti Classifica. Ci sono molte chiavi di lettura, ma per semplificare useremo la tabella riportata sopra, che include i giocatori TPP di squadra su PC che hanno giocato almeno 50 partite classificate nella modalità a squadre.

Giudicando dai risultati, è chiaro che ci sono alcune cose che vanno migliorate. Per esempio, ci sono pochi giocatori Bronzo e la classe Maestro è più grande di quanto vorremmo, mentre la classe Diamante è abbastanza ridotta. Faremo delle modifiche per armonizzare la difficoltà delle classi, rendendo allo stesso tempo un po’ più ostico l’accesso a ognuna di esse.

Feedback

Cerchiamo ora di rispondere ad alcune delle osservazioni più diffuse tra quelle che abbiamo ricevuto dai giocatori durante il test.

“I danni dovrebbero essere inclusi nella formula. È frustrante giocare in modalità a squadre e dover competere con i compagni di squadra per i PC.”

Questo è stato uno dei primi feedback che abbiamo ricevuto dopo l’inizio del test e una delle prime modifiche che abbiamo capito di dover apportare per migliorare il sistema. Abbiamo seriamente considerato la possibilità di inserire i danni direttamente nella formula, poiché all’apparenza era la soluzione più semplice, ma dopo averci pensato bene abbiamo capito che così facendo avremmo peggiorato l’esperienza invece di migliorarla. Ci sono semplicemente troppi casi limite e scorciatoie che permettono di abusare della presenza dei danni nella formula.

Restava comunque da risolvere il problema relativo all’impatto negativo sul gioco di squadra, pur avendo chiaro che aggiungere i danni non fosse la soluzione. Abbiamo infine deciso di aggiungere il concetto di “assist”: ai giocatori che infliggono danni significativi a un nemico (entro un lasso di tempo ragionevole prima che quel nemico muoia) viene assegnato un assist. L’algoritmo dà lo stesso peso ad assist e uccisioni, quindi non ci saranno conflitti interni alla squadra in merito a chi debba mettere a segno il colpo di grazia.

“Guadagnare PC è troppo facile rispetto al perderne, come in un sistema di progressione. I giocatori di classe Maestro possono continuare a salire all’infinito.”

Non ci siamo. L’ultima cosa che vogliamo per il nostro sistema di classificazione, che esiste allo scopo di misurare abilità e prestazioni dei giocatori, è che possa essere confuso per un sistema di progressione o che si possa raggiungere le classi più alte semplicemente giocando un sacco di partite. Garantiamo che il nostro obiettivo numero uno è quello di fornire ai giocatori la migliore esperienza possibile, e per farlo riteniamo necessario dover creare un sistema di classificazione che sia equo e accurato.

Il feedback ricevuto ci dice che il sistema non funziona ancora come dovrebbe e i nostri dati concordano. Certo, è confortante vedere che i giocatori sono ordinati in classi sulla base delle prestazioni e non del tempo giocato, ma è chiaro dalle statistiche (per esempio la distribuzione della classificazione di cui abbiamo parlato prima) che sono necessarie ulteriori modifiche.

Durante il secondo test, le prestazioni richieste per le varie classi saranno più rigide, risultando in un aumento globale della difficoltà. I giocatori delle classi più alte noteranno che i PC che possono ottenere da una singola partita sono minori rispetto ai giocatori di classe più bassa. I giocatori di classe Maestro, inoltre, non potranno salire in classifica all’infinito, in quanto ora ci sarà tanto un incremento di difficoltà per ogni 100 PC ottenuti sopra i 3500, quanto un vero e proprio limite massimo impostato a 5000 PC.

Riflessioni finali

Il sistema di classificazione richiede ancora molto lavoro e continueremo a collaborare con la community per essere sicuri di spingere sempre nella direzione giusta.

Un sistema dinamico di questo tipo richiede l’attenzione costante tanto degli sviluppatori quanto degli utenti affinché la qualità resti elevata e l’esperienza di gioco piacevole.

Procedendo con il secondo round di test nei Labs, e con ogni altro a venire, continueremo a concentrarci affinché la filosofia di sviluppo resti allineata a bisogni e desideri della nostra community, di cui misureremo costantemente il polso per essere sicuri di starci muovendo correttamente.

Ancora una volta, grazie a tutti per aver partecipato al primo test del sistema di classificazione. Buona fortuna sul campo di battaglia! Torneremo appena possibile con un altro aggiornamento sullo stato del sistema di classificazione al termine del secondo test.

Grazie per l’attenzione!
Il team di PUBG

Discuti questo articolo
Condividi questo articolo