Come scrivere un KPI utile

Supponiamo di dover sviluppare una applicazione per tracciare il peso dei nostri utenti e che questa registrasse un valore di 80kg. Questa misura ci dice abbastanza per capire se é peso eccessivo o adeguato alla persona che sta usando l’applicazione? No.

Non ci dice abbastanza perché stiamo parlando di una misurazione estrapolata da un contesto e quindi poco utile a costruire un indicatore che sia utile a stabilire una qualche forma di progressione (o riduzione) del peso.

Aggiungendo altri dati come altezza, sesso, età ma anche la data di registrazione del peso possiamo contestualizzare ed iniziare ad estrapolare indicatori chiave o KPI (Key Performance Indicator) utili a costruire e monitorare il percorso di dimagrimento per il nostro utente.

In una conferenza sulle performance di O’Reilly alla quale ho avuto il piacere di partecipare una vita fa la sigla iniziale diceva testualmente:

Velocity is speed plus direction

Cioè senza sapere dove stiamo andando è poco utile avere come dato la sola velocità di esecuzione. Proprio per questo è importantissimo capire come e perché vanno costruiti i propri KPI.

Ma come si stabilisce se un KPI è stato definito bene?

Criteri per costruire un buon KPI

Un aiuto ce lo danno Alistar Croll e Benjamin Joskowitz nel libro Lean Analytics, dove identificano quattro criteri principali:

Una buona metrica è Comparabile – Bisogna poterla comparare rispetto ad altre date (o periodi di tempo più o meno ampi), gruppi di utenti o ai competitor per capire come le cose stanno evolvendo. Aumentare il tasso di conversione del 5% WoW (Week over Week) è molto significativo di un generico 3% conversion rate.

Una buona metrica deve essere Comprensibile – Se non è compresa, ricordata e discussa costantemente difficilmente potrà avere un ruolo fondamentale nel nostro business e nella cultura aziendale.

Una buona metrica deve poter essere Normalizzabile – Cioè deve essere comparabile come rapporto o percentuale rispetto ad altre informazioni che stiamo raccogliendo. È più semplice identificare la differenza di percentuale tra utenti paganti e gratuiti che guardarne solo i numeri o anche capire il tasso di crescita delle iscrizioni rispetto al mese precedente.

La normalizzazione porta diversi vantaggi:

• È più semplice rispondere tempestivamente all’informazione che stiamo monitorando, ad esempio se dobbiamo concentrarci sul churn rate o il conversion rate.
• Ci permette di fare comparazioni in modo più semplice, monitorando la % di crescita (o decrescita) tra due misurazioni o identificando al volo possibili trend o spike nei nostri dati.
• Ci permette di paragonare dati che sembrano scorrelati ma non lo sono nella loro essenza, ad esempio per capire in un A/B test quali altre metriche siano influenzate.

Infine una buona metrica deve farci cambiare il modo in cui operiamo, deve cioè essere Eseguibile – Dobbiamo cioè usare concretamente le informazioni raccolte per cambiare le nostre opinioni e basarle sulla realtà oggettiva che stiamo vivendo. Quello che cioè ci dobbiamo chiedere è come cambieremo assunzioni ed obiettivi in base ai risultati ottenuti?

Anche in questo caso possiamo ulteriormente approfondire questo tipo di metriche definendole:

• Accounting: quando impattano dati di tipo finanziario o economico, questo subset di KPI ci deve permettere di fare delle predizioni sempre più accurate e di poter, nei limiti del possibile, identificare pattern da poter governare in futuro.
• Sperimentali: quando il dato raccolto deriva da un test che ci può aiutare a ottimizzare meglio il pricing del nostro prodotto/servizio o ad identificarne meglio il mercato di riferimento. In questo caso il cambio di una metrica sperimentale ci deve spingere a cambiare in modo più rapido e concreto il nostro comportamento e le assunzioni che lo hanno generato.

Criteri per scegliere un buon KPI

Oltre che saper scrivere KPI è necessario anche capire quali scegliere, la stessa metrica può essere un pharmakon (farmaco) cioè contestualmente una medicina o veleno per due business diversi ma simili.

Riguardo a questo fronte ci sono cinque cose da tenere in considerazione:

• Metriche Quantitative contro le Qualitative: le qualitative sono destrutturate, difficili da aggregare, facili da comprendere o addirittura aneddotiche. Al contrario le quantitative coinvolgono numeri e statistiche, offrono dati concreti e misurabili ma, a volte, di difficile comprensione. In una prima fase di sperimentazione è importante ottenere buone metriche qualitative (ad esempio con interviste). Questo però non è semplice e preparare un questionario o un’intervista che non ci faccia raccogliere dati fuorvianti è una attività più complessa di quanto possa sembrare. Nel momento in cui però si passa ad analizzare un funnel non possiamo permetterci di avere dei dati “interpretabili” e qui vengono in nostro aiuto le metriche quantitative.

• Metriche di Vanità contro Actionable: le metriche di Vanità, o Vanity Metrics, non ci aiutano a migliorare ma ci lasciano solo quel sapore di autocompiacimento che dura quei pochi minuti utili a raccontarla durante un aperitivo. Le metriche Actionable o Eseguibili, come abbiamo visto poco fa, sono quelle invece che ci permettono di prendere delle decisioni chiare su quale sarà il nostro prossimo step operativo. La actionable metrics non ci dicono però cosa fare per risolvere il problema, ci indicano solo la direzione (fare dei test).

• Metriche di Esplorazione contro quelle di Reporting: le prime sono speculative e ci servono per provare a validare possibili intuizioni, le seconde invece sono quelle relative al BaU (Business as Usual) e ci servono a capire come l’azienda si sta muovendo. Come per il caso delle metriche Quantitative e Qualitative, questa coppia di metriche ha il giusto tempo di messa in atto e non andrebbero confuse le une con le altre.

• Metriche di Leading e di Lagging: le prime ci aiutano a definire obiettivi che vogliamo, o ci aspettiamo di, raggiungere le seconde ci spiegano il passato (ie. bilancio). Avere delle metriche di leading è importante per porsi obiettivi e lavorare in quella direzione, avere e saper leggere le seconde è importante per capire il perché di determinati successi o insuccessi al fine di replicarli o evitarli in futuro.

• Metriche correlate contro quelle causali: Se due metriche cambiano insieme, cioè al cambiare di una cambia una seconda e viceversa, sono da considerarsi correlate e quindi da trattare come se fossero un unico dato. Ma, più importante, se il cambiamento di una metrica causa il cambiamento di altre, ma non il viceversa, dobbiamo considerarle causali (cioè c’è una correlazione di causa ? effetto) . Cercare causalità tra un dato che vogliamo raggiungere (ie. utile come metrica di leading) e qualcosa che possiamo gestire (ie. migliorare la ux per aumentare il tasso di conversione) è fondamentale in qualsiasi attività.

Double Loop Learning

Avere dei buoni KPI, costruiti cioè sui principi appena descritti, ci permette di ragionare in ottica di Double Loop Learning.

Ci spostiamo quindi dallo spazio della risoluzione di un problema usando le informazioni a nostra disposizione (Single Loop Learning o Learn by Doing) al chiederci perché il problema avviene e cercando di anticiparlo o eliminarlo dalla scena generale.

Ragionare in termini di Double Loop Learning è essenziale per far evolvere il proprio modello di business e la propria azienda ed è uno dei primi strumenti che ci aiutano, in tutte le fasi del Lean Startup, a rivedere obiettivi man mano sempre più chiari.

E non solo nel Lean Startup, infatti questo genere di comprensione delle metriche è alla base del ragionamento dietro alla scelta di buoni KPI su obiettivi concreti di crescita.

È una questione di Obiettivi

Avere dei KPI scritti da manuale non basta, perché è altrettanto importante capire qual è l’obiettivo del KPI che stiamo raccogliendo, questo per essere indirizzati correttamente a fare scelte strategiche o tattiche utili ad andare nella giusta direzione. Ricordate? Velocity is speed plus direction.

Scegliere i giusti obiettivi ed associarli alle corrette metriche è alla base degli OKR.