Vanity metriky vs. využiteľné metriky: ako rozlíšiť rozdiel
Vanity metriky pôsobia ako pokrok, no žiadny neprinášajú. Tu je praktický test na rozlíšenie rozdielu — a referenčná tabuľka najčastejších vinníkov.
Pojem "vanity metrika" spopularizoval Eric Ries v knihe The Lean Startup, ale samotný koncept je o desaťročia starší: označuje akúkoľvek metriku, vďaka ktorej sa o svojom podnikaní cítite dobre, no nepomáha vám ho pochopiť ani zlepšiť. Zobrazenia stránok. Celkový počet stiahnutí. Hrubý počet registrácií. Zmienky v tlači. Impresie na Twitteri. Tieto čísla rastú, rast pôsobí ako víťazstvo a práve tento pocit je nebezpečný — pretože úsilie venované oslavovaniu a reportovaniu vanity metrík je úsilie, ktoré sa nevenuje číslam, ktoré skutočne poháňajú rozhodnutia.
Rozdiel medzi vanity a využiteľnými metrikami nie je vždy zrejmý a niektoré metriky podľa kontextu skutočne patria do oboch kategórií. Nasleduje rámec na toto rozhodovanie a referenčná tabuľka s metrikami, o ktorých sa najčastejšie diskutuje.
Test troch otázok
Položte tieto tri otázky každej metrike, ktorú zvažujete sledovať. Ak neuspeje pri viac ako jednej, je takmer určite vanity metrikou.
Otázka 1: Môže táto metrika klesnúť? Metrika, ktorá len rastie — celkový počet registrovaných používateľov, kumulatívne zobrazenia stránok, počet stiahnutí za celé obdobie — neobsahuje žiadnu informáciu o tom, či sa veci práve zlepšujú, alebo zhoršujú. Využiteľné metriky sa môžu pohybovať oboma smermi. Práve schopnosť klesať robí z metriky zmysluplný signál.
Otázka 2: Podnieti zmena tejto metriky konkrétnu akciu? Keby táto metrika budúci mesiac klesla o 20%, vedeli by ste, čo urobiť inak? Ak je odpoveď „preskúmali by sme to podrobnejšie“, metrika je príliš všeobecná na to, aby bola priamo využiteľná. Ak je odpoveď „zvýšili by sme počet aktívnych predajných hovorov“ alebo „opravili by sme onboarding v treťom kroku“, je využiteľná.
Otázka 3: Dá sa túto metriku ťažko nafúknuť bez zlepšenia skutočného stavu? Celkový počet registrovaných používateľov sa dá nafúknuť nákupom e-mailových zoznamov alebo spustením na Product Hunt. Týždenne aktívnych používateľov nafúknuť nemožno bez toho, aby sa používatelia skutočne vrátili do produktu. Metriky, ktoré sa dajú ľahko nafúknuť bez vytvorenia skutočnej hodnoty, sú už z princípu vanity metrikami.
Vanity metrika nie je metrika, ktorá vyzerá dobre. Je to metrika, vďaka ktorej máte pocit, že sa zlepšujete, hoci to tak byť nemusí. Ten pocit je pasca.
Referenčná tabuľka
| Metrika | Verdikt | Prečo |
|---|---|---|
| Celkovo registrovaní používatelia | Vanity | Rastie len jedným smerom. Nič nehovorí o zapojení, dodanej hodnote ani o tom, či produkt funguje. Nahraďte ju mesačne aktívnymi používateľmi alebo mierou aktivácie. |
| Mesačne aktívni používatelia (MAU) | Využiteľná | Môže rásť aj klesať. Odráža, či sa používatelia vracajú — čo je predpoklad retencie a tržieb. Obzvlášť silná, keď sa sleduje po kohortách. |
| Zobrazenia stránok / návštevy webu | Vanity | Dá sa nafúknuť botmi, výkyvmi zo sociálnych sietí alebo akýmkoľvek plateným výdavkom. Bez pripojenej miery konverzie popisuje pozornosť, nie trakciu. Namiesto toho použite mieru konverzie návštev na skúšobnú verziu. |
| Miera konverzie zo skúšobnej verzie na platenú | Využiteľná | Meria, či váš akvizičný funnel funguje. Pokles spustí konkrétne skúmanie onboardingu, cien alebo komunikácie. Ťažko sa dá nafúknuť bez skutočného zlepšenia konverzie. |
| Sledovatelia na sociálnych sieťach | Vanity | Počet sledovateľov sa dá kúpiť, riadi sa mocninovým zákonom, ktorý nesúvisí s kvalitou podnikania, a je slabým ukazovateľom akéhokoľvek ďalšieho obchodného výsledku. Namiesto toho sledujte mieru odporúčaní alebo podiel hlasu (share of voice) v relevantných komunitách. |
| Veľkosť e-mailového zoznamu | Závisí | Vanity, ak je zoznam nekvalifikovaný a nezapojený. Využiteľná, ak je segmentovaný podľa úrovne zapojenia a koreluje s následnou konverziou. Veľkosť zoznamu záleží len vtedy, keď sú miery otvorenia a prekliknutia zdravé. |
| Net Promoter Score (NPS) | Závisí | Využiteľné, keď sa sleduje konzistentne v čase s rozpadom po segmentoch a s procesom nadväzujúcej komunikácie s kritikmi (detractors). Vanity, keď sa raz zmeria, oslávi a odloží. Samotné skóre je menej hodnotné než trend a kvalitatívne nadväzovanie. |
| Tržby (hrubé) | Závisí | Využiteľná, keď je rozdelená podľa kohorty, kanála a segmentu. Potenciálne zavádzajúca, keď sa prezentuje ako jedno zmiešané číslo, ktoré za silnou akvizíciou nových zákazníkov skrýva vysoký churn. Vždy ju spárujte s čistou retenciou tržieb (NRR). |
| Zmienky v tlači / mediálne pokrytie | Vanity | V ranej fáze zriedka koreluje s obchodnými výsledkami. Merajte, či tlač prináša skúšobné verzie alebo registrácie — ak nie, patrí do marketingového archívu, nie na biznis dashboard. |
| Miera retencie po 30 dňoch | Využiteľná | Priamo meria, či noví používatelia našli dosť hodnoty na to, aby zostali aktívni mesiac po registrácii. Jeden z najúprimnejších predstihových ukazovateľov (leading indicator) dlhodobej retencie a LTV, aký majú tímy v ranej fáze k dispozícii. |
| Hodnotenie v App Store | Vanity | Odráža skreslenú, samovýberovú vzorku vašich najspokojnejších a najnespokojnejších používateľov. Užitočné pre kvalitatívnu spätnú väzbu; ako obchodná metrika zbytočné. Na meranie skutočnej spokojnosti s produktom sledujte retenciu po 30 dňoch a mieru churnu. |
| Náklady na získanie zákazníka (CAC) | Využiteľná | Priamo využiteľná — nárast spustí skúmanie efektívnosti kanálov, miery konverzie a nákladov na ľudí. Zmysluplná len vtedy, keď sa počíta so zahrnutím všetkých nákladov (ľudia + výdavky na reklamu + nástroje) a sleduje sa podľa kanála, nie iba ako zmiešané číslo. |
Kategória "závisí" si zaslúži pozornosť
Niekoľko metrík v tabuľke — NPS, tržby, veľkosť e-mailového zoznamu — spadá do kategórie "závisí", ktorú stojí za to rozobrať. Sú to metriky, ktoré sú v jednom kontexte využiteľné a v inom vanity. Rozdiel takmer vždy spočíva v tom, ako sa sledujú, segmentujú a ako sa na ne nadväzuje, nie v samotnej metrike.
NPS je najjasnejší príklad. Jedno zmiešané číslo NPS, zisťované raz ročne a prezentované v prezentácii pre predstavenstvo, je vanity metrika. Niečo vám povie (skóre), pôsobí zmysluplne (číslo nad 40 je „dobré“), ale nepovie vám, ktorí zákazníci sú kritici (detractors), prečo sú kritikmi, ani čo by ste mali urobiť, aby ste ich získali späť. NPS sledované mesačne podľa zákazníckeho segmentu, s dôsledným procesom nadväzovania na každú odpoveď kritika, je využiteľná metrika. To isté číslo, úplne iná užitočnosť.
Takmer akákoľvek metrika sa stáva využiteľnejšou, keď sa segmentuje. Zmiešané tržby rozdelené podľa akvizičného kanála, zákazníckeho segmentu a veľkosti zmluvy poskytujú úplne iné poznatky než zmiešaný súčet. Práca na tom, aby bola metrika využiteľná, je často práca na jej rozčlenení na segmenty, v ktorých leží variabilita — pretože práve tam je príležitosť na rozhodovanie.
Organizačné náklady vanity metrík
Vanity metriky nie sú neškodné. Zaberajú čas pri tvorbe, čas pri reportovaní a — čo je najškodlivejšie — dávajú tímom povolenie cítiť sa dobre z práce, ktorá možno biznis neposúva dopredu. Tím, ktorý oslavuje 100 000 celkovo registrovaných používateľov, je tím, ktorý sa nepýta, prečo je aktívnych len 4 000 z nich. Táto nepoložená otázka je rozdielom medzi produktom, ktorý problém retencie rieši v 6. mesiaci, a tým, ktorý ho objaví v 18. mesiaci, keď je trajektória rastu už napísaná.
Praktickým riešením nie je zakázať na dashboarde všetky všeobecné metriky — je to spárovať každú metriku, ktorú je ľahké oslavovať, s ťažšou metrikou, ktorá poskytuje chýbajúci kontext. Celkový počet registrovaných používateľov spárovaný s mesačne aktívnymi používateľmi a mierou aktivácie. Návštevnosť webu spárovaná s mierou konverzie na skúšobnú verziu. Hrubé tržby spárované s čistou retenciou tržieb. Každé takéto spárovanie vytvára napätie, ktoré bráni tomu, aby pohodlná metrika plodila sebauspokojenie.
Niektorí investori, najmä v najskorších fázach, budú žiadať celkový počet registrovaných používateľov, stiahnutia aplikácie alebo sledovanosť na sociálnych sieťach ako dôkaz trakcie. Stojí za to pochopiť prečo: tieto metriky sa dajú ľahko porovnávať naprieč firmami a fázami a investori bez hlbokej doménovej znalosti ich používajú ako hrubé zástupné ukazovatele. Poskytnite ich, keď sa pýtajú — ale vždy začnite využiteľnými metrikami, ktoré rozprávajú skutočný príbeh. Zakladateľ, ktorý vysvetlí „máme 8 000 registrovaných používateľov, z nich 3 400 je mesačne aktívnych a retencia po 30 dňoch je 72%“, preukazuje úroveň prevádzkovej prehľadnosti, ktorú jednoduchý počet používateľov nedokáže sprostredkovať.
Posun od vanity k využiteľným metrikám je rovnako kultúrny zvyk ako technický. Tímy vo FabricLoop, ktoré tento posun urobili, často vedú jednu zdieľanú poznámku so zoznamom oficiálnych metrík — tých, ktoré sa objavujú v týždennom prehľade, ktoré majú vlastníkov a ktoré generujú úlohy, keď sa pohnú nesprávnym smerom. Tento zoznam funguje ako filter: keď niekto navrhne pridať do prehľadu novú metriku, otázka „prejde táto metrika testom troch otázok?“ má spoločný referenčný bod. Zoznam nemusí byť dlhý, aby bol účinný — často stačí šesť až osem dôsledne sledovaných metrík, aby sa rastúci tím držal správneho smeru.