Метрики тщеславия и действенные метрики: как отличить одни от других
Метрики тщеславия создают ощущение прогресса, но не дают его. Вот практический тест, который помогает их различать, и справочная таблица самых частых «нарушителей».
Термин «метрика тщеславия» (vanity metric) популяризировал Эрик Рис в книге «The Lean Startup», но сама идея старше книги на десятилетия: так называют любую метрику, которая поднимает настроение от состояния бизнеса, но не помогает его понять и улучшить. Просмотры страниц. Общее число скачиваний. Валовые регистрации. Упоминания в прессе. Показы в Twitter. Эти цифры растут, рост ощущается как победа, и это ощущение как раз и опасно: усилия, потраченные на празднование и отчёты по метрикам тщеславия, — это усилия, не потраченные на цифры, которые действительно определяют решения.
Различие между метриками тщеславия и действенными метриками не всегда очевидно, а некоторые метрики в зависимости от контекста относятся к обеим категориям. Ниже — фреймворк, который помогает принять решение, и справочная таблица с метриками, о которых спорят чаще всего.
Тест из трёх вопросов
Задайте эти три вопроса любой метрике, которую вы собираетесь отслеживать. Если она не проходит больше одного из них, это почти наверняка метрика тщеславия.
Вопрос 1: может ли эта метрика снижаться? Метрика, которая только растёт, — общее число зарегистрированных пользователей, накопленные просмотры страниц, все скачивания за всё время, — ничего не говорит о том, становится ли ситуация лучше или хуже прямо сейчас. Действенные метрики могут двигаться в обе стороны. Именно возможность снижения делает метрику значимым сигналом.
Вопрос 2: побуждает ли изменение этой метрики к конкретному действию? Если бы в следующем месяце эта метрика упала на 20%, вы бы знали, что делать иначе? Если ответ «будем разбираться дальше», метрика слишком обобщённая, чтобы напрямую подсказывать действия. Если ответ «увеличим число исходящих звонков отдела продаж» или «исправим онбординг на третьем шаге», метрика действенная.
Вопрос 3: сложно ли «накрутить» эту метрику, не улучшив реальное положение дел? Общее число зарегистрированных пользователей можно накрутить, купив списки адресов или запустившись на Product Hunt. Еженедельных активных пользователей нельзя накрутить, не вернув пользователей в продукт по-настоящему. Метрики, которые легко накрутить, не создавая реальной ценности, — это метрики тщеславия по своей природе.
Метрика тщеславия — это не метрика, которая хорошо выглядит. Это метрика, из-за которой вам кажется, что вы улучшаетесь, хотя на самом деле это может быть не так. Ловушка — именно в этом ощущении.
Справочная таблица
| Метрика | Вердикт | Почему |
|---|---|---|
| Всего зарегистрированных пользователей | Тщеславная | Только растёт. Ничего не говорит ни о вовлечённости, ни о созданной ценности, ни о том, работает ли продукт. Замените на число активных пользователей за месяц или показатель активации. |
| Активные пользователи за месяц (MAU) | Действенная | Может как расти, так и падать. Показывает, возвращаются ли пользователи, — необходимое условие для удержания и выручки. Особенно информативна при отслеживании по когортам. |
| Просмотры страниц / сессии на сайте | Тщеславная | Можно накрутить ботовым трафиком, всплесками в соцсетях или любыми платными вложениями. Без привязанной конверсии описывает внимание, а не результат. Используйте вместо неё конверсию трафика в пробный период. |
| Конверсия из пробного периода в платную подписку | Действенная | Показывает, работает ли ваша воронка привлечения. Падение запускает конкретный разбор онбординга, ценообразования или сообщений. Трудно накрутить, не улучшив реальную конверсию. |
| Подписчики в соцсетях | Тщеславная | Число подписчиков можно купить, оно подчиняется степенному закону, не связанному с качеством бизнеса, и плохо предсказывает любые дальнейшие бизнес-результаты. Вместо этого отслеживайте долю рекомендаций или долю присутствия в профильных сообществах (share of voice). |
| Размер базы email-подписчиков | Зависит от контекста | Тщеславная, если база нецелевая и неактивная. Действенная, если сегментирована по уровню вовлечённости и коррелирует с последующей конверсией. Размер базы имеет значение только при хороших показателях открываемости и кликабельности. |
| Net Promoter Score (NPS) | Зависит от контекста | Действенная, если её последовательно отслеживают во времени с разбивкой по сегментам и работой с критиками (detractors). Тщеславная, если опрос провели один раз, отпраздновали и убрали в архив. Сама оценка менее ценна, чем динамика и качественная работа с обратной связью. |
| Выручка (валовая) | Зависит от контекста | Действенна при разбивке по когортам, каналам и сегментам. Может вводить в заблуждение, если представлена единой сводной цифрой, которая скрывает высокий отток за успешным привлечением новых клиентов. Всегда рассматривайте вместе с чистым удержанием выручки (net revenue retention). |
| Упоминания в прессе / охват в СМИ | Тщеславная | На ранней стадии редко коррелируют с результатами бизнеса. Проверяйте, приводит ли пресса к пробным периодам или регистрациям: если нет, ей место в маркетинговом архиве, а не на бизнес-дашборде. |
| Удержание на 30-й день | Действенная | Напрямую показывает, нашли ли новые пользователи достаточно ценности, чтобы оставаться активными через месяц после регистрации. Один из самых честных опережающих индикаторов долгосрочного удержания и LTV, доступных командам на ранней стадии. |
| Рейтинг в магазине приложений | Тщеславная | Отражает предвзятую, самоотобранную выборку самых довольных и самых недовольных пользователей. Полезна для качественной обратной связи; как бизнес-метрика бесполезна. Чтобы измерить реальную удовлетворённость продуктом, отслеживайте удержание на 30-й день и отток. |
| Стоимость привлечения клиента (CAC) | Действенная | Действенная напрямую: рост запускает разбор эффективности канала, конверсии и затрат на персонал. Значима только при расчёте с учётом всех затрат (люди + расходы на рекламу + инструменты) и при отслеживании по каналам, а не только в целом. |
Категория «зависит от контекста» заслуживает внимания
Несколько метрик в таблице — NPS, выручка, размер базы email-подписчиков — попали в категорию «зависит от контекста», и её стоит разобрать. Это метрики, которые в одном контексте действенны, а в другом — метрики тщеславия. Разница почти всегда в том, как их отслеживают, сегментируют и что делают с результатами, а не в самой метрике.
NPS — самый наглядный пример. Единая сводная цифра NPS, которую раз в год опрашивают и показывают в презентации для совета директоров, — это метрика тщеславия. Она что-то сообщает (оценку), выглядит значимо (число выше 40 — это «хорошо»), но не говорит, какие клиенты — критики, почему они критики и что делать, чтобы их переубедить. NPS, который отслеживают ежемесячно по сегментам клиентов и при этом последовательно работают с каждым ответом критика, — действенная метрика. То же число, но совершенно другая польза.
Почти любая метрика становится действеннее при сегментации. Выручка, разбитая по каналам привлечения, сегментам клиентов и размеру контрактов, даёт совсем иные выводы, чем общий итог. Работа по превращению метрики в действенную — это нередко работа по разбиению её на сегменты, в которых и скрыты различия, потому что именно там находится возможность принять решение.
Организационная цена метрик тщеславия
Метрики тщеславия не безвредны. На них уходит время при подготовке, время при отчётности и — что хуже всего — они разрешают командам гордиться работой, которая, возможно, не двигает бизнес вперёд. Команда, которая празднует 100 000 зарегистрированных пользователей, не задаётся вопросом, почему активны только 4 000 из них. Этот незаданный вопрос — разница между продуктом, который решает проблему удержания на шестом месяце, и тем, который обнаруживает её на восемнадцатом, когда траектория роста уже определена.
Практическое решение — не убрать с дашборда все метрики верхнего уровня, а сопоставить каждую метрику, которой легко гордиться, с более трудной метрикой, дающей недостающий ей контекст. Общее число зарегистрированных пользователей — в паре с активными пользователями за месяц и показателем активации. Трафик сайта — с конверсией в пробный период. Валовая выручка — с чистым удержанием выручки. Каждая пара создаёт напряжение, не позволяющее «удобной» метрике порождать самоуспокоенность.
Некоторые инвесторы, особенно на самых ранних стадиях, просят показать общее число зарегистрированных пользователей, скачиваний приложения или подписчиков в соцсетях как подтверждение traction. Стоит понимать причину: эти метрики легко сравнивать между компаниями и стадиями, а инвесторы без глубокой отраслевой экспертизы используют их как грубые ориентиры. Давайте их по запросу, но всегда начинайте с действенных метрик, которые рассказывают реальную историю. Основатель, который говорит: «У нас 8 000 зарегистрированных пользователей, из них 3 400 активны в течение месяца, а удержание на 30-й день — 72%», демонстрирует такую операционную ясность, которую простым числом пользователей не передать.
Переход от метрик тщеславия к действенным — это в той же мере культурная привычка, что и техническая. В FabricLoop команды, сделавшие этот переход, часто ведут единую общую заметку со списком официальных метрик: тех, что попадают в еженедельный обзор, у которых есть владельцы, которые порождают задачи, когда движутся в неверную сторону. Этот список работает как фильтр: когда кто-то предлагает добавить в обзор новую метрику, у вопроса «проходит ли она тест из трёх вопросов?» есть общая точка отсчёта. Список не обязан быть длинным, чтобы быть действенным: часто шести–восьми метрик, которые отслеживаются последовательно, достаточно, чтобы растущая команда двигалась в нужном направлении.