Как оценить ценность фичи
Или зачем в действительности нужны A/B тесты
В прошлом выпуске мы говорили про анонсы фич для пользователей, но как вообще понять, полезную ли фичу мы сделали?
Самый простой и очевидный вариант: считаем ее использование (usage).
Мы добавили новую кнопку в интерфейсе, смотрим как часто на нее кликают. Добавили новое поле на форму, смотрим что туда пишут.
Простой вариант, но не слишком надежный.
Возможно кнопку мало кликают, потому что она нужна небольшому проценту ваших пользователей. С другой стороны, высокий процент заполнения нового поля для формы не означает, что фича успешная.
Пользователи приходят в продукт не заполнять формы, а решить свою задачу. Если вы заставили джуниора заполнить больше информации о себе, не факт, что это поможет ему найти работу.
Альтернативный вариант: kill the feature.
Этим вариантом я пользовался (слишком часто), когда не было времени/ресурсов сделать правильно. Вместо того, чтобы спорить, насколько фича ценная, убираем ее из продукта и смотрим, заметят ли пользователи.
Это не так безумно, как выглядит на первый взгляд. Можно убрать ненадолго и/или для небольшого процента пользователей. Во многих случаях это хорошо работает и главное очень просто в реализации. :)
Но конечно минусы тоже есть. Во-первых, этот метод не работает, если у вас немного пользователей и/или у них нет простого способа передать свой фидбек по продукту. Во-вторых, некоторые фичи нужны редко и/или не всем, это не значит что они бесполезные: по такой логике фича “сообщить о найме” пойдет под нож первой.
Наверное можно придумать еще кучу сомнительных способ измерить ценность фичи, но пора открывать карты. Есть один хороший метод, практически стандарт индустрии.
Самый правильный и надежный вариант для оценки фичи: А/Б тест.
Обычно мы не делаем фичу ради фичи, мы хотим решить какую-то задачу пользователя и/или улучшить нашу продуктовую метрику. Именно это и должен измерять А/Б тест, все остальные “метрики” нас только запутывают и отвлекают от главного.
Пример: смена цвета фона в мобильной игре.
Нам не важен usage, мы хотим увеличить длину игровой сессии. Пробуем разные варианты фона для разных когорт пользователей, выбираем лучший.
Пример: новый фильтр в разделе вакансий.
Не имеет значения как часто его кликают пользователи, важно приводит ли это к росту просмотров/откликов. Выбираем когорту, которая получит новый фильтр, смотрим какое среднее количество откликов на вакансию у этой когорты, по сравнению с контрольной.
Без А/Б теста легко сделать неправильные выводы, так как в продукте всегда есть десятки и сотни разных факторов, влияющих на поведение пользователей, про которые мы не всегда знаем и точно не можем проконтролировать.
А/Б тест изолирует ваше изменение от других изменений в продукте.
Пример: мы поменяли логику Телеграм-бота, чтобы сделать нотификации о новых вакансиях бесшумными. Не ухудшили ли мы этим “читаемость” бота?
Количество кликов из бота на сайт не упало, вроде бы все ок. С другой стороны, мы выкатили это обновление в первую неделю после праздников. Больше новых вакансий и значит переходов должно было быть больше. С третьей стороны, возможно компании пере-опубликовали кучу старых вакансий, а для них CTR ниже. Без А/Б теста остается лишь гадать.
Пример: мы решили не выключать профили, которые не отвечают рекрутерам.
Количество кандидатов онлайн растет, количество полученных предложений тоже, количество открытых контактов – нет. Значит ли это, что эксперимент неудачный?
Без А/Б теста на этот вопрос невозможно ответить.
Онлайн кандидаты могли вырости из-за популярного топика на ДОУ, количество предложений – из-за фриланс-рекрутера, который заспамил всех подряд нерелевантными вакансиями. Количество открытых контактов не выросло т.к. в последнем апдейте была ошибка в JS, которая не показывала часть новых предложений кандидатам.
Что надо было сделать? А/Б тест!
Взять когорту кандидатов e.g. “user id заканчивается на 7” и только для них убрать логику выключения профиля. Подождать неделю (или три). Сравнить количество открытых контактов на кандидата для тестовой группы и контрольной.
Единственный способ узнать, как ваше изменение влияет на продуктовые метрики, это оформить его через А/Б тест. Это и есть ценность фичи.
На сегодня все. Обсуждение, как обычно, в нашей Telegram-группе.