A/B-тест сравнивает два варианта страницы в одинаковых условиях и помогает оценить влияние конкретного изменения. Он полезен не для подтверждения вкуса дизайнера, а для проверки заранее сформулированной гипотезы на достаточном объёме данных.
Начните с проблемы и гипотезы
Формат гипотезы: если изменить элемент X для аудитории Y, метрика Z улучшится, потому что устранится конкретный барьер. Например: «Если рядом с формой показать срок ответа, больше посетителей завершат отправку, потому что понимают, когда получат обратную связь». Формулировка определяет вариант и метрику.
Тестировать случайный цвет кнопки без данных можно, но ценность результата будет низкой. Источниками гипотез служат аналитика, записи сессий, интервью, обращения отдела продаж и ошибки формы. Сначала устраняйте очевидные технические дефекты — их не нужно проверять экспериментом.
Выберите одну основную метрику
Основная метрика должна быть близка к бизнес-результату: успешная заявка, покупка или квалифицированный лид. Дополнительные показатели объясняют механизм — начало формы, клик по телефону, средний чек. Заранее задайте защитные метрики, чтобы рост заявок не сопровождался падением качества или увеличением ошибок.
- Зафиксируйте основную метрику до запуска.
- Определите минимально значимый для бизнеса эффект.
- Оцените необходимую выборку и длительность.
- Проверьте равномерность распределения трафика.
- Не останавливайте тест при первом красивом результате.
Выборка, длительность и сезонность
Размер выборки зависит от базовой конверсии, ожидаемого эффекта и допустимой вероятности ошибки. Нельзя назначить универсальные «две недели». Тест должен охватить полный бизнес-цикл, включая будни и выходные, но бесконечное ожидание тоже повышает риск вмешательства внешних факторов.
Не запускайте эксперимент одновременно с крупной распродажей, сменой рекламной стратегии или поломкой CRM, если эти события по-разному влияют на варианты. Возвращающийся пользователь должен видеть стабильную версию. Исключите сотрудников и тестовый трафик.
Как интерпретировать результат
Статистическая значимость не равна бизнес-значимости. Рост конверсии на доли процента может не окупить разработку, а крупный эффект на малой выборке — оказаться случайностью. Анализируйте доверительный интервал, абсолютное число конверсий и качество лидов.
Если различий нет, тест всё равно даёт знание: изменение не показало ожидаемого эффекта в заданных условиях. Не разбивайте аудиторию на десятки сегментов после завершения в поисках «победы» — такие находки требуют нового подтверждающего эксперимента. Решение и исходные данные сохраните в журнале тестов.
FAQ
Можно ли тестировать несколько изменений сразу?
Можно сравнить два цельных концепта, но вы не узнаете вклад каждого элемента. Для диагностики лучше одна содержательная гипотеза.
Что делать сайту с малым трафиком?
Использовать качественные исследования, последовательные изменения и более близкие промежуточные метрики. Слабую выборку нельзя исправить ранней остановкой.
Нужно ли внедрять победителя навсегда?
После внедрения контролируйте метрики на всём трафике. Эффект может измениться из-за аудитории, сезона или технической реализации.