A/B тестирование сайта: пошаговое руководство

Как перестать гадать, какой вариант заголовка, кнопки или цвета лучше работает, и начать принимать решения на основе данных. Разбираем методологию A/B тестов от формулировки гипотезы до анализа результатов — с примерами и реальными кейсами.

Что такое A/B тестирование

A/B тест (сплит-тест) — это метод сравнения двух версий одного элемента сайта (страницы, кнопки, заголовка), при котором пользователи случайным образом делятся на две группы. Одна группа видит вариант A (контрольный), другая — вариант B (тестовый). По результатам сравнивается конверсия, и выбирается победитель.

Когда применять сплит-тесты

A/B тесты — не панацея. Они работают не везде и не всегда. Вот ситуации, когда они действительно нужны:

• У вас уже есть трафик. Минимум 1000 посетителей в месяц на тестируемую страницу, иначе тест будет длиться вечность.
• Конверсия нестабильна или ниже ожидаемой. Например, лендинг приносит 2% вместо плановых 5%.
• Есть конкретная гипотеза. Не «сделаем красиво», а «если мы изменим X, то Y вырастет на Z%».
• Вы хотите оптимизировать рекламный бюджет. Рост конверсии на 1% при том же трафике = дополнительная прибыль без увеличения расходов на рекламу.

Что именно тестировать: 12 гипотез

Вот самые эффективные элементы для A/B тестов, расположенные по убыванию потенциального эффекта:

Пошаговый процесс проведения теста

Чтобы A/B тест дал достоверный результат, следуйте этому алгоритму:

Шаг 1. Анализ данных и поиск точки роста

Изучите Яндекс.Метрику, Google Analytics, вебвизор. Найдите страницы с высоким трафиком, но низкой конверсией. Посмотрите, на каком этапе пользователи уходят чаще всего.

Шаг 2. Формулировка гипотезы

Используйте шаблон: «Если мы [изменим X], то [метрика Y] вырастет на [Z%], потому что [обоснование]».

Шаг 3. Приоритизация гипотез

Используйте фреймворк PIE: Potential (потенциал), Importance (важность), Ease (простота реализации). Тестируйте сначала то, что даст максимальный эффект при минимальных усилиях.

Шаг 4. Создание варианта B

Подготовьте тестовую версию элемента. Важно: меняйте только один параметр за раз. Если меняете и текст кнопки, и её цвет одновременно — не поймёте, что именно повлияло на результат.

Шаг 5. Запуск теста

Настройте случайное распределение пользователей 50/50. Убедитесь, что обе версии технически работают корректно.

Шаг 6. Сбор данных

Минимальная длительность теста — 2 недели (чтобы захватить полный недельный цикл). Оптимально — 4-6 недель для высокой достоверности.

Шаг 7. Анализ результатов

Используйте калькуляторы статистической значимости (ссылки в разделе «Инструменты»). Если результат значим (p-value < 0.05) — внедряйте победителя. Если нет — фиксируйте вывод и тестируйте другую гипотезу.

Статистическая значимость: когда можно останавливать тест

Главное правило: не останавливайте тест раньше времени, даже если кажется, что победитель уже очевиден. Это называется «peeking problem» — преждевременная остановка искажает результаты.

Минимальные требования для достоверного результата:

• Минимум 100 конверсий в каждом варианте (не 100 посетителей!)
• Статистическая значимость 95% (p-value < 0.05)
• Минимум 2 недели длительности (лучше 4)
• Полный недельный цикл (чтобы захватить будни и выходные)

Инструменты для A/B тестов

Вот проверенные инструменты, которые мы используем в работе:

Техническая подготовка сайта к тестам

Это тот этап, о котором часто забывают, а он критически важен. Если сайт работает нестабильно, любые A/B тесты дадут искажённые результаты.

Перед запуском первого теста убедитесь, что:

• Сайт загружается менее чем за 3 секунды. Медленные страницы «отсеивают» разных пользователей в вариантах A и B, что делает сравнение некорректным.
• Аптайм близок к 100%. Если сайт «падает» на 2 часа в неделю, часть пользователей просто не увидит одну из версий.
• SSL-сертификат работает корректно. Браузеры блокируют скрипты A/B тестов на сайтах без HTTPS.
• Нет конфликтов JavaScript. Скрипты инструментов тестирования могут конфликтовать с вашим кодом.
• Мобильная версия работает стабильно. Более 60% трафика — с мобильных, и они более чувствительны к скорости.

7 типичных ошибок в A/B тестировании

Ошибка 1. Тестирование нескольких изменений сразу

Если вы меняете и заголовок, и кнопку, и картинку одновременно — это уже не A/B тест, а A/B/C/D/... тест. Вы никогда не поймёте, что именно сработало. Меняйте один элемент за раз.

Ошибка 2. Преждевременная остановка теста

«О, вариант B уже лидирует на 20% — останавливаем и внедряем!» — нет. Дождитесь статистической значимости 95%. Иначе вы рискуете внедрить случайную флуктуацию.

Ошибка 3. Игнорирование сезонности

Не запускайте тест в период праздников или крупных распродаж, если только это не является частью гипотезы. Поведение пользователей в эти периоды аномально.

Ошибка 4. Тестирование на малом трафике

Если у вас 100 посетителей в месяц, A/B тест будет длиться годами. Для малых объёмов трафика используйте многорукие бандиты (Multi-armed bandit) или качественные изменения без тестов.

Ошибка 5. Тестирование не того

Цвет кнопки даёт прирост 0.1-0.3%. Изменение оффера — 10-30%. Начинайте с гипотез, которые могут дать серьёзный эффект.

Ошибка 6. Игнорирование сегментов

Вариант B может быть лучше для мобильных, но хуже для десктопа. Всегда смотрите результаты в разрезе устройств, географии, источников трафика.

Ошибка 7. Отсутствие документации

Заведите таблицу всех проведённых тестов: гипотеза, длительность, результат, выводы. Это ваш главный актив — накопленные знания о вашей аудитории.

Реальные кейсы из практики

Кейс 1. Лендинг стоматологии: +42% к заявкам

Гипотеза: если добавить блок с ценами на популярные услуги сразу после первого экрана, конверсия вырастет, потому что пользователи хотят сразу понимать порядок цен.
Результат: конверсия выросла с 3,8% до 5,4% (+42%). Тест длился 3 недели на трафике 2400 посетителей.
Вывод: прозрачность цен важнее, чем мы думали.

Кейс 2. Интернет-магазин: +18% к среднему чеку

Гипотеза: если изменить подачу блока «Похожие товары» с сетки на карусель с акцентом на сопутствующие товары, средний чек вырастет.
Результат: средний чек вырос с 3200 ₽ до 3776 ₽ (+18%). Тест длился 4 недели.
Вывод: визуальная подача влияет на восприятие рекомендации.

Кейс 3. B2B-сайт: -15% к заявкам (отрицательный результат)

Гипотеза: если убрать форму заявки со страницы услуги и оставить только телефон, количество звонков вырастет.
Результат: общая конверсия упала на 15%. Звонков стало больше, но суммарно лидов меньше.
Вывод: часть пользователей не готова звонить — им нужна форма. Гипотеза не подтвердилась, но это тоже ценный результат.

Чек-лист перед запуском A/B теста