A/B-тест на сайте: как проверить изменения

Разговор про A/B-тесты обычно начинается одинаково: «сделали две версии заголовка, вторая собрала больше заявок». Через месяц выясняется, что заявок было пять и одна случайно попала во вторую версию. На этом статистика заканчивается, а решение уже принято.

Ниже — как подойти к этому без самообмана и без платных сервисов.

Что такое A/B-тест и когда он оправдан

A/B-тест (его ещё называют сплит-тестом) — это когда одну и ту же страницу показывают двум группам посетителей в двух вариантах и сравнивают результат. По собранной статистике запросов видно, что тема живая: «a b тестирование» — около 7 500 показов в месяц, «конверсия сайта» — около 2 200. Интерес есть, но у малого бизнеса обычно не хватает главного ресурса — трафика.

Оправдан тест тогда, когда решение действительно спорное. Спорить о том, ставить ли телефон в шапку, не нужно — ставьте и смотрите. Тест нужен там, где варианты равнозначны и цена ошибки заметна: например, показывать цену сразу или только после заявки.

Что стоит тестировать в первую очередь

Начинайте с того, что влияет на решение клиента, а не с мелочей вроде цвета кнопки.

Элемент	Вариант A	Вариант B
Заголовок первого экрана	Про компанию: «Мебель на заказ с 2008 года»	Про задачу клиента: «Шкаф в нишу по вашим размерам»
Форма заявки	Четыре поля: имя, телефон, почта, комментарий	Два поля: имя и телефон
Первый экран	Фото производства и текст о качестве	Примеры работ и цена «от»
Призыв к действию	«Отправить заявку»	«Рассчитать стоимость за 10 минут»
Доверие	Отзывы в конце страницы	Отзывы и гарантии сразу после цены

Формулировки для теста берите из переписки с клиентами: то, как они сами называют свою задачу, почти всегда выигрывает у внутренних формулировок компании. Об этом подробнее — в статье «Как написать текст для сайта, который будут читать».

Сколько нужно трафика, чтобы тест что-то показал

Грубое правило: чтобы различить изменения конверсии на несколько процентов, нужны десятки конверсий в каждой версии, а не десятки посетителей. Проще говоря — при конверсии 2% и трафике 300 человек в месяц одна версия получит примерно 6 заявок, вторая 6 или 7. Это не тест, это шум.

Прикидка для небольшого сайта:

• до 300 визитов в месяц — тест бессмыслен: разница не проявится, а вывод будет случайным;
• 300–1 000 визитов — тестировать можно только крупные изменения, которые заметно двигают конверсию: убрать половину полей формы, перенести цену наверх;
• от 1 000 визитов на страницу — уже имеет смысл спорить о заголовках и блоках.

Как провести тест без платных сервисов

Если трафик приходит из рекламы, самый честный способ — рекламные кампании. Делите два объявления с разными ссылками и получаете две группы посетителей на одинаковых условиях.

1. Сформулируйте одну гипотезу. «Клиент скорее отправит заявку, если увидит цену от и примеры работ на первом экране».
2. Сделайте две версии страницы и разведите трафик. Метка в адресе ссылки (UTM) покажет, какая версия сколько посетителей получила: об этом в статье «UTM-метки: как понять, откуда приходят клиенты».
3. Настройте цель в аналитике. Считать нужно не визиты, а отправленные формы и звонки. Как это делается, разобрано в материале «Веб-аналитика для малого бизнеса».
4. Дайте тесту время. Минимум две полные недели, включая выходные: будни и выходные дают разную конверсию.
5. Сравните результат. Считайте долю заявок от визитов в каждой версии, а не абсолютные числа.

Как понять, что результат не случайный

Базовое правило: чем меньше разница, тем больше данных нужно, чтобы ей верить. Разница в 50% при тридцати заявках в каждой версии видна почти наверняка. Разница в 10% при пяти заявках не значит ничего.

Практический ориентир для небольших сайтов: если одна версия собрала заявок больше, но разрыв меньше примерно трети, считайте результат ничейным. Оставляйте любую версию — и переходите к следующей гипотезе, где эффект может быть крупнее.

Частые ошибки

• Менять несколько элементов сразу. Потом невозможно понять, что именно дало прирост.
• Сравнивать разный трафик. Реклама и переходы из поиска ведут себя по-разному; смешивать их в одном тесте нельзя.
• Останавливать тест на первой неделе. Неделя почти всегда выпадает из общего ритма: праздники, сезонность, задержки поставок.
• Считать клики вместо заявок. Больше переходов по кнопке и больше денег в кассе — разные вещи.
• Тестировать в низкий сезон. Провал спроса можно принять за провал версии страницы.

Если трафика мало

Это самая частая ситуация, и в ней все экономят время на A/B-тестах, а не придумывают способы их провести. Что делать вместо тестов:

• попросить пять-семь живых клиентов пройти по странице и рассказать, где они спотыкаются;
• посмотреть записи визитов в аналитике и найти, где люди уходят;
• убрать то, что мешает механически: лишние поля в форме, размытый первый экран, отсутствие цен.

Такие правки не требуют статистической базы: если форма из шести полей превращается в два поля, это обычно выигрывает без всякого теста. О том, где в воронке теряются заявки, — в статье «Воронка продаж для малого бизнеса: из чего она состоит».

Частые вопросы

Можно ли провести A/B-тест без специальных сервисов?

Да. Достаточно двух версий страницы, меток в ссылках и настроенной цели в аналитике. Специализированные сервисы удобнее, но принципиально другого результата не дают.

Сколько должен длиться тест?

Минимум две полные недели, а лучше — до накопления заметного числа заявок в каждой версии. Если трафика мало, тест может идти месяц; это нормально, просто не стоит ждать быстрых выводов.

Что делать, если тест не выявил разницы?

Оставить любую версию и проверить более крупную гипотезу. Отсутствие разницы — тоже результат: значит, элемент не был проблемой и внимание стоит направить в другое место.

Правда ли, что цвет кнопки может поднять продажи?

Иногда — да, если кнопка до этого терялась на фоне. Но на небольших объёмах трафика такое изменение почти невозможно подтвердить честным тестом. Начинайте с содержания страницы: заголовка, цен и формы.