A/B-тесты сайта.

Зачем нужен A/B-тест

A/B-тест - это способ закончить спор о том, какой заголовок лучше. Половине посетителей показывают текущую версию страницы, половине - изменённую, и сравнивают, где больше заявок.

Ценность не в самой процедуре, а в том, что решения перестают приниматься на вкус. Без замера правки превращаются в бесконечное обсуждение цвета кнопки; с замером - в понятный список того, что дало прирост, а что нет.

Шаг 1. Определите цель

До начала теста нужно назвать один показатель, ради которого всё затевается: заявки с формы, звонки, добавления в корзину, переходы на страницу услуги.

Цель должна быть измеримой и одна. «Улучшить сайт» целью не является - под неё нельзя посчитать результат. «Увеличить долю визитов, заканчивающихся отправленной формой» - является.

И цель должна быть настроена в аналитике заранее. Тест без настроенных целей даёт цифры, которым нечем поверить.

Шаг 2. Сформулируйте гипотезу

Гипотеза - это конкретное утверждение, которое можно опровергнуть: «если заменить текст кнопки с „Отправить“ на „Получить расчёт“, доля отправленных форм вырастет».

Хорошая гипотеза опирается на наблюдение, а не на фантазию. Вебвизор показывает, что люди бросают форму на четвёртом поле, - отсюда гипотеза о сокращении формы. Карта скролла показывает, что до кнопки долистывает пятая часть, - отсюда гипотеза о втором призыве выше по странице.

Проверять можно что угодно: заголовок, изображение, порядок блоков, длину формы, текст и положение кнопки. Важно одно - за раз меняется что-то одно.

Шаг 3. Разделите трафик

Контрольная группа A видит текущую версию, экспериментальная B - изменённую. Распределение должно быть случайным и равномерным, иначе результат будет говорить не об изменении, а о разнице между группами.

Один и тот же посетитель при повторном визите должен попадать в ту же версию: человек, у которого страница меняется между заходами, ведёт себя непредсказуемо и портит данные.

Шаг 4. Соберите данные

Главная ошибка - остановить тест, как только появился перевес. На малых числах разница между версиями почти всегда случайна, и красивый результат первого дня к концу недели обычно разворачивается.

Тест нужно вести достаточно долго, чтобы разница перестала быть совпадением, и обязательно захватывать целые недели: поведение в понедельник и в субботу разное. Учитывайте и внешние обстоятельства - праздники, сезон, запуск рекламной кампании, публикацию в СМИ. Всё это искажает картину.

Шаг 5. Разберите результат

Если версия B выиграла - внедряйте изменение на постоянной основе и переходите к следующей гипотезе. Если проиграла или разницы нет - это тоже результат: вы узнали, что этот элемент на решение не влияет, и не потратили на него ещё месяц.

Смотрите на цель, а не на промежуточные показатели. Вариант, который собирает больше кликов по кнопке, но меньше отправленных форм, обещает больше, чем даёт, - и внедрять его не нужно.

Ценность метода накопительная: один тест почти ничего не меняет, десяток последовательных тестов заметно поднимает конверсию.

Где тесты чаще всего врут

• Слишком мало трафика. При нескольких десятках визитов в неделю тест не закончится никогда - тут быстрее и честнее опросить клиентов.
• Меняли несколько элементов сразу. Версия выиграла, но какой именно правкой - неизвестно, и повторить успех не получится.
• Сравнивали разные периоды. «Было в марте, стало в апреле» - это не A/B-тест, а сравнение двух разных месяцев.
• Проверяли мелочь. Оттенок кнопки редко решает, а вот оффер, цена и длина формы решают почти всегда - начинать стоит с них.

Частые вопросы

Сколько должен длиться тест?

До тех пор, пока накопленных данных не хватит, чтобы разница перестала быть случайной, - и целое число недель. Конкретный срок зависит от трафика и от того, насколько велика разница.

Можно ли тестировать сразу три версии?

Можно, но трафик делится на три, и ждать придётся заметно дольше. При небольшой посещаемости лучше сравнивать две.

Вредит ли A/B-тест позициям в поиске?

Нет, если обе версии показывают людям и поисковым роботам одинаково и тест не длится бесконечно. Подмена содержания специально для робота - другая история, и она наказуема.

С чего начать, если тестов ещё не было?

С первого экрана и формы: там сосредоточена основная потеря. Заголовок, текст кнопки и число полей - три самые доходные гипотезы.

Что делать дальше

Выпишите три вещи на сайте, о которых у вас внутри идёт спор. Это и есть очередь гипотез - проверяйте их по одной, а не внедряйте все сразу.

Мы настраиваем аналитику и ведём такие итерации - это разработка сайтов. Дальше пригодятся разборы, как повысить конверсию лендинга и как писать призыв к действию.