Новый заголовок на лендинге дал прирост заявок на 12%, и команда празднует победу. Через неделю выясняется, что в те же дни закончилась рассылка, а конкурент отключил рекламу. Что именно сработало, уже не понять.
Ab тестирование это способ сравнить две версии одного элемента на живой аудитории. Часть пользователей видит вариант A, другая вариант B, а решение принимается по цифрам, а не по вкусу руководителя. Обе группы смотрят свои варианты одновременно и при одинаковых внешних условиях, поэтому разницу объясняет только само изменение. В этой статье разберём, какие задачи решает ab тест, как рассчитать выборку и длительность, как читать значимость, какими инструментами Яндекса это делается и на каких ошибках спотыкаются команды.
Зачем нужно A/B-тестирование и кому оно подходит
Спор о том, какая кнопка лучше конвертирует, аргументами не выиграть: у каждого участника своя интуиция. Тест переводит спор в область измеримого. Вы показываете двум сопоставимым группам разные версии интерфейса и смотрите, у какой из них целевая метрика выше.
Ценность теста в честности сравнения.
Если месяц крутить старый вариант, а потом новый, на результат наложатся сезон, активность конкурентов и десяток неконтролируемых причин. Параллельный запуск снимает вопрос: контрольная и тестовая группы живут в одно время и в одинаковых обстоятельствах.
Какие задачи бизнеса решает A/B-тест
Формулировка «улучшить сайт» для теста не годится, её нельзя измерить. Работают задачи с числовым выражением: рост конверсии в заявку или покупку, повышение кликабельности объявлений и писем, увеличение удержания пользователей, снижение показателя отказов. Каждая привязана к деньгам, поэтому по итогам теста понятно, стоит ли внедрять правку.
Реалистичные ожидания здесь важнее энтузиазма. По результатам экспериментов в Microsoft, которые описывал Рон Кохави, метрики улучшает примерно треть проверенных идей. Остальные либо не дают эффекта, либо ухудшают показатели. Отрицательный результат теста тоже полезен, он останавливает внедрение правки, которая обошлась бы в часы разработки.
Когда A/B-тест не даст результата
Тест упирается в объём трафика. Если на страницу заходит несколько десятков человек в день, набрать выборку, на которой разница отличима от случайных колебаний, не получится ни за неделю, ни за месяц. Тогда помогают качественные методы: юзабилити-тестирование, опросы аудитории и разбор записей сессий. Они не дадут статистики, но покажут, где человек спотыкается.
Вот ситуации, в которых эксперимент либо невозможен, либо не окупает подготовку.
- Трафика мало. Выборка не наберётся за разумный срок, и любая разница останется в пределах погрешности.
- Решение необратимо. Смену платёжного провайдера или переезд на другую архитектуру откатить нельзя, и сравнивать нечего.
- Изменение не изолируется. Редизайн всего сайта покажет суммарный эффект, но не объяснит, какой фактор сработал.
- Ответ очевиден и без теста. Если форма заявки не отправляется на мобильных, её чинят, а не тестируют.
- Идёт межсезонье или распродажа. Поведение аудитории в эти недели нетипично, и выводы не перенесутся на обычный период.
Момент запуска выбирают отдельно. Тест ставят на спокойный период: сезонные всплески и громкие инфоповоды меняют состав трафика. Аб тест в нетипичную неделю даёт цифру, которую некуда применить.
Какие элементы можно тестировать
Тестировать можно почти любой элемент, который видит пользователь и который влияет на его решение. Начинать разумно с крупных блоков, они дают больший эффект и быстрее набирают статистику, а к мелким деталям переходить позже. Идеи для гипотез удобно брать из слабых мест воронки, а разбор, как повысить конверсию лендинга, обычно и показывает, что тестировать первым.
Вот что чаще всего сравнивают.
- на сайте заголовки и тексты, кнопки (текст, размер, цвет), баннеры, формы с их числом и порядком полей, цены и условия акций, навигацию и структуру страниц;
- в рекламе заголовок и текст объявления, изображения, быстрые ссылки, призыв к действию, настройки кампании;
- в рассылках тему письма, прехедер, время отправки, структуру блоков.
Главное требование к сравнению это простота. Если вариант B отличается от A десятком правок сразу, вы узнаете только суммарный итог. Две совершенно разные версии сайта не показывают, какой именно фактор из десятка сработал.
Виды A/B-тестов
Схема теста зависит от того, сколько элементов вы меняете и на сколько частей готовы разделить аудиторию. Чем больше вариантов, тем тоньше делится трафик и дольше набирается статистика. Сложную схему берут, когда трафика хватает с запасом.
В практике агентств встречаются четыре формата.
- Классический A/B. Две версии, одно отличие между ними, например старый заголовок против нового. Эффект однозначно приписывается единственной правке.
- A/B/n. Тот же принцип, но вариантов больше двух: три формулировки оффера, четыре обложки письма. Аудитория делится на n равных частей, и трафика нужно пропорционально больше.
- Мультивариантное тестирование (MVT). Одновременно меняются несколько элементов, и система сравнивает их комбинации, показывая и вклад каждого элемента, и работу пары.
- Тест с контрольной группой. Часть аудитории вообще не получает воздействия. Приём привычен в рассылках и акциях, где важен эффект самой коммуникации, а не её формы.
Арифметика комбинаций и делает MVT дорогим. Если вы проверяете два заголовка, два баннера и три цвета кнопки, комбинаций получается 2 × 2 × 3 = 12, и трафик делится между всеми. Выборка нужна пропорционально числу комбинаций, поэтому для небольшой базы такой тест, как правило, нецелесообразен. Проще прогнать несколько последовательных A/B.
Отдельно стоит термин «сплит тестирование». Строго говоря, сплит-тест и A/B-тест это синонимы, ведь и там и там аудиторию делят на части и сравнивают показатели. О сплит-тесте говорят применительно к рекламе и лендингам, где сравнивают страницы целиком, а об ab тесте в продуктовой и CRM-практике.
Как провести A/B-тестирование: пошаговый процесс
Порядок действий одинаков для сайта, рекламы и рассылки. Меняются инструменты и метрики, но логика теста прежняя: сформулировать проверяемое утверждение, посчитать нужное число наблюдений, честно разделить аудиторию и дождаться конца срока.
Последовательность подготовки и запуска выглядит так:
- Определить бизнес-задачу и ключевую метрику, по которой будет принято решение.
- Сформулировать гипотезу и записать ожидаемый эффект.
- Рассчитать выборку и перевести её в срок через дневной трафик.
- Зафиксировать правила остановки до запуска.
- Подготовить варианты, разделить аудиторию и запустить обе версии одновременно.
Шаг 1. Поставить цель и выбрать ключевую метрику
Цель теста должна совпадать с бизнес-задачей компании и быть измеримой. Обычно берут коэффициент конверсии, то есть долю посетителей, совершивших целевое действие. Иногда подходит промежуточный показатель CTR (click-through rate, кликабельность), если изменение влияет именно на клик. Что стоит за этим показателем, разобрано в материале про конверсию в рекламе.
Действует правило одной метрики. Primary metric (главный показатель) в тесте одна, и решение принимается по ней. Рядом держат guardrail-метрики (страховочные показатели), которые не должны просесть: средний чек, отток, скорость загрузки. Если конверсия выросла, а средний чек упал на четверть, внедрять правку рано.
Сама метрика обязана отвечать на вопрос гипотезы и фиксироваться в момент действия. Меняете тему письма, смотрите open rate, то есть долю открытий, а не выручку за квартал. Выбрать проще, понимая, чем отличаются CTR, CPC и конверсия.
Шаг 2. Сформулировать гипотезу
Гипотеза это не идея, а утверждение с тремя элементами: что меняем, какого эффекта ждём и за счёт какого механизма. Рабочий шаблон звучит так. Если изменим такой-то элемент, то такая-то метрика изменится на такую-то величину, потому что сработает такой-то механизм. Механизм здесь не украшение, он объясняет, почему правка должна дать эффект.
Сравните две формулировки.
Слабая: «сделаем кнопку крупнее, конверсия вырастет». Сильная: «Если перенесём кнопку заказа выше первого экрана, конверсия в заявку вырастет с 2,1% до 2,5%, потому что сейчас 60% пользователей до неё не доскролливают». Вторая проверяема: в ней есть изменение, метрика, ожидаемый эффект и причина.
За этим стоит статистическая рамка. Нулевая гипотеза утверждает, что различий между A и B нет и наблюдаемая разница случайна, альтернативная говорит, что B отличается от A. Задача теста в том, чтобы набрать достаточно данных и отвергнуть нулевую.
Шаг 3. Рассчитать размер выборки и длительность теста
Выборку рассчитывают заранее, до того как тест уйдёт в работу. В расчёт входят четыре величины. Первая это текущий уровень метрики, то есть ваша конверсия сегодня. Вторая это минимальный детектируемый эффект (MDE), тот сдвиг метрики, ради которого вы вообще затеваете правку. Третья и четвёртая задаются по умолчанию: уровень значимости alpha обычно берут 0,05, статистическую мощность 0,80. Связь между MDE и объёмом наблюдений обратная и резкая: поймать прирост в 1% стоит выборки в разы крупнее, чем прирост в 5%. Сам MDE выбирают из экономики внедрения, это минимальный прирост метрики, который окупит доработку.
Длительность получают делением выборки на дневной трафик: 40 000 пользователей при 2 000 визитов в день дают 20 дней. Минимальный срок теста это 14 дней, два полных цикла «будни и выходные», как рекомендует Нетология в руководстве по A/B-тестированию. Остановка раньше даёт искажённые данные. Тест закрывают при двух условиях сразу: набрана запланированная выборка и прошёл минимальный срок.
Шаг 4. Подготовить варианты, распределить аудиторию и запустить тест
Единица рандомизации это пользователь, а не сессия. Разделение по user ID гарантирует, что человек увидит один и тот же вариант при каждом заходе. При делении по сессиям он получит то A, то B, и его поведение испортит обе группы. Если нет причин делить иначе, группы берут равного размера.
Выборка должна повторять структуру генеральной совокупности, то есть всей вашей аудитории, по полу, устройствам и источникам трафика. Если в вариант B попали в основном пользователи мобильных, вы измерите разницу платформ.
Перед первым запуском на новой платформе полезен A/A-тест: обе группы получают одинаковый вариант, и у исправной системы значимой разницы между ними не будет. Уже во время теста следят за распределением, а пользователь, попавший в обе группы, становится причиной остановить тест и починить разбивку.
Как анализировать результаты и читать статистическую значимость
Первым делом проверяют, можно ли доверять цифрам. Смотрят на SRM (Sample Ratio Mismatch), перекос размеров групп относительно запланированного сплита. Если вы делили трафик поровну, а вышло 53% и 47%, перекос проверяют статистически: на нескольких сотнях пользователей такое расхождение обычно случайно, а на десятках тысяч это признак сбоя рандомизации, и результатам теста доверять нельзя.
Дальше в дело идёт p-value, вероятность получить наблюдаемый или более экстремальный результат при верной нулевой гипотезе. Фраза «значим на уровне 95%» означает, что p-value меньше 0,05. Это договорённый порог, а не гарантия эффекта. При значении ниже 0,05 разницу считают статистически значимой, при значении выше или равном различия могут быть случайны, и менять продукт по ним не стоит.
Одной значимости мало. Смотрят ещё доверительный интервал, практическую значимость, где прирост в 0,2% может не окупить внедрение, и мощность теста. Разбор укладывается в пять шагов: значимость, длительность, основная метрика, эффект в деньгах, стоимость внедрения. Есть и второй подход, байесовский: он отвечает не «значима ли разница», а «какова вероятность, что B лучше A», и не требует заранее фиксированной выборки. Оба подхода валидны.
Исходов у теста три. Вариант B лучше, и его внедряют. Разницы нет, функцию можно оставить, но продукт она не улучшила. Вариант B хуже, тогда возвращают прежнюю версию. В среднем исходе выборку раскладывают по платформам, источникам и географии: вариант может выигрывать в одном сегменте и проигрывать в другом.
Инструменты для проведения A/B-тестов
Инструмент для теста выбирают под площадку. Сайт, рекламный кабинет и рассылка тестируются разными сервисами, но требование к любому одно: честно делить аудиторию и считать значимость. Иначе вы получите красивый интерфейс поверх ненадёжных данных.
Инструменты Яндекса: Метрика, Вариокуб, Директ
Тест на сайте в Яндекс Метрике запускают через раздел «Вариокуб» → «Эксперименты». Порядок такой: подключить код, создать эксперимент, выбрать метрики и тип эксперимента. Доступны визуальный редактор для правок без разработчика и редирект на отдельный URL. Результаты система показывает в отчёте, подсвечивая значимые различия.
Тесты рекламных кампаний в Яндекс Директе настраивают в расширенном интерфейсе Директ Про: раньше эксперименты жили в Яндекс Аудиториях, но новые там создавать нельзя. Указывают счётчик Метрики и доли сегментов аудитории, для первого теста равные, сплит 50/50. Варианты объявлений запускают одновременно в одной кампании, а не по очереди. Для приложений есть AppMetrica.
Как выбрать инструмент под задачу
Отталкивайтесь от того, кто будет настраивать тест, какой бюджет вы готовы выделить и нужны ли фича-флаги для постепенной раскатки. Ориентиры по классам сервисов:
- Платформы с визуальным редактором для маркетологов без кода: VWO, AB Tasty, Convert, Optimizely. Правки вносятся мышкой, разработчик нужен редко.
- Решения для инженерных команд с SDK и API: Statsig, Eppo, LaunchDarkly. Здесь тесты живут в коде вместе с фича-флагами.
- Сервисы рассылок, например Unisender и Sendsay, дают встроенные A/B-тесты темы и содержания письма.
- Google Optimize, когда-то популярный бесплатный вариант, закрыт 30 сентября 2023 года, и Google рекомендует сторонние инструменты.
Платформа теста работает в связке с веб-аналитикой, и результаты можно сегментировать по устройствам и источникам трафика. У таких сервисов есть, как правило, бесплатный тариф с ограничениями по числу экспериментов и посещений.
Типичные ошибки при A/B-тестировании
Большинство провалов происходит не из-за плохих гипотез, а из-за нарушений процедуры теста. Ошибку легко не заметить: тест отработал, отчёт выгружен, число получено. И оно ничего не значит.
Преждевременная остановка теста
Первая ошибка это закрыть тест, как только показалось, что вариант B побеждает. Она называется peeking, подглядывание. При ежедневной проверке результатов вероятность хотя бы раз увидеть p-value меньше 0,05 в отсутствие реального эффекта вырастает с 5% до 30%.
Решается это заранее зафиксированными правилами.
До запуска записывают гипотезу, метрику, размер выборки, уровень значимости и условия остановки, а по ходу их не меняют. Тест идёт до набора выборки, а не до первого «значимого» результата на графике.
Неверный выбор метрик
Вторая ошибка это смотреть на несколько показателей сразу и объявлять победителем тот, где цифры легли удачно. Приём называется p-hacking: при десятке метрик одна покажет значимую разницу по теории вероятностей. Решение принимают по одной заранее выбранной метрике.
Рядом стоит ошибка выбора цели. Новый баннер поднял кликабельность на треть, а продажи просели: люди кликали и уходили, не найдя обещанного. Изменение оценивают и по смежным показателям.
Остальные частые промахи стоит держать перед глазами при планировании теста.
- Недобор выборки. Тест остановили на трёхстах пользователях, разница осталась в пределах шума, а вывод сделан.
- Нетипичный период. Результат, полученный в распродажу, не переносится на обычные недели: выводы действуют в тех же условиях, в которых получены.
- Пересечение групп. Один человек видит оба варианта из-за смены устройства или очистки cookies, и группы перестают быть независимыми.
- Боты и некачественный трафик. Случайные клики искажают показатели, поэтому подозрительные визиты исключают, а в Яндекс Метрике есть встроенные фильтры роботов.
- Эффект новизны. Пользователи активнее реагируют на новое просто потому, что оно новое, но за несколько дней эффект затухает, и двухнедельный минимальный срок его частично нейтрализует.
- Несколько изменений в одном тесте. Проверять сразу и заголовок, и кнопку, и цену можно только в формате MVT.
Наконец, каждый тест документируют: что проверяли, какими были варианты, чем закончилось. Так накапливается база знаний, гипотезы не проверяются дважды, а очередь тестов идёт по приоритету. Вести эту работу можно силами штатного маркетолога или на аутсорсе в агентстве, а стоимость зависит от сложности и масштаба теста.
