A/B-тест рекламы нужен, чтобы сравнить два варианта в сопоставимых условиях. До запуска определите, что меняете и по какому результату примете решение. Более высокий CTR или несколько дополнительных заявок сами по себе ещё не доказывают, что новый вариант лучше.
- Сначала сформулируйте одну проверяемую гипотезу
- Выберите основной показатель до запуска
- Как обеспечить сопоставимые условия
- Почему нельзя назвать победителя по двум числам
- Когда смотреть результат и останавливать тест
- Что записать в итог теста
- Частые вопросы
- Можно ли сравнить объявления за разные недели?
- Более высокий CTR означает лучший вариант?
- Что делать, если бюджета не хватает для вывода?
Сначала сформулируйте одну проверяемую гипотезу
Выберите конкретное изменение и объясните, зачем его проверять. Например: «Если в заголовке вместо общего обещания указать район обслуживания, мы получим больше подходящих обращений». Это гипотеза, а не готовый вывод о поведении клиентов.
Контрольный вариант А сохраняет исходное предложение. В варианте Б меняется выбранный элемент. Если одновременно заменить заголовок, цену, аудиторию и страницу перехода, результат будет относиться ко всему набору изменений. Выяснить, что именно повлияло на обращения, по такому сравнению не получится.
Проверяйте существенное для бизнеса различие. Замена одного знака препинания может потребовать много данных ради небольшого эффекта. Если заявки теряются из-за неработающей формы, сначала исправьте приём обращений и только потом сравнивайте объявления.
Выберите основной показатель до запуска
Назовите действие, которое хотите улучшить: принятая заявка, подтверждённый заказ или покупка. Убедитесь, что цель действительно считает это действие. Клик по кнопке отправки может произойти и при ошибке формы. Для такой проверки пригодится инструкция по целям формы в Метрике.
Запишите основной критерий и дополнительные ограничения. Для услуги это может быть стоимость подходящего обращения при сохранении его качества. CTR и цена клика помогут понять, что происходило до заявки, но не заменят выбранный результат. Формулы показателей разобраны в статье о CTR, CPA и ROAS.
Не меняйте критерий после того, как увидели первые цифры. Если заранее собирались оценивать подтверждённые заказы, а затем выбрали победителя по кликам, вы ответили на другой вопрос. Его можно проверить отдельно, сохранив первоначальный результат.
Как обеспечить сопоставимые условия
Сравнение «старая реклама в прошлом месяце — новая в этом» смешивает изменение объявления с другими причинами. Могли поменяться спрос, конкуренция, ассортимент и работа отдела продаж. Для проверки одной гипотезы лучше одновременный эксперимент с распределением аудитории, предусмотренным рекламной системой.
Два объявления в одной группе не следует автоматически считать равномерным A/B-тестом: алгоритм может показывать их с разной частотой. Разделение 50/50 также не обещает ровно одинаковое число показов и одинаковый расход: результат участия в аукционах зависит от настроек и самих вариантов.
В Яндекс Директе отдельный эксперимент создаётся в разделе «Библиотека → A/B-эксперименты». Выберите контрольный и тестируемый варианты, цель, доли выборки и основной показатель. Проверьте доступность инструмента для своего типа кампании. Дату планируемого анализа не путайте с автоматической остановкой: эксперимент нужно завершить отдельно.
Перед стартом проверьте общие условия: географию, расписание, страницу, цель и обработку обращений. Различаться должно то, что предусмотрено гипотезой. Если одна версия ведёт на сломанную страницу, сначала исправьте ошибку; это не проверка рекламной идеи.
Почему нельзя назвать победителя по двум числам
Учебный пример: вариант А получил 500 переходов и 20 принятых заявок, вариант Б — 500 переходов и 25 заявок. Конверсия из перехода в заявку составила 4% и 5%. Разница равна одному процентному пункту, а относительное увеличение — 25%. Это разные способы описать одни данные.
Сам расчёт ещё не показывает, устойчива ли разница. Нужны корректное распределение аудитории, достаточные данные и оценка неопределённости. Нельзя назначить универсальное число переходов или заявок, после которого любой тест становится убедительным: это зависит и от исходного уровня показателя, и от величины различия, которое нужно обнаружить.
Проверьте также расходы и качество обращений. В другом учебном примере А потратил 10 000 рублей на 20 подходящих заявок, а Б — 15 000 рублей на 25. Стоимость заявки составляет 500 и 600 рублей. Вариант Б дал больше обращений, но каждое обошлось дороже. Решение зависит от заранее выбранной цели и допустимых условий.
Когда смотреть результат и останавливать тест
Заранее запишите период анализа, допустимый расход и ситуации, требующие остановки. Учитывайте обучение стратегии и задержку между переходом и покупкой. Первые часы после запуска или отдельный удачный день не заменяют оценку за сопоставимый период.
Во время теста контролируйте технические ошибки и учёт, а не только движение показателя. Не редактируйте условия каждый раз, когда вариант Б начинает отставать. Если понадобилось существенное изменение, зафиксируйте его и пересмотрите план сравнения: данные до и после правки могут описывать разные условия.
Разделяйте три итога: различие подтверждено, различие не обнаружено, данных пока недостаточно. Последние два случая не означают, что варианты одинаковы. Если отчёт не позволяет сделать вывод, сохраните это ограничение вместо объявления победителя.
При достаточных данных проверьте не только направление изменения, но и его практическую пользу. Небольшое улучшение может не оправдать новые расходы или нагрузку на сотрудников. После выбора варианта следите, сохраняется ли результат при обычном объёме показов. Вывод относится к выбранным аудитории, предложению и периоду. Для другого товара или сезона его нужно проверить заново.
В видео разобраны основные принципы A/B-тестирования: какую задачу решает эксперимент и как подходить к его организации.
Что записать в итог теста
Оставьте короткую запись: гипотеза, различие вариантов, даты, настройки распределения, основная цель, расходы, число целевых действий и вывод с ограничениями. Отдельно укажите сбои и изменения условий. Такая запись поможет не повторять уже проверенную идею под другим названием.
Например: «Проверяли указание района в заголовке. За выбранный период оценили стоимость подходящего обращения. Уверенного вывода пока нет; часть заявок ещё обрабатывается». Это полезнее, чем запись «Б победил», из которой непонятно, что сравнивали и на каком основании.
Частые вопросы
Можно ли сравнить объявления за разные недели?
Так можно увидеть изменение показателей, но трудно отделить влияние объявления от календаря, спроса и других условий. Не выдавайте обычное сравнение периодов за чистый A/B-эксперимент.
Более высокий CTR означает лучший вариант?
Он означает большую долю кликов среди показов. Для вывода об обращениях или продажах нужны соответствующие данные. Оценивайте вариант по критерию, выбранному до запуска.
Что делать, если бюджета не хватает для вывода?
Не объявляйте победителя по случайной разнице. Зафиксируйте недостаток данных, проверьте исправность учёта и решите, оправданы ли продолжение теста или более существенная гипотеза. Увеличение расходов само по себе не гарантирует полезного результата.
