A/B-эксперименты кампаний в Яндекс Директе

A/B-эксперимент сравнивает варианты кампаний (или настройки одной кампании) на разделённой аудитории; доступен в Единой перфоманс-кампании и в медийных кампаниях. Лимиты: до 50 активных экспериментов, 2–20 вариантов в эксперименте, 5 активных экспериментов в одной ЕПК и 4 в медийной кампании. Выводы делают после обучения (7–14 дней) и при 10+ конверсиях в неделю на вариант. Победителя запускают кнопкой «Запустить на 100%».

Цифры

Ограничения

Условия корректного анализа

Подробности

Параметр	Значение
Где доступно	Единая перфоманс-кампания для сайтов и приложений (кроме кампаний с показами в мессенджерах); медийные кампании
Активных экспериментов всего	не более 50
Активных экспериментов в одной ЕПК	не более 5
Активных экспериментов в одной медийной кампании	не более 4
Уникальных кампаний в эксперименте	не более 50
Вариантов в одном эксперименте	от 2 до 20

Параметр	Значение
Обучение кампании в эксперименте	в среднем от 7 до 14 дней
Данных до выводов	не менее 10 конверсий в неделю на каждый вариант
Новая кампания против работающей	увеличить длительность (например, до 4 недель) и оценивать последний отрезок, например четвёртую неделю
Период оценки	не менее 2 полных бюджетных интервалов; при недельных бюджетах — полные календарные недели
Подсветка по p-value	менее 0,2 — слабая, менее 0,05 — яркая
Цвет ячеек для «Конверсии», «Конверсия %», «Цена цели»	только для данных с 1 января 2025 года

Подготовка

Один эксперимент проверяет одну гипотезу с одним параметром: разные креативы, акции, посадочные страницы или настройки. Сравнивать можно только кампании либо разные настройки в пределах одной кампании. Для проверки настройки создают две идентичные кампании, которые отличаются только ей. Чтобы протестировать ставки внутри одной кампании, её добавляют в оба варианта и задают корректировки. Остановленная кампания после добавления в эксперимент запускается автоматически.

Как создать эксперимент

Новый эксперимент добавляют одним из способов:

в левом меню в «Библиотеке»: «A/B-эксперименты» → «Добавить эксперимент»;
в дополнительных настройках кампании: блок «A/B-эксперименты» → «Перейти в эксперименты» → «Добавить эксперимент»;
на странице «Кампании»: значок с тремя точками рядом с названием → «A/B-эксперименты» → «Перейти в эксперименты» → «Добавить эксперимент».

В блоке «Параметры» выбирают основную метрику, ожидаемое число дней до анализа и цель для статистики по конверсиям. Основная метрика выражает суть гипотезы, но на расчёт не влияет: отчёт считает все доступные метрики, основная стоит первой. Длительность показывает, через сколько дней ждут результат; сам эксперимент идёт, пока его не остановят. Для сайта указывают счётчик Метрики и цель, для приложения берут цель из списка «Продвижение приложений». Без выбора в «Конверсиях» и «Конверсии %» учитываются все цели.

Дальше определяют число вариантов, выбирают кампании в контрольный и тестовые варианты (в вариант можно положить одну или несколько кампаний) и задают процент выборки на каждый вариант. Справка советует делить аудиторию поровну и проверять, что бюджеты кампаний пропорциональны выборкам. Корректировки включают при необходимости, например для проверки разных ставок в одной кампании.

Как добавить кампанию в существующий эксперимент

Дополнительные настройки кампании → блок «A/B-эксперименты» → «Добавить».
Страница «Кампании» → три точки у названия → «A/B-эксперименты» → «Добавить».
Страница «Кампании»: выбрать кампании → «Действия» → «A/B-эксперименты» → «Добавить в эксперимент».
В колонке «Статус» нажать на отметку об экспериментах.

Статусы экспериментов видны в списке.

Отчёт

Отчёт открывают из «Библиотека → A/B-эксперименты → название эксперимента → Отчёт» или на вкладке «Отчёт» в настройках эксперимента. Он строится по данным Мастера отчётов, показывает метрики для каждого варианта с возможностью развернуть по кампаниям, а разницу в процентах считает относительно контрольной группы. В ячейке два значения: нижнее — реальная величина, верхнее — приведённая коэффициентом выборки к 100%.

Как читать результаты

Кампаниям в эксперименте нужно равное время на обучение; новую кампанию против давно работающей сравнивают на последнем отрезке длинного теста.
Решения принимают по бюджетным циклам, а не по отдельным дням: короткие данные дают недостоверную картину.
Если кампания оптимизируется на конверсии, система улучшает именно их, а вспомогательные метрики (показы, клики) в вариантах могут расходиться.

Как завершить

«Запустить на 100%» в отчёте: по умолчанию выбран вариант с наибольшим изменением основной метрики. Выбранные кампании продолжают работать без ограничения выборкой, остальные останавливаются.
«Остановить эксперимент» в списке экспериментов или в правом верхнем углу отчёта: отмеченные кампании продолжают работать с текущими настройками и без ограничения выборкой. Если снять все отметки, остановятся все кампании эксперимента.

Важно знать

Для экспериментов с корректировками порядок такой: остановить эксперимент, затем вручную добавить нужную корректировку в настройках кампании.
«Остановить эксперимент» с пустым выбором останавливает все кампании эксперимента, а не только тестовые варианты.
Длительность в параметрах — ожидание автора, а не срок: эксперимент идёт до ручной остановки.
Подсветка по p-value — справка описывает только пороги цвета; формулу расчёта и минимальный размер выборки она не приводит.
В справке не нашли: допустимый диапазон процента выборки, можно ли менять кампании внутри идущего эксперимента, ограничения для кампаний с разными стратегиями.