Эксперименты с объявлениями и кампаниями в Яндекс Директе
Эксперименты бывают двух видов. В группе объявлений несколько объявлений идут в ротации, затем Директ для каждой ключевой фразы чаще показывает самое кликабельное; менять советуют один элемент за тест. Эксперименты с кампаниями в Яндекс Аудиториях создать нельзя, прежние работают до конца срока; новые создают в Директ Про. Оценивают по конверсиям в отчёте Метрики «Директ, эксперименты».
Цифры
Эксперименты с объявлениями
| Параметр | Значение |
|---|---|
| Что называется экспериментом | A/B-тестирование (сплит-тест) элементов объявлений в группе |
| Начало | все объявления группы идут в ротации |
| Итог | для каждой ключевой фразы чаще показывается самое кликабельное объявление |
| Элементов объявления для теста за раз | не более одного |
| Показов у объявлений | поровну не бывает |
Эксперименты с кампаниями
| Параметр | Значение |
|---|---|
| Создание новых экспериментов в Яндекс Аудиториях | недоступно |
| Прежние эксперименты | работают до окончания срока, затем удаляются из Аудиторий |
| Где создавать, настраивать и оценивать | расширенный интерфейс Директ Про, страница «A/B-эксперименты» |
| Отчёт Метрики | «Директ, эксперименты» |
| Что смотреть | конверсии (клики, показы, CTR не рассматриваются) |
Пример оценки по Метрике
| Сегмент | Доля сегмента, % | Расходы, руб. | Достижения цели |
|---|---|---|---|
| А | 50 | 100 000 | 200 |
| Б | 50 | 100 000 | 500 |
Вывод справки: при равных затратах сегмент Б принёс на 150% (± 29% с учётом погрешности) больше конверсий, стоимость достижения цели снизилась на 60% (± 5%), кампания для сегмента Б эффективнее.
Подробности
Тест объявлений в группе
В Директе для одного предложения можно подготовить несколько объявлений и автоматически показывать самые кликабельные. Этот процесс справка называет A/B- или сплит-тестированием: при прочих равных аудитории показывают варианты одного элемента и по статистике смотрят, какой нравится больше.
С чего начать:
- разложить ключевые фразы по тематическим категориям товаров или услуг (пример справки: горные, дорожные, детские велосипеды и BMX как отдельные наборы);
- подготовить для каждой группы фраз несколько объявлений для проверки.
Гипотезы бывают разные: рассказать о скидке и подчеркнуть временный характер, добавить конкретные модели. Тестировать можно не только тексты, но и иллюстрации и быстрые ссылки, то есть почти любой элемент контекстного объявления. Каждый вариант должен соответствовать ключевым фразам группы.
После накопления статистики система выбирает победителя по каждой фразе. Неэффективные объявления можно в любой момент выключить или отредактировать. В примере справки (группа, которая в течение месяца попадала в премиум-показы) более кликабельное объявление постепенно получало больше показов, а CTR группы рос; справка оговаривает, что это лишь пример и ход эксперимента индивидуален.
Оценка эксперимента с кампаниями в Метрике
Конверсии из Метрики показывают, какое размещение рентабельнее. При просмотре отчёта нужно:
- выбрать одинаковые периоды для сравниваемых сегментов;
- убедиться, что эксперимент не прерывался в выбранный период;
- отфильтровать данные по региону показа, где шёл тест.
Порядок построения отчёта: открыть стандартный отчёт «Директ, эксперименты», выбрать эксперимент, выбрать сегмент с кампаниями Директа, созданными под эксперимент, нажать «Режим сравнения» и выбрать контрольную группу. Затем добавить цели, которые интересуют в рамках эксперимента (например, добавление товара в корзину). Для анализа справка предлагает воспользоваться калькулятором.
Важно знать
- Слово «эксперимент» обозначает разные механизмы: сплит-тест объявлений внутри группы (решает система по CTR) и эксперименты между кампаниями. Современные эксперименты с кампаниями (ЕПК и медийные кампании, лимиты, отчёт) описаны в статье про A/B-эксперименты кампаний.
- На странице про кампании запрет создавать эксперименты в Аудиториях стоит рядом с инструкцией по отчёту Метрики «Директ, эксперименты»; справка не уточняет, одинаково ли этот отчёт работает для экспериментов, созданных в Директ Про.
- Для объявлений в группе справка не называет, сколько статистики считается достаточной для отбора победителя и как быстро система меняет долю показов.
- Погрешность в примере (±29% и ±5%) приведена без пояснений, как она считается; для расчёта справка отсылает к калькулятору.
- В справке не нашли: порог значимости для выводов по Метрике, сроки удаления уже созданных экспериментов в Аудиториях по датам.