Научный подход к сплит-тестированию рекламных объявлений
Давайте посмотрим на результаты сплит-тестирования одной небольшой AdWords кампании.
Один и тот же текст объявления, идентичные заголовки, никаких отличий в Display URL. И результаты, которые отличаются друг от друга на 300%. Как вы думаете, в чем причина?
Нет, Destination URL тут не при чем. И настройки ротации в кампании, что видно на скриншоте, не повлияли на результат. Даже количество показов примерно одинаковое и, я уверяю вас, никто не останавливал первое объявление, чтобы запустить второе в другой день недели.
Все гораздо проще. Причина, как сказал бы преподаватель статистики, маленький размер выборки. 300 показов и 4 перехода — слишком небольшой объем, чтобы сгладить случайные колебания CTR. Давайте посмотрим, что об этой кампании нам сможет рассказать научный подход.
Способ 1. Сервис SplitTester
Определяем вероятность того, что кампания с большим CTR сохранит свое лидерство и в дальнейшем. Приведенные в примере цифры дают нам 95 процентную вероятность того, что на CTR оказывает влияние какой-то фактор, не учтенный нами. Попробуйте посмотреть, для какого CTR и количества переходов вероятность увеличится до 99%.
Способ 2. Сервис Sample Size Calculator
Более сложный инструмент, предназначенный для исследования точности статистических опросов. Для анализа PPC кампаний он тоже подходит.
На сайте сервиса есть довольно неплохое описание, я же расскажу как его использовать для целей прогнозирования точности сплит-тестирования.
Начнем с определения количества переходов (кликов/лидов/покупок), по которому можно определить, что наши цифры достаточны для вынесения суждений обо всех посетителях или покупателях. В приведенном примере объявление номер 1 сработало с CTR 3.79%. Давайте определим, достаточно ли такого количества переходов для 95% уверенности в том, что ситуация с CTR не изменится в дальнейшем.
Устанавливаем Confidence Level в 95%, Confidence Interval (погрешность) в 10%, Population (общее количество потенциальных посетителей) не указываем.
Мы выяснили, что для того, чтобы с вероятностью 95%±10% наша выборка отражала поведение всей аудитории — необходимо 96 переходов. У нас же было всего 12, для лучшего объявлений. Данных явно недостаточно.
Кстати, эти данные совпадают с мнением популярных аффилиатов, которые говорят о 100 кликах для определения перспективности рекламодателя или площадки.
Теперь давайте воспользуемся вторым инструментом и посмотрим, с какой же точностью наша кампания описывает ситуацию с этими объявлениями в целом.
Общее количество переходов — 16. Общий размер аудитории нам неизвестен, как и в первом случае оставляем его незаполненным. На странице сервиса описано, почему так можно делать. В нашей кампании 75 процентов посетителей выбрали первое объявление.
Результаты удручающие — точность нашего исследования составляет 99%±27%. Погрешность слишком велика, чтобы делать какие-то выводы. Что совпадает с тем выводом, который мы сделали в начале публикации.
Относитесь критически к вашим результатам и удачных вам рекламных кампаний!
- Рубрики : Аналитика,Рекламные объявления
- Автор : Кролик Роджер
-
Andrei 1st
Книга о моей любимой области человеческой деятельности, бурном и постоянно меняющемся мире партнерского маркетинга.
