Roger Tracker 2009 - Эффективная реклама
перейти к навигации


#1 RX pharmacy affiliate program!

Кролик РоджерНаучный подход к сплит-тестированию рекламных объявлений Январь 1, 2009

Давайте посмотрим на результаты сплит-тестирования одной небольшой AdWords кампании.

Один и тот же текст объявления, идентичные заголовки, никаких отличий в Display URL. И результаты, которые отличаются друг от друга на 300%. Как вы думаете, в чем причина?

Нет, Destination URL тут не при чем. И настройки ротации в кампании, что видно на скриншоте, не повлияли на результат. Даже количество показов примерно одинаковое и, я уверяю вас, никто не останавливал первое объявление, чтобы запустить второе в другой день недели.

Все гораздо проще. Причина, как сказал бы преподаватель статистики, маленький размер выборки. 300 показов и 4 перехода – слишком небольшой объем, чтобы сгладить случайные колебания CTR. Давайте посмотрим, что об этой кампании нам сможет рассказать научный подход.

Способ 1. Сервис SplitTester

Определяем вероятность того, что кампания с большим CTR сохранит свое лидерство и в дальнейшем. Приведенные в примере цифры дают нам 95 процентную вероятность того, что на CTR оказывает влияние какой-то фактор, не учтенный нами. Попробуйте посмотреть, для какого CTR и количества переходов вероятность увеличится до 99%.

Способ 2. Сервис Sample Size Calculator

Более сложный инструмент, предназначенный для исследования точности статистических опросов.  Для анализа PPC кампаний он тоже подходит.

На сайте сервиса есть довольно неплохое описание, я же расскажу как его использовать для целей прогнозирования точности сплит-тестирования.
Начнем с определения количества переходов (кликов/лидов/покупок), по которому можно определить, что наши цифры достаточны для вынесения суждений обо всех посетителях или покупателях. В приведенном примере объявление номер 1 сработало с CTR 3.79%. Давайте определим, достаточно ли такого количества переходов для 95% уверенности в том, что ситуация с CTR не изменится в дальнейшем.
Устанавливаем Confidence Level в 95%, Confidence Interval (погрешность) в 10%, Population (общее количество потенциальных посетителей) не указываем.

Мы выяснили, что для того, чтобы с вероятностью 95%±10% наша выборка отражала поведение всей аудитории – необходимо 96 переходов. У нас же было всего 12, для лучшего объявлений. Данных явно недостаточно.

Кстати, эти данные совпадают с мнением популярных аффилиатов, которые говорят о 100 кликах для определения перспективности рекламодателя или площадки.

Теперь давайте воспользуемся вторым инструментом и посмотрим, с какой же точностью наша кампания описывает ситуацию с этими объявлениями в целом.

Общее количество переходов – 16. Общий размер аудитории нам неизвестен, как и в первом случае оставляем его незаполненным. На странице сервиса описано, почему так можно делать.  В нашей кампании 75 процентов посетителей выбрали первое объявление.
Результаты удручающие – точность нашего исследования составляет 99%±27%. Погрешность слишком велика, чтобы делать какие-то выводы. Что совпадает с тем выводом, который мы сделали в начале публикации.

Относитесь критически к вашим результатам и удачных вам рекламных кампаний!

  • Ну, статистические методы - вполне себе научные :)
  • Andrei 1st
    А научный ли это подход?
    Всегда отношусь скептически к подобным инструментам. Стараюсь использовать фундаментальный подход + творческий.
    Волшебной пилюли нет, короче говоря.
blog comments powered by Disqus