35 ошибок при А/В-тестировании
A/B-тестирование — это такой вид маркетингового исследования, когда контрольной группе предлагают выбрать лучший, по ее мнению, вариант рекламного блока или его элемента, дизайн сайта, другой любой объект. С его помощью маркетологи получают оптимальное решение для своих задач. Такое исследование еще называют split testing — раздельным тестированием.
Оно предоставляет достоверные данные об эффективности изменений на сайте. Если изменения на сайте проводить без А/В тестирования, то это приведет к оттоку пользователей.
Об это и других аспектах А/В-тестирования в статье руководителя контент-студии WordFactory Натальи Кирик рассказывают маркетологи и SEO-специалисты: Роман Рыбальченко, Татьяна Помаранская, Юрий Альмужный, Маргарита Успенская, Вадим Якубенко, Олесь Тимофеев, Сергeй Волык, Артем Пилипец, Александр Матола, Андрей Осипов, Константин Новофастовский, Сергeй Гудков, Евгений Шевченко, Александра Бурлакова.
А/В-тестирование в цифрах:
- от 1 000 посетителей обычно нужно, чтобы получить достаточно данных в ходе А/В-тестирования;
- от 1 недели обычно должен длиться сплит-тест, чтобы получить достоверный результат;
- от 2 периодов, достаточных для совершения покупки, должен длиться тест.
Как провести A/B-тест сайта: инструменты и популярные гипотезы Статья в тему:
35 ошибок в А/В-тестровании с комментариями специалистов:
1. Не делать А/В-тестирование в принципе
Любая продающая страница может стать лучше, поэтому важно проверять гипотезы на пpaктике.
Роман Рыбальченко, основатель агентства Roman.ru:
Ошибка номер один — люди вообще ничего не тестируют, либо делают это интуитивно. Мы обсуждали этот вопрос с Дмитрием Кудренко в первом выпуске подкаста ПРОДУКТИВНЫЙ РОМАН. Суть в том, что даже на Западе люди, которые должны проводить тестирование, обманывают, — не проводят тестов, подтасовывают результаты.
2. Проводить сплит-тестирование нерегулярно
Татьяна Помаранская, интернет-маркетолог в Coral Travel Ukraine:
Часто допускаемая ошибка — разовое проведение А/В-тестирования. Оно должно быть регулярным. Только тогда улучшение и совершенствование будут постоянными.
3. Переоценивать А/В тестирование
Качество контента — важный, но не единственный фактор эффективности страницы. Улучшая текст, можно продать больше, быстрее, чаще, дороже. В то же время на эффективность страницы влияет не только тест, но и источник трафика, и его качество, и дизайн, и сам продукт, и то, включен ли телефон, указанный на сайте.
4. Недооценивать детали
В продающей странице важно все: и цвет кнопки «Купить», и шрифт, и цвет фона страницы.
Юрий Альмужный, основатель и руководитель компании «Эль-Дом»:
Иной раз, просто переписав заголовки на сайте, мы получали рост конверсии на 30-50%. Так, кстати, было и с одной из версий нашего сайта.
Уменьшение длины лендинга втрое увеличивало отдачу от него. А повысить конверсию в 2 раза на одном сайте нам удалось, просто убрав лишние кнопки контактов — так мы меньше раздражали посетителей и получали больше обращений.
5. Тестировать абсолютно всё
Ощутимо улучшить эффективность страницы может тестирование главных ее элементов, но менять оттенок фона, замена одного слова где-то в середине текста равнозначным по смыслу — забавно, но трудозатратно и неэффективно.
6. Воспринимать чужой опыт как единственно правильный
Каждый копирайтер хоть однажды получал задание «сделать, как у Розетки», но успех повторяют нечасто. При А/В-тестировании важно не копировать чужие решения слепо, а учитывать особенности своей компании.
7. Сравнивать воду и шаблоны с водой и шаблонами
Сделайте текст лучше, заменив «комaнду профессионалов» на «инженера Иванова Ивана Ивановича с дипломом по специальности “Машиностроение” и опытом 12 лет». Если просто заменить одну витиеватую (но бессмысленную) фразу другой, эффект не изменится.
8. Тестировать текст лендинга, не учитывая особенностей структуры страницы
Проверьте, станет ли элемент страницы (например, текстовый блок) эффективнее, если изменить подачу материала. Например, объёмную, но важную для клиента информацию подать лаконичнее, просто добавив фото, визуализировав процесс или создав пиктограммы.
9. Не тестировать влияние разных элементов страницы
Попапы, онлайн-консультанты и другие элементы страницы могут как стимулировать покупателя, так и раздражать его.
10. Тестировать две совершенно разные страницы
Вы можете сравнить эффективность текста, заказанного у копирайтера, и написанного с нуля самостоятельно, но это уже не А/В-тестирование.
11. Тестировать без четких целей и цифр
Маргарита Успенская, аккаунт-директор в K50 Russia:
Перед запуском теста нужно четко понимать, что вы тестируете, и зачем вы это делаете. Тесты ради тестов только занимают время сотрудников и не ведут к какой-либо реальной выгоде для бизнеса.
12. Проводить сплит-тестирование на нерелевантных фокус-группах
Часто изменения на сайте тестируются на коллегах, знакомых, родственниках, сторонних экспертах. Но получить достоверные результаты можно, только если участниками тестирования будут именно представители целевой аудитории.
13. Использовать неправильные способы привлечения целевой аудитории
Если показать две аналогичные страницы, но с разными заголовками человеку, который ищет ваш товар, вы получите один результат. Если попросить его же оценить и сравнить контент, данные могут сильно отличаться.
Вадим Якубенко, full stack программист в компании Skylogic:
Сравните рекламный пост в соцсетях: “Оцени наш новый дизайн сайта! Корма для животных!” и “Корм для животных, доставка по всей Украине”. Очевидно, что первый пост привлечет переходов и конверсий гораздо больше, чем второй. Потому что в данном случае вашей целевой аудиторией будет армия программистов, маркетологов, дизайнеров, владельцев похожего бизнеса и других специалистов, которые будут заинтересованы в оценке внешнего вида, работоспособности продукта в целом, чтобы позаимствовать или, наоборот, не совершать ошибок в своей работе.
14. Принимать решения при нехватке данных
Олесь Тимофеев, основатель GeniusMarketing:
Для теста нужна большая аудитория. По нашему опыту, хороший результат происходит примерно от 1 000 посещений. Не нужно делать вывод на 100 посетителях.
Артем Пилипец, SEO-оптимизатор компании SEO7:
Для планирования объемов тестирования очень рекомендую использовать калькуляторы.
15. Растягивать эксперимент во времени
Сравнивать эффективность двух страниц важно одновременно. Тестирование одной страницы в течение недели, а второй — в течение другой недели, может быть неэффективным. На результат могут повлиять изменение ситуации (например, колебание курса валют), сезонность товара, праздничные и выходные дни.
16. Задавать неправильные временные параметры для тестирования
Одна и та же страница может показывать разную эффективность в будние и праздничные дни, в рабочее и нерабочее время.
17. Пpaктиковать далекие от реальности условия тестирования
Можно посадить 50 человек за макбуки в офисе компании и оценивать результат, а можно показать реальную рекламу реальным пользователям в реальной для них обстановке и проверить, придут ли посетители из десктопа или мобильного устройства, будут дочитывать лендинг до конца, или сворачивать уже второй экран.
18. Неправильно интерпретировать данные
Увеличение конверсии в два раза может свидетельствовать о том, что оформили заказ не 500, а 1000 пользователей. Но в то же время это может означать, что просто оформили подписку на рассылку два человека, а не один.
19. Фокусироваться на микрорезультатах
То, что на рассылку подписались два человека, не означает, что вам обязательно нужно вносить изменения на сайте.
20. Тестировать «как по книжке» (по чужому опыту)
Александр Матола, руководитель WEB-отдела компании StarMarketing:
В рамках курса по интернет-маркетингу читаю лекции в академии ШАГ, где большая часть аудитории — владельцы бизнеса. Там в том числе рассказываю об А/В-тестировании, показываю студентам примеры тестов и возможные результаты, которых можно достичь с помощью этого инструмента. И есть такое наблюдение: если я показываю кейс, как изменение цвета кнопки с зеленого на красный повысило конверсию, многие решают, что красный цвет обладает волшебными свойствами, и при выполнении домашнего задания часто указывают, что им необходимо на своем сайте изменить цвет кнопок на красный.
21. Не учитывать особенности бизнес-процессов компании
Александр Матола, руководитель WEB-отдела компании StarMarketing:
Как бы мы ни тестировали корзину, что бы мы с ней ни делали, на сайте в тематике межкомнатных дверей она принесет значительно меньше продаж, чем заказ по телефону. Без изучения бизнес-процессов компании и потребностей клиента прийти к подобным выводам бывает сложно.
22. Не учитывать разные типы устройств
Поведение покупателя, который принимает решение, сидя за компьютером или с мобильного телефона, может сильно отличаться. Маководы и пользователи Android могут вести себя по-разному.
23. Игнорировать длительность принятия решения клиентом
При продаже сложных решений и дорогих товаров между первым знакомством с продуктом и оформлением заявки на покупку может пройти несколько месяцев. В таких случаях важно проанализировать и первоначальный результат, и результат за среднестатистический период, который нужен для совершения покупки.
24. Не анализировать несостоявшиеся конверсии
Александр Матола, руководитель WEB-отдела компании StarMarketing:
С современными системами аналитики мы можем посмотреть, как себя вели пользователи, которые не дошли до покупки. Такой анализ может дать нам много полезной информации, которая поможет добиться более высоких результатов, чем слепое принятие решений на основе одной только статистики по конверсиям.
25. Не учитывать источники трафика: SEO, контекстная реклама, гостевые посты
26. Проводить А/В-тестирование в течение только одного цикла
Андрей Осипов, сертифицированный тренер Google, пpaктикующий веб-аналитик, автор блога «Веб-аналитика и результат»:
В идеале нужно проводить текст минимум два цикла «принятия решения о покупке». Если решение о покупке принимается месяц, то тестировать нужно два месяца.
27. Тестировать без предварительной аналитики
Олесь Тимофеев, основатель GeniusMarketing:
Перед любым тестом нужно исследовать поведение человека на сайте/страницах или том, что тестируют. Бывает так, что начинают менять те элементы, которые хорошо работают.
28. Срывать план и сроки запланированного теста после получения первых негативных результатов
Маргарита Успенская, аккаунт-директор в K50 Russia:
Перед проведением тестирования стоит учесть множество факторов: как минимум разницу в коэффициенте конверсии в разные дни недели и разное время суток, сезонность, а также длительность цикла покупки на сайте. Если эти факторы при анализе первых результатов игнорировать, можно сделать неверные выводы. Поэтому эксперимент нужно доводить до конца, перед началом строго запланировав сроки, которые должны быть основаны на аналитике.
29. Зацикливаться на повышении конверсии
Константин Новофастовский, руководитель сервиса аудита рекламного трафика Сlickfrog.ru:
Стоит сделать акцент на том, что заявка с сайта — еще не продажа, и некоторые посадочные/лендинги могут приносить большое количество заявок, которые в продажи не превращаются из-за неточной информации на странице. Следовательно, желательно ориентироваться на закрытые продажи, а не только на заявки. Также часть заявок/продаж уходит в телефонный номер на сайте. Отсутствие колл-трекинга сильно влияет на точность выводов.
Сергeй Волык, руководитель отдела контекстной рекламы SeoProfy:
Не проводите одновременные тесты на сайте и с объявлениями, если нет возможности точно получить результаты. При тестировании объявлений нужно обращать внимание на максимально приближенные к конверсии (продаже) показатели. То, что объявление более кликабельное, не значит, что оно эффективнее. Если у вас есть данные о количестве продаж, нужно смотреть на них, а не на количество кликов или CTR объявления. Объявление А может быть лидером по CTR и получать больше заявок. Но с объявления Б будет больше реальных продаж.
Роман Рыбальченко, основатель агентства Roman.ru:
Есть вероятность, что, например, увеличив клики по кнопке «Добавить в корзину», не увеличится общая конверсия, то есть больше людей просто будут переходить в корзину, но не будут покупать, потому что их будут как-то подталкивать. Я видел такие страницы, где любой клик приводит пользователя сразу к регистрации. Это обычно повышает процент регистрации, но финальная конверсия от этого не растет (если слишком рано перенаправить человека на следующий шаг, не дав ему специальных, дополнительных ожиданий).
В идеале хочется всегда тестировать по финальной метрике типа «выполненный заказ», но для этого нужно очень много трафика и очень много времени. Поэтому здесь два варианта: либо выбирается какая-то промежуточная метрика (например, «оформленный заказ»), либо тесты разбиваются на шаги (снизить показатель отказа, увеличить переходы на карточки товара, увеличить добавление в корзину). При этом нужно постоянно контролировать, чтобы рост конверсии на промежуточных шагах не приводил к падению на финальном шаге или ухудшению во всей воронке.
30. Тестировать первую попавшуюся идею
Сергeй Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:
Суть ошибки в том, что тестировать надо гипотезы, а не идеи. Разница в том, что гипотеза содержит точное обоснование, почему целевой параметр изменится. Часто «родителем» таких качественных гипотез является исследование целевой аудитории: опросы, юзер-тесты, интервью. А после нескольких тестов идей руководство и вся комaнда полностью разочаровывается в оптимизации и сплит-тестах.
31. Допускать ошибки при сборе данных
Сергeй Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:
Вообще, это базовая ошибка для всех аналитиков. На какой-то странице не сpaбатывает код аналитики. Где-то событие передаётся через раз. Бывает, что сделают дополнительную функцию «заказ в один клик», но эти заказы не отслеживаются в ecommerce.
32. Не настраивать аналитику перед сплит-тестированием
Евгений Шевченко, основатель агентства интернет-рекламы UaMaster:
Не забывайте интегрировать тестовые данные с Google ***ytics. На каждую тестируемую страницу должна быть настроена отдельная цель. Это поможет потом сделать анализ по сегментам.
33. Не согласовывать пересечения аудиторий
Александра Бурлакова, PPC Team Lead в агентстве performance-маркетинга Netpeak:
Пример такой ошибки — тестировать баннеры для новой аудитории без исключения показов для лояльной аудитории. Чтобы получить репрезентативные данные, аудитория должна быть без примесей.
34. Тестировать CTR при оптимизации сниппетов
По мнению Артема Пилипца, SEO-специалиста компании SEO7, это также серьезная ошибка.
35. Использовать неправильные инструменты
Роман Рыбальченко, основатель агентства Roman.ru:
Часть инструментов не проходят А/А тестирование. А/А тестирование — это когда ничего не поменялось, мы просто проверяем, корректно ли инструмент распределяет трафик и считает. У нас был пример с Visual Website Optimizer, когда он показывал, что с вероятностью в 85% тестовая версия страницы превосходит на 20% саму себя. То есть такую же версию страницы. Для проведения тестирования мы используем Google Content Experiments и ждем доступа к Beta, чтобы использовать Google Optimizer. Ребята, которые использовали Optimizer и другие инструменты, например, Visual Website Optimizer, тоже говорили, что они часто не проходят А/А-тестирование.
Как правильно создавать UTM-метки О таких главных ошибках при А/В-тестировании мы узнали, спросив экспертов. Это уже второй случай, когда мы простой, казалось бы, вопрос разложили по полочкам. Напомню, что подобный опыт у нас был с темой про
Мнение авторов гостевого поста может не совпадать с позицией редакции и специалистов агентства Netpeak.
Этот текст обновлен. Первая версия вышла 04.01.2017.Комментарии:
Данные, приведенные в исследовании, помогут в составлении медиапланов по продвижению в интернете. Понимания стоимость конверсии и необходимое количество конверсий, вы можете прогнозировать, сколько денег на рекламу нужно выделить....
06 12 2023 1:49:50
Таблицы Google позволят перенести рекламную кампанию и сохранить при этом ключевые слова в разных типах соответствия. Подробный мануал — в новом посте....
05 12 2023 17:57:44
SMM от Netpeak — это разработки стратегий продвижения, механики конкурсов, медиапланирование и постоянная интеpaктивная связь с клиентом с помощью «Личного кабинета»....
04 12 2023 7:46:34
Узнайте зарплату интернет-маркетологов с новым рейтингом от Serpstat....
03 12 2023 20:51:20
Причины, по которым имеет смысл работать в офисе хотя бы несколько дней в неделю, а может и больше. Конечно, только если эпидемиологическая ситуация не заставляет оставаться дома. Берегите себя....
02 12 2023 9:22:44
Как узнавать эффективность страницы мобильного приложения в Play Маркете? Учимся работать в Google Play Developers Console....
01 12 2023 22:53:54
Как настроить просто и быстро настроить скрипт в Google ***ytics для отслеживания печати страниц сайта....
30 11 2023 7:46:10
О проблеме с передачей данных об A/B-тестах в Google ***ytics...
29 11 2023 21:38:20
Фубольный клуб. Как увеличить ROMI (возврат маркетинговых инвестиций) в рекламных кампаниях — рассказываем на примере киевского интернет-магазина «Динамо»...
28 11 2023 6:32:11
Процесс привлечения сторонних ресурсов отнимает основную часть времени у большинства основателей стартапов. Читайте руководство, которое поможет сделать этот процесс во время серии А более эффективным....
27 11 2023 5:25:19
Короткая история про одного из руководителей корпорации «Kimberly Clark». Альтернативная Википедия для тех, кто любит сторителлинг. Читать дальше!...
26 11 2023 7:42:14
Многие недооценивают триггерное письмо после оформления покупки, а зря. И вот почему....
25 11 2023 15:19:52
Конференцию eCommerce будет развивать комaнда Octopus Events...
24 11 2023 2:23:48
Информация для SEO- и PPC-специалистов, маркетологов и предпринимателей малого бизнеса...
23 11 2023 11:42:55
Брендовые или витальные запросы содержат только название компании или бренда, без дополнительных уточнений...
22 11 2023 5:12:28
Распространенные ошибки в XML-фидах Google и Яндекс, CSV-фидах и как исправить их своими силами. Используем Notepad++, отладчик ленты Facebook и Excel. Узнать больше!...
21 11 2023 13:38:29
Какой движок сайта стоит выбрать...
20 11 2023 1:45:50
Сегодня именно тот день, когда пора решиться и отправить своё резюме в нашу компанию....
19 11 2023 17:34:54
Также повысили количество транзакций на 191% (по сравнению с аналогичным периодом прошлого года)....
18 11 2023 6:53:46
Требования к интернет-магазину, мануал по регистрации, что может пойти не так...
17 11 2023 12:40:15
Минусовки это не только про эстраду. Какой метод кросс-минусовки ключевых слов лучше?...
16 11 2023 0:40:15
Обзор ресурса по подбору ключевых запросов www.SEMRUSH.com на Netpeak.ua...
15 11 2023 2:45:15
Продолжаем разговор о том, почему функция «Совмещение данных» в Google Data Studio может работать не так, как вы ожидаете....
14 11 2023 5:54:42
Зачем нужно работать с отчетами по ассоциированным конверсиям и сравнивать различные модели атрибуции?...
13 11 2023 2:17:36
Офис Netpeak в Харькове официально открыт! В этом посте, вместо игры на фанфарах, мы на собственном примере рассмотрим, что нужно для создания регионального отделения в разгар кризиса....
12 11 2023 12:15:32
Как найти и быстро исправить причины падения трафика? Совет номер один — не паниковать....
11 11 2023 22:57:24
Подборка ненаучных наблюдений и ситуаций, в которых бывал каждый из нас...
10 11 2023 5:47:49
Признаки того, что магазин находится под фильтром и шаги по выводу из него...
09 11 2023 17:20:25
Наибольший эффект по продвижению сайта при минимальных затратах — именно таков принцип SEO growth hacking. Как найти кратные точки роста, читайте статье....
08 11 2023 15:11:49
Старт любых активностей в сфере email-маркетинга — разработка стратегии...
07 11 2023 7:17:30
Как вернуть клиентов с помощью реактивационных email-рассылок. Внутри идеи таких брендов: Bershka, Wildberries, LinguaLeo, Facebook, Mail.ru, Coub, BlaBlaCar, Repka.ua и другие. Узнайте принципы красивой реактивации!...
06 11 2023 3:50:36
Адаптивный линкбилдинг: будьте полезны людям, а не поисковикам....
05 11 2023 7:47:37
Как новичкам в ecommerce выбрать первую CMS. Преимущества и трудности работы для крупных и небольших интернет-магазинов, русскоязычные и мультиязычные, с активной техподдержкой и без нее. Узнать больше!...
04 11 2023 2:19:35
Идем в Бразилию: опыт Depositphotos + полезные факты....
03 11 2023 3:14:38
При наложении санкций на сайт его страницы заметно понижаются в выдаче. При наличии бана ресурс полностью исчезает из поиска, включая брендовые запросы...
02 11 2023 0:41:12
Личный опыт маркетинг-директора Serpstat. Внутренняя перелинковка, работа с контентом, настройка email-рассылок и построение качественного комьюнити помогли нам получить стабильный поток читателей и новых пользователей. Обо всем читайте дальше!...
01 11 2023 13:28:13
Эффективность рекламы в поиске падает, но растут YouTube, контекстно-медийная сеть и другие платформы...
31 10 2023 19:13:17
Сервисы для определения оптимальной плотности ключевых слов...
30 10 2023 13:53:55
Понятная инструкция для SMM-специалистов для тех, кто экспериментирует с настройками аудиторий в рекламных кампаниях. Вы увидите, как настраивать ремаркетинг на примере Facebook. Существует 10 типов индивидуализированных аудиторий в Facebook, разберем три...
29 10 2023 16:57:30
Одесские магазины, где продают вечерние и свадебные платья нуждаются в особом внимании интернет-маркетинга. Как настроить контекстную рекламу для малого и среднего бизнеса со скромными маркетинговыми бюджетами...
28 10 2023 2:10:49
Здесь не нужно часами собирать семантику, прописывать уйму расширений и создавать максимально релевантные объявления под каждый товар, а потому вам нужен этот понятный и короткий мануал! Читайте дальше!...
27 10 2023 7:32:14
Direct сделал подарок всем, кто уже давно хотел увеличить привлекательность своих объявлений — добавил возможность включения видеодополнений к текстово-графическим кампаниям. Как включить новую фишку от Директа и достаточно ли она эффективна?...
26 10 2023 5:59:20
Что делать, когда не получается заставить себя написать статью или кейс...
25 10 2023 11:44:19
Бывают случаи, когда код Google ***ytics перестает вообще собирать статистику. Чтобы выявить сбой вовремя, обязательно настройте эти оповещения....
24 10 2023 0:19:37
Перед обращением за услугами продвижения задайте себе вопрос: готов ли я выделить львиную долю своего времени и сил на серьезное развитие проекта? При отрицательном ответе не стоит и начинать. И другие вопросы о SEO-продвижении...
23 10 2023 9:53:39
Для максимальной прибыли с YouTube-канала нужно выбрать одну из наиболее посещаемых ниш. Не всегда прибыльная тема соответствует личным предпочтениям владельца канала...
22 10 2023 15:51:36
Как создать и внедрить баннеры об использовании куки-файлов с помощью Google Tag Manager и OneTrust...
21 10 2023 19:29:11
Для одной компании смена description это что-то пустяковое. Здесь же — настоящий бренд-менеджмент....
20 10 2023 18:51:40
Проверенные лайфхаки по платному трафику от спикеров и участников конференции 8P 2018...
19 10 2023 18:38:22
Как заинтересовать инвесторов, сколько времени это займет, а также стратегии поиска....
18 10 2023 4:29:44
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::