35 ошибок при А/В-тестировании
A/B-тестирование — это такой вид маркетингового исследования, когда контрольной группе предлагают выбрать лучший, по ее мнению, вариант рекламного блока или его элемента, дизайн сайта, другой любой объект. С его помощью маркетологи получают оптимальное решение для своих задач. Такое исследование еще называют split testing — раздельным тестированием.
Оно предоставляет достоверные данные об эффективности изменений на сайте. Если изменения на сайте проводить без А/В тестирования, то это приведет к оттоку пользователей.
Об это и других аспектах А/В-тестирования в статье руководителя контент-студии WordFactory Натальи Кирик рассказывают маркетологи и SEO-специалисты: Роман Рыбальченко, Татьяна Помаранская, Юрий Альмужный, Маргарита Успенская, Вадим Якубенко, Олесь Тимофеев, Сергeй Волык, Артем Пилипец, Александр Матола, Андрей Осипов, Константин Новофастовский, Сергeй Гудков, Евгений Шевченко, Александра Бурлакова.
А/В-тестирование в цифрах:
- от 1 000 посетителей обычно нужно, чтобы получить достаточно данных в ходе А/В-тестирования;
- от 1 недели обычно должен длиться сплит-тест, чтобы получить достоверный результат;
- от 2 периодов, достаточных для совершения покупки, должен длиться тест.
Как провести A/B-тест сайта: инструменты и популярные гипотезы Статья в тему:
35 ошибок в А/В-тестровании с комментариями специалистов:
1. Не делать А/В-тестирование в принципе
Любая продающая страница может стать лучше, поэтому важно проверять гипотезы на пpaктике.
Роман Рыбальченко, основатель агентства Roman.ru:
Ошибка номер один — люди вообще ничего не тестируют, либо делают это интуитивно. Мы обсуждали этот вопрос с Дмитрием Кудренко в первом выпуске подкаста ПРОДУКТИВНЫЙ РОМАН. Суть в том, что даже на Западе люди, которые должны проводить тестирование, обманывают, — не проводят тестов, подтасовывают результаты.
2. Проводить сплит-тестирование нерегулярно
Татьяна Помаранская, интернет-маркетолог в Coral Travel Ukraine:
Часто допускаемая ошибка — разовое проведение А/В-тестирования. Оно должно быть регулярным. Только тогда улучшение и совершенствование будут постоянными.
3. Переоценивать А/В тестирование
Качество контента — важный, но не единственный фактор эффективности страницы. Улучшая текст, можно продать больше, быстрее, чаще, дороже. В то же время на эффективность страницы влияет не только тест, но и источник трафика, и его качество, и дизайн, и сам продукт, и то, включен ли телефон, указанный на сайте.
4. Недооценивать детали
В продающей странице важно все: и цвет кнопки «Купить», и шрифт, и цвет фона страницы.
Юрий Альмужный, основатель и руководитель компании «Эль-Дом»:
Иной раз, просто переписав заголовки на сайте, мы получали рост конверсии на 30-50%. Так, кстати, было и с одной из версий нашего сайта.
Уменьшение длины лендинга втрое увеличивало отдачу от него. А повысить конверсию в 2 раза на одном сайте нам удалось, просто убрав лишние кнопки контактов — так мы меньше раздражали посетителей и получали больше обращений.
5. Тестировать абсолютно всё
Ощутимо улучшить эффективность страницы может тестирование главных ее элементов, но менять оттенок фона, замена одного слова где-то в середине текста равнозначным по смыслу — забавно, но трудозатратно и неэффективно.
6. Воспринимать чужой опыт как единственно правильный
Каждый копирайтер хоть однажды получал задание «сделать, как у Розетки», но успех повторяют нечасто. При А/В-тестировании важно не копировать чужие решения слепо, а учитывать особенности своей компании.
7. Сравнивать воду и шаблоны с водой и шаблонами
Сделайте текст лучше, заменив «комaнду профессионалов» на «инженера Иванова Ивана Ивановича с дипломом по специальности “Машиностроение” и опытом 12 лет». Если просто заменить одну витиеватую (но бессмысленную) фразу другой, эффект не изменится.
8. Тестировать текст лендинга, не учитывая особенностей структуры страницы
Проверьте, станет ли элемент страницы (например, текстовый блок) эффективнее, если изменить подачу материала. Например, объёмную, но важную для клиента информацию подать лаконичнее, просто добавив фото, визуализировав процесс или создав пиктограммы.
9. Не тестировать влияние разных элементов страницы
Попапы, онлайн-консультанты и другие элементы страницы могут как стимулировать покупателя, так и раздражать его.
10. Тестировать две совершенно разные страницы
Вы можете сравнить эффективность текста, заказанного у копирайтера, и написанного с нуля самостоятельно, но это уже не А/В-тестирование.
11. Тестировать без четких целей и цифр
Маргарита Успенская, аккаунт-директор в K50 Russia:
Перед запуском теста нужно четко понимать, что вы тестируете, и зачем вы это делаете. Тесты ради тестов только занимают время сотрудников и не ведут к какой-либо реальной выгоде для бизнеса.
12. Проводить сплит-тестирование на нерелевантных фокус-группах
Часто изменения на сайте тестируются на коллегах, знакомых, родственниках, сторонних экспертах. Но получить достоверные результаты можно, только если участниками тестирования будут именно представители целевой аудитории.
13. Использовать неправильные способы привлечения целевой аудитории
Если показать две аналогичные страницы, но с разными заголовками человеку, который ищет ваш товар, вы получите один результат. Если попросить его же оценить и сравнить контент, данные могут сильно отличаться.
Вадим Якубенко, full stack программист в компании Skylogic:
Сравните рекламный пост в соцсетях: “Оцени наш новый дизайн сайта! Корма для животных!” и “Корм для животных, доставка по всей Украине”. Очевидно, что первый пост привлечет переходов и конверсий гораздо больше, чем второй. Потому что в данном случае вашей целевой аудиторией будет армия программистов, маркетологов, дизайнеров, владельцев похожего бизнеса и других специалистов, которые будут заинтересованы в оценке внешнего вида, работоспособности продукта в целом, чтобы позаимствовать или, наоборот, не совершать ошибок в своей работе.
14. Принимать решения при нехватке данных
Олесь Тимофеев, основатель GeniusMarketing:
Для теста нужна большая аудитория. По нашему опыту, хороший результат происходит примерно от 1 000 посещений. Не нужно делать вывод на 100 посетителях.
Артем Пилипец, SEO-оптимизатор компании SEO7:
Для планирования объемов тестирования очень рекомендую использовать калькуляторы.
15. Растягивать эксперимент во времени
Сравнивать эффективность двух страниц важно одновременно. Тестирование одной страницы в течение недели, а второй — в течение другой недели, может быть неэффективным. На результат могут повлиять изменение ситуации (например, колебание курса валют), сезонность товара, праздничные и выходные дни.
16. Задавать неправильные временные параметры для тестирования
Одна и та же страница может показывать разную эффективность в будние и праздничные дни, в рабочее и нерабочее время.
17. Пpaктиковать далекие от реальности условия тестирования
Можно посадить 50 человек за макбуки в офисе компании и оценивать результат, а можно показать реальную рекламу реальным пользователям в реальной для них обстановке и проверить, придут ли посетители из десктопа или мобильного устройства, будут дочитывать лендинг до конца, или сворачивать уже второй экран.
18. Неправильно интерпретировать данные
Увеличение конверсии в два раза может свидетельствовать о том, что оформили заказ не 500, а 1000 пользователей. Но в то же время это может означать, что просто оформили подписку на рассылку два человека, а не один.
19. Фокусироваться на микрорезультатах
То, что на рассылку подписались два человека, не означает, что вам обязательно нужно вносить изменения на сайте.
20. Тестировать «как по книжке» (по чужому опыту)
Александр Матола, руководитель WEB-отдела компании StarMarketing:
В рамках курса по интернет-маркетингу читаю лекции в академии ШАГ, где большая часть аудитории — владельцы бизнеса. Там в том числе рассказываю об А/В-тестировании, показываю студентам примеры тестов и возможные результаты, которых можно достичь с помощью этого инструмента. И есть такое наблюдение: если я показываю кейс, как изменение цвета кнопки с зеленого на красный повысило конверсию, многие решают, что красный цвет обладает волшебными свойствами, и при выполнении домашнего задания часто указывают, что им необходимо на своем сайте изменить цвет кнопок на красный.
21. Не учитывать особенности бизнес-процессов компании
Александр Матола, руководитель WEB-отдела компании StarMarketing:
Как бы мы ни тестировали корзину, что бы мы с ней ни делали, на сайте в тематике межкомнатных дверей она принесет значительно меньше продаж, чем заказ по телефону. Без изучения бизнес-процессов компании и потребностей клиента прийти к подобным выводам бывает сложно.
22. Не учитывать разные типы устройств
Поведение покупателя, который принимает решение, сидя за компьютером или с мобильного телефона, может сильно отличаться. Маководы и пользователи Android могут вести себя по-разному.
23. Игнорировать длительность принятия решения клиентом
При продаже сложных решений и дорогих товаров между первым знакомством с продуктом и оформлением заявки на покупку может пройти несколько месяцев. В таких случаях важно проанализировать и первоначальный результат, и результат за среднестатистический период, который нужен для совершения покупки.
24. Не анализировать несостоявшиеся конверсии
Александр Матола, руководитель WEB-отдела компании StarMarketing:
С современными системами аналитики мы можем посмотреть, как себя вели пользователи, которые не дошли до покупки. Такой анализ может дать нам много полезной информации, которая поможет добиться более высоких результатов, чем слепое принятие решений на основе одной только статистики по конверсиям.
25. Не учитывать источники трафика: SEO, контекстная реклама, гостевые посты
26. Проводить А/В-тестирование в течение только одного цикла
Андрей Осипов, сертифицированный тренер Google, пpaктикующий веб-аналитик, автор блога «Веб-аналитика и результат»:
В идеале нужно проводить текст минимум два цикла «принятия решения о покупке». Если решение о покупке принимается месяц, то тестировать нужно два месяца.
27. Тестировать без предварительной аналитики
Олесь Тимофеев, основатель GeniusMarketing:
Перед любым тестом нужно исследовать поведение человека на сайте/страницах или том, что тестируют. Бывает так, что начинают менять те элементы, которые хорошо работают.
28. Срывать план и сроки запланированного теста после получения первых негативных результатов
Маргарита Успенская, аккаунт-директор в K50 Russia:
Перед проведением тестирования стоит учесть множество факторов: как минимум разницу в коэффициенте конверсии в разные дни недели и разное время суток, сезонность, а также длительность цикла покупки на сайте. Если эти факторы при анализе первых результатов игнорировать, можно сделать неверные выводы. Поэтому эксперимент нужно доводить до конца, перед началом строго запланировав сроки, которые должны быть основаны на аналитике.
29. Зацикливаться на повышении конверсии
Константин Новофастовский, руководитель сервиса аудита рекламного трафика Сlickfrog.ru:
Стоит сделать акцент на том, что заявка с сайта — еще не продажа, и некоторые посадочные/лендинги могут приносить большое количество заявок, которые в продажи не превращаются из-за неточной информации на странице. Следовательно, желательно ориентироваться на закрытые продажи, а не только на заявки. Также часть заявок/продаж уходит в телефонный номер на сайте. Отсутствие колл-трекинга сильно влияет на точность выводов.
Сергeй Волык, руководитель отдела контекстной рекламы SeoProfy:
Не проводите одновременные тесты на сайте и с объявлениями, если нет возможности точно получить результаты. При тестировании объявлений нужно обращать внимание на максимально приближенные к конверсии (продаже) показатели. То, что объявление более кликабельное, не значит, что оно эффективнее. Если у вас есть данные о количестве продаж, нужно смотреть на них, а не на количество кликов или CTR объявления. Объявление А может быть лидером по CTR и получать больше заявок. Но с объявления Б будет больше реальных продаж.
Роман Рыбальченко, основатель агентства Roman.ru:
Есть вероятность, что, например, увеличив клики по кнопке «Добавить в корзину», не увеличится общая конверсия, то есть больше людей просто будут переходить в корзину, но не будут покупать, потому что их будут как-то подталкивать. Я видел такие страницы, где любой клик приводит пользователя сразу к регистрации. Это обычно повышает процент регистрации, но финальная конверсия от этого не растет (если слишком рано перенаправить человека на следующий шаг, не дав ему специальных, дополнительных ожиданий).
В идеале хочется всегда тестировать по финальной метрике типа «выполненный заказ», но для этого нужно очень много трафика и очень много времени. Поэтому здесь два варианта: либо выбирается какая-то промежуточная метрика (например, «оформленный заказ»), либо тесты разбиваются на шаги (снизить показатель отказа, увеличить переходы на карточки товара, увеличить добавление в корзину). При этом нужно постоянно контролировать, чтобы рост конверсии на промежуточных шагах не приводил к падению на финальном шаге или ухудшению во всей воронке.
30. Тестировать первую попавшуюся идею
Сергeй Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:
Суть ошибки в том, что тестировать надо гипотезы, а не идеи. Разница в том, что гипотеза содержит точное обоснование, почему целевой параметр изменится. Часто «родителем» таких качественных гипотез является исследование целевой аудитории: опросы, юзер-тесты, интервью. А после нескольких тестов идей руководство и вся комaнда полностью разочаровывается в оптимизации и сплит-тестах.
31. Допускать ошибки при сборе данных
Сергeй Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:
Вообще, это базовая ошибка для всех аналитиков. На какой-то странице не сpaбатывает код аналитики. Где-то событие передаётся через раз. Бывает, что сделают дополнительную функцию «заказ в один клик», но эти заказы не отслеживаются в ecommerce.
32. Не настраивать аналитику перед сплит-тестированием
Евгений Шевченко, основатель агентства интернет-рекламы UaMaster:
Не забывайте интегрировать тестовые данные с Google ***ytics. На каждую тестируемую страницу должна быть настроена отдельная цель. Это поможет потом сделать анализ по сегментам.
33. Не согласовывать пересечения аудиторий
Александра Бурлакова, PPC Team Lead в агентстве performance-маркетинга Netpeak:
Пример такой ошибки — тестировать баннеры для новой аудитории без исключения показов для лояльной аудитории. Чтобы получить репрезентативные данные, аудитория должна быть без примесей.
34. Тестировать CTR при оптимизации сниппетов
По мнению Артема Пилипца, SEO-специалиста компании SEO7, это также серьезная ошибка.
35. Использовать неправильные инструменты
Роман Рыбальченко, основатель агентства Roman.ru:
Часть инструментов не проходят А/А тестирование. А/А тестирование — это когда ничего не поменялось, мы просто проверяем, корректно ли инструмент распределяет трафик и считает. У нас был пример с Visual Website Optimizer, когда он показывал, что с вероятностью в 85% тестовая версия страницы превосходит на 20% саму себя. То есть такую же версию страницы. Для проведения тестирования мы используем Google Content Experiments и ждем доступа к Beta, чтобы использовать Google Optimizer. Ребята, которые использовали Optimizer и другие инструменты, например, Visual Website Optimizer, тоже говорили, что они часто не проходят А/А-тестирование.
Как правильно создавать UTM-метки О таких главных ошибках при А/В-тестировании мы узнали, спросив экспертов. Это уже второй случай, когда мы простой, казалось бы, вопрос разложили по полочкам. Напомню, что подобный опыт у нас был с темой про
Мнение авторов гостевого поста может не совпадать с позицией редакции и специалистов агентства Netpeak.
Этот текст обновлен. Первая версия вышла 04.01.2017.Комментарии:
Как упростить работу с данными и сэкономить на оплате сервиса...
20 06 2025 0:26:19
Пуш для рекламных кампаний накануне праздничных распродаж...
19 06 2025 17:44:16
Какую связь можно назвать «качественной» и как улучшить работу телефонии — советы от платформы Ringostat в новом посте....
18 06 2025 19:29:27
Если маркетер хочет привлечь к бренд-контенту дополнительное внимание, стоит воспользоваться опцией Promote post....
17 06 2025 2:33:56
Для работы в интернет-маркетинге нужно хорошо разбираться в аналитике. Рассмотрим, как использовать в работе Google ***ytics 4 и чем он отличается от Universal...
16 06 2025 9:42:35
Каждый владелец знает, что залог успеха эффективного продвижения кампаний — качественная ежедневная оптимизация, а эксперименты — путь к новым горизонтам и еще более качественным результатам...
15 06 2025 11:50:13
Успех рекламы во многом зависит от сезонности, популярности тематики и умения оперативно среагировать на тренд. Для этого и существует сервис Google Trends....
14 06 2025 21:11:11
10 шагов к я-бренду из книги «Я-бренд. Формула успеха». Марк вырастил свой бренд до размеров торгового бизнеса с объемами продаж в миллиарды долларов. Читайте, здесь есть и сама формула, подходящая для товара, сайта или торговли машинами...
13 06 2025 3:14:14
Не путайте с контент-менеджером, пожалуйста....
12 06 2025 3:22:54
14 пунктов, которые помогут вам лучше изучить свой бизнес и подготовить эффективную SMM-стратегию...
11 06 2025 2:45:35
Агентство Netpeak закрыло сделку по покупке агентства мобильного маркетинга Радомира Новковича RadASO....
10 06 2025 11:20:35
Продвижение монобренда: особенности, трудности, подводные камни. Ниша здоровья и красоты....
09 06 2025 0:45:48
В этом году часть пользователей предпочла вернуться к привычным покупкам в оффлайн-магазинах....
08 06 2025 13:49:17
Грамотная аналитика в мире мобильных приложений, как и в целом в маркетинге — единственный путь к окупаемости продукта и выходу в высшую лигу брендов...
07 06 2025 16:39:28
Работать сейчас — не зазорно, а просто необходимо для страны...
06 06 2025 18:36:21
Какие форматы видеорекламы логичнее купить для создания спроса на новую продукцию? Выясняем на примере кейса бренда Yves Rocher...
05 06 2025 10:48:36
SEO-dashboard для сбора данных в Google-таблицы и отправка отчетов по email. Решение, которое поможет заметить глобальные изменения в потоках трафика. Узнать больше!...
04 06 2025 18:59:11
Работаете со скриптами R регулярно? Потратьте десять минут на настройку автозапуска и избавьтесь от необходимости активировать R-скрипты вручную...
03 06 2025 9:12:53
Как зарегистрироваться в приложении Facebook Business Manager и грамотно сделать и настроить аккаунт...
02 06 2025 14:12:24
Когорта в google ***ytics позволяет снять любые претензии в духе «прошел уже целый месяц, где результаты»....
01 06 2025 22:53:35
Как поможет Regex Engines в работе с Google ***ytics и преимущества использования Regex в Диспетчере тегов Google. Узнать больше....
31 05 2025 6:48:20
Кратко об аутрич-продвижении? Размещайте полезный контент с ссылками на ваш сайт на качественных ресурсах. Хотите подробности — читайте новую статью....
30 05 2025 4:49:29
Бесплатная регистрация сайта в поисковых системах и каталогах – отличный способ увеличить объемы трафика и раскрутить собственный ресурс....
29 05 2025 23:10:55
Данные по 42,5 млн кликов в 25 тематиках и 391 городу...
28 05 2025 10:56:24
Когда на сайт добавляют новый контент, он тут же трaнcлируется в RSS-ленту и отображается в специальных программах для чтения, либо в email подписчиков. Как это работает?...
27 05 2025 1:31:22
Возможности для специалистов по рекламе в Facebook, о которых знают далеко не все. Подробности — тут....
26 05 2025 6:49:29
Об особенностях реализации интернет-проектов в Великобритании, России и Казахстане и фишках успешного ведения бизнеса онлайн мы побеседовали с Владимиром Меркушевым — руководителем интернет-проектов успешной казахстанской компании Kolesa.kz....
25 05 2025 9:26:51
10 заданий, которые заставят пошевелить мозгами и придумать нестандартные решения. Используйте их (видоизмените, адаптируйте) под свой продукт или услугу. Создайте крутую кампанию, креатив или предложите это своей комaнде....
24 05 2025 17:21:59
Дублирование контента на разных сайтах, ориентированных на рынки разных стран, например, на публику Канады...
23 05 2025 15:21:58
Бесплатно, быстро и безопасно. Но есть и минусы. Узнать больше!...
22 05 2025 9:52:42
Кейс о том, как написать большинству дилеров премиальных акустических систем в Европе и ничего не продать. И почему это кейс, а не антикейс....
21 05 2025 7:58:28
SMM для агентства перформанс-маркетинга. Как уйти от сухих текстов и стандартных баннеров для бизнес-страницы....
20 05 2025 0:45:40
Руководство к действию от основателя Netpeak Group....
19 05 2025 2:55:25
Возможно, вы купили обувь Intertop именно после просмотра нашей рекламы....
18 05 2025 17:15:44
SEO-продвижение онлайн-сервиса доставки еды с новым сайтом. Цели продвижения, составление семантического ядра, формирование URL, поддомены, карточки товаров, тексты, внешняя оптимизация, дополнительные работы, а также полученные результаты...
17 05 2025 11:19:27
Семнадцать крутых шагов к эффективному бренду Заг — это авторский неологизм от слова зигзаг (англ. zigzag). Он подразумевает движение в другом направлении....
16 05 2025 13:42:43
О построении персональных рекомендаций для интернет-магазина, используя технику со-визитов....
15 05 2025 8:30:19
Как рекламировать смартфоны в YouTube — советы крупному бизнесу по настройке и запуску эффективной рекламы. Важно: корректный анализ результатов. Узнайте как его сделать!...
14 05 2025 4:29:41
Как сэкономить время, ресурсы, и сделать онлайн-маркетинг эффективнее с помощью языка R...
13 05 2025 7:37:14
Специалисты дропшиппинг-платформы делятся данными по самым продаваемым товарам на крупных онлайн-площадках. Информация для масштабирования бизнеса. Читать!...
12 05 2025 21:38:11
Примеры странной, классной и непонятной рекламы в соцсетях из моей ленты за февраль 2021 года...
11 05 2025 15:18:55
Я исследовал 23 миллиона кликов из Украины в Google Ads, Facebook, Директ и структурировал данные по 19 тематикам...
10 05 2025 14:21:33
Давайте больше не будем сливать бюджет, выбирая неправильный параметр....
09 05 2025 14:23:42
Нескучный инструктаж на примере @netpeak_ua о том, зачем компании корпоративный Twitter для продвижения контента, компании или персоны. А еще про хештеги, поиск читателей, аналитику, стиль ведения вашего микроблога, создание сообщества и акции...
08 05 2025 8:36:33
В конце октября Яндекс начал открытое бета-тестирование новой версии Коммaндера. Я решила уже сейчас проверить все плюсы и минусы новой версии сервиса...
07 05 2025 5:22:49
Отныне мы можем настраивать показы рекламы на мужчин и женщин определенной возрастной группы....
06 05 2025 6:29:28
Ярослав Легенчук поделился историей успешного «переезда» площадки IT-продукта из Рунета в страны ЕС...
05 05 2025 0:21:14
Придумать цепляющие заголовки для 1000 репостов в соцсетях — что можно узнать в результате анализа миллиона заголовков в блогах....
04 05 2025 5:13:17
Объявление в тематике автошин — отличная тема для рекламы в интернете....
03 05 2025 6:19:14
Гифка — это зациклиненное видеоизображение, рисунок-ролик, крохотный фильм, без которого трудно представить современный сайт. Как быстро создавать гифки и получать профит....
02 05 2025 23:59:43
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::