35 ошибок при А/В-тестировании
A/B-тестирование — это такой вид маркетингового исследования, когда контрольной группе предлагают выбрать лучший, по ее мнению, вариант рекламного блока или его элемента, дизайн сайта, другой любой объект. С его помощью маркетологи получают оптимальное решение для своих задач. Такое исследование еще называют split testing — раздельным тестированием.
Оно предоставляет достоверные данные об эффективности изменений на сайте. Если изменения на сайте проводить без А/В тестирования, то это приведет к оттоку пользователей.
Об это и других аспектах А/В-тестирования в статье руководителя контент-студии WordFactory Натальи Кирик рассказывают маркетологи и SEO-специалисты: Роман Рыбальченко, Татьяна Помаранская, Юрий Альмужный, Маргарита Успенская, Вадим Якубенко, Олесь Тимофеев, Сергeй Волык, Артем Пилипец, Александр Матола, Андрей Осипов, Константин Новофастовский, Сергeй Гудков, Евгений Шевченко, Александра Бурлакова.
А/В-тестирование в цифрах:
- от 1 000 посетителей обычно нужно, чтобы получить достаточно данных в ходе А/В-тестирования;
- от 1 недели обычно должен длиться сплит-тест, чтобы получить достоверный результат;
- от 2 периодов, достаточных для совершения покупки, должен длиться тест.
Как провести A/B-тест сайта: инструменты и популярные гипотезы Статья в тему:
35 ошибок в А/В-тестровании с комментариями специалистов:
1. Не делать А/В-тестирование в принципе
Любая продающая страница может стать лучше, поэтому важно проверять гипотезы на пpaктике.
Роман Рыбальченко, основатель агентства Roman.ru:
Ошибка номер один — люди вообще ничего не тестируют, либо делают это интуитивно. Мы обсуждали этот вопрос с Дмитрием Кудренко в первом выпуске подкаста ПРОДУКТИВНЫЙ РОМАН. Суть в том, что даже на Западе люди, которые должны проводить тестирование, обманывают, — не проводят тестов, подтасовывают результаты.
2. Проводить сплит-тестирование нерегулярно
Татьяна Помаранская, интернет-маркетолог в Coral Travel Ukraine:
Часто допускаемая ошибка — разовое проведение А/В-тестирования. Оно должно быть регулярным. Только тогда улучшение и совершенствование будут постоянными.
3. Переоценивать А/В тестирование
Качество контента — важный, но не единственный фактор эффективности страницы. Улучшая текст, можно продать больше, быстрее, чаще, дороже. В то же время на эффективность страницы влияет не только тест, но и источник трафика, и его качество, и дизайн, и сам продукт, и то, включен ли телефон, указанный на сайте.
4. Недооценивать детали
В продающей странице важно все: и цвет кнопки «Купить», и шрифт, и цвет фона страницы.
Юрий Альмужный, основатель и руководитель компании «Эль-Дом»:
Иной раз, просто переписав заголовки на сайте, мы получали рост конверсии на 30-50%. Так, кстати, было и с одной из версий нашего сайта.
Уменьшение длины лендинга втрое увеличивало отдачу от него. А повысить конверсию в 2 раза на одном сайте нам удалось, просто убрав лишние кнопки контактов — так мы меньше раздражали посетителей и получали больше обращений.
5. Тестировать абсолютно всё
Ощутимо улучшить эффективность страницы может тестирование главных ее элементов, но менять оттенок фона, замена одного слова где-то в середине текста равнозначным по смыслу — забавно, но трудозатратно и неэффективно.
6. Воспринимать чужой опыт как единственно правильный
Каждый копирайтер хоть однажды получал задание «сделать, как у Розетки», но успех повторяют нечасто. При А/В-тестировании важно не копировать чужие решения слепо, а учитывать особенности своей компании.
7. Сравнивать воду и шаблоны с водой и шаблонами
Сделайте текст лучше, заменив «комaнду профессионалов» на «инженера Иванова Ивана Ивановича с дипломом по специальности “Машиностроение” и опытом 12 лет». Если просто заменить одну витиеватую (но бессмысленную) фразу другой, эффект не изменится.
8. Тестировать текст лендинга, не учитывая особенностей структуры страницы
Проверьте, станет ли элемент страницы (например, текстовый блок) эффективнее, если изменить подачу материала. Например, объёмную, но важную для клиента информацию подать лаконичнее, просто добавив фото, визуализировав процесс или создав пиктограммы.
9. Не тестировать влияние разных элементов страницы
Попапы, онлайн-консультанты и другие элементы страницы могут как стимулировать покупателя, так и раздражать его.
10. Тестировать две совершенно разные страницы
Вы можете сравнить эффективность текста, заказанного у копирайтера, и написанного с нуля самостоятельно, но это уже не А/В-тестирование.
11. Тестировать без четких целей и цифр
Маргарита Успенская, аккаунт-директор в K50 Russia:
Перед запуском теста нужно четко понимать, что вы тестируете, и зачем вы это делаете. Тесты ради тестов только занимают время сотрудников и не ведут к какой-либо реальной выгоде для бизнеса.
12. Проводить сплит-тестирование на нерелевантных фокус-группах
Часто изменения на сайте тестируются на коллегах, знакомых, родственниках, сторонних экспертах. Но получить достоверные результаты можно, только если участниками тестирования будут именно представители целевой аудитории.
13. Использовать неправильные способы привлечения целевой аудитории
Если показать две аналогичные страницы, но с разными заголовками человеку, который ищет ваш товар, вы получите один результат. Если попросить его же оценить и сравнить контент, данные могут сильно отличаться.
Вадим Якубенко, full stack программист в компании Skylogic:
Сравните рекламный пост в соцсетях: “Оцени наш новый дизайн сайта! Корма для животных!” и “Корм для животных, доставка по всей Украине”. Очевидно, что первый пост привлечет переходов и конверсий гораздо больше, чем второй. Потому что в данном случае вашей целевой аудиторией будет армия программистов, маркетологов, дизайнеров, владельцев похожего бизнеса и других специалистов, которые будут заинтересованы в оценке внешнего вида, работоспособности продукта в целом, чтобы позаимствовать или, наоборот, не совершать ошибок в своей работе.
14. Принимать решения при нехватке данных
Олесь Тимофеев, основатель GeniusMarketing:
Для теста нужна большая аудитория. По нашему опыту, хороший результат происходит примерно от 1 000 посещений. Не нужно делать вывод на 100 посетителях.
Артем Пилипец, SEO-оптимизатор компании SEO7:
Для планирования объемов тестирования очень рекомендую использовать калькуляторы.
15. Растягивать эксперимент во времени
Сравнивать эффективность двух страниц важно одновременно. Тестирование одной страницы в течение недели, а второй — в течение другой недели, может быть неэффективным. На результат могут повлиять изменение ситуации (например, колебание курса валют), сезонность товара, праздничные и выходные дни.
16. Задавать неправильные временные параметры для тестирования
Одна и та же страница может показывать разную эффективность в будние и праздничные дни, в рабочее и нерабочее время.
17. Пpaктиковать далекие от реальности условия тестирования
Можно посадить 50 человек за макбуки в офисе компании и оценивать результат, а можно показать реальную рекламу реальным пользователям в реальной для них обстановке и проверить, придут ли посетители из десктопа или мобильного устройства, будут дочитывать лендинг до конца, или сворачивать уже второй экран.
18. Неправильно интерпретировать данные
Увеличение конверсии в два раза может свидетельствовать о том, что оформили заказ не 500, а 1000 пользователей. Но в то же время это может означать, что просто оформили подписку на рассылку два человека, а не один.
19. Фокусироваться на микрорезультатах
То, что на рассылку подписались два человека, не означает, что вам обязательно нужно вносить изменения на сайте.
20. Тестировать «как по книжке» (по чужому опыту)
Александр Матола, руководитель WEB-отдела компании StarMarketing:
В рамках курса по интернет-маркетингу читаю лекции в академии ШАГ, где большая часть аудитории — владельцы бизнеса. Там в том числе рассказываю об А/В-тестировании, показываю студентам примеры тестов и возможные результаты, которых можно достичь с помощью этого инструмента. И есть такое наблюдение: если я показываю кейс, как изменение цвета кнопки с зеленого на красный повысило конверсию, многие решают, что красный цвет обладает волшебными свойствами, и при выполнении домашнего задания часто указывают, что им необходимо на своем сайте изменить цвет кнопок на красный.
21. Не учитывать особенности бизнес-процессов компании
Александр Матола, руководитель WEB-отдела компании StarMarketing:
Как бы мы ни тестировали корзину, что бы мы с ней ни делали, на сайте в тематике межкомнатных дверей она принесет значительно меньше продаж, чем заказ по телефону. Без изучения бизнес-процессов компании и потребностей клиента прийти к подобным выводам бывает сложно.
22. Не учитывать разные типы устройств
Поведение покупателя, который принимает решение, сидя за компьютером или с мобильного телефона, может сильно отличаться. Маководы и пользователи Android могут вести себя по-разному.
23. Игнорировать длительность принятия решения клиентом
При продаже сложных решений и дорогих товаров между первым знакомством с продуктом и оформлением заявки на покупку может пройти несколько месяцев. В таких случаях важно проанализировать и первоначальный результат, и результат за среднестатистический период, который нужен для совершения покупки.
24. Не анализировать несостоявшиеся конверсии
Александр Матола, руководитель WEB-отдела компании StarMarketing:
С современными системами аналитики мы можем посмотреть, как себя вели пользователи, которые не дошли до покупки. Такой анализ может дать нам много полезной информации, которая поможет добиться более высоких результатов, чем слепое принятие решений на основе одной только статистики по конверсиям.
25. Не учитывать источники трафика: SEO, контекстная реклама, гостевые посты
26. Проводить А/В-тестирование в течение только одного цикла
Андрей Осипов, сертифицированный тренер Google, пpaктикующий веб-аналитик, автор блога «Веб-аналитика и результат»:
В идеале нужно проводить текст минимум два цикла «принятия решения о покупке». Если решение о покупке принимается месяц, то тестировать нужно два месяца.
27. Тестировать без предварительной аналитики
Олесь Тимофеев, основатель GeniusMarketing:
Перед любым тестом нужно исследовать поведение человека на сайте/страницах или том, что тестируют. Бывает так, что начинают менять те элементы, которые хорошо работают.
28. Срывать план и сроки запланированного теста после получения первых негативных результатов
Маргарита Успенская, аккаунт-директор в K50 Russia:
Перед проведением тестирования стоит учесть множество факторов: как минимум разницу в коэффициенте конверсии в разные дни недели и разное время суток, сезонность, а также длительность цикла покупки на сайте. Если эти факторы при анализе первых результатов игнорировать, можно сделать неверные выводы. Поэтому эксперимент нужно доводить до конца, перед началом строго запланировав сроки, которые должны быть основаны на аналитике.
29. Зацикливаться на повышении конверсии
Константин Новофастовский, руководитель сервиса аудита рекламного трафика Сlickfrog.ru:
Стоит сделать акцент на том, что заявка с сайта — еще не продажа, и некоторые посадочные/лендинги могут приносить большое количество заявок, которые в продажи не превращаются из-за неточной информации на странице. Следовательно, желательно ориентироваться на закрытые продажи, а не только на заявки. Также часть заявок/продаж уходит в телефонный номер на сайте. Отсутствие колл-трекинга сильно влияет на точность выводов.
Сергeй Волык, руководитель отдела контекстной рекламы SeoProfy:
Не проводите одновременные тесты на сайте и с объявлениями, если нет возможности точно получить результаты. При тестировании объявлений нужно обращать внимание на максимально приближенные к конверсии (продаже) показатели. То, что объявление более кликабельное, не значит, что оно эффективнее. Если у вас есть данные о количестве продаж, нужно смотреть на них, а не на количество кликов или CTR объявления. Объявление А может быть лидером по CTR и получать больше заявок. Но с объявления Б будет больше реальных продаж.
Роман Рыбальченко, основатель агентства Roman.ru:
Есть вероятность, что, например, увеличив клики по кнопке «Добавить в корзину», не увеличится общая конверсия, то есть больше людей просто будут переходить в корзину, но не будут покупать, потому что их будут как-то подталкивать. Я видел такие страницы, где любой клик приводит пользователя сразу к регистрации. Это обычно повышает процент регистрации, но финальная конверсия от этого не растет (если слишком рано перенаправить человека на следующий шаг, не дав ему специальных, дополнительных ожиданий).
В идеале хочется всегда тестировать по финальной метрике типа «выполненный заказ», но для этого нужно очень много трафика и очень много времени. Поэтому здесь два варианта: либо выбирается какая-то промежуточная метрика (например, «оформленный заказ»), либо тесты разбиваются на шаги (снизить показатель отказа, увеличить переходы на карточки товара, увеличить добавление в корзину). При этом нужно постоянно контролировать, чтобы рост конверсии на промежуточных шагах не приводил к падению на финальном шаге или ухудшению во всей воронке.
30. Тестировать первую попавшуюся идею
Сергeй Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:
Суть ошибки в том, что тестировать надо гипотезы, а не идеи. Разница в том, что гипотеза содержит точное обоснование, почему целевой параметр изменится. Часто «родителем» таких качественных гипотез является исследование целевой аудитории: опросы, юзер-тесты, интервью. А после нескольких тестов идей руководство и вся комaнда полностью разочаровывается в оптимизации и сплит-тестах.
31. Допускать ошибки при сборе данных
Сергeй Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:
Вообще, это базовая ошибка для всех аналитиков. На какой-то странице не сpaбатывает код аналитики. Где-то событие передаётся через раз. Бывает, что сделают дополнительную функцию «заказ в один клик», но эти заказы не отслеживаются в ecommerce.
32. Не настраивать аналитику перед сплит-тестированием
Евгений Шевченко, основатель агентства интернет-рекламы UaMaster:
Не забывайте интегрировать тестовые данные с Google ***ytics. На каждую тестируемую страницу должна быть настроена отдельная цель. Это поможет потом сделать анализ по сегментам.
33. Не согласовывать пересечения аудиторий
Александра Бурлакова, PPC Team Lead в агентстве performance-маркетинга Netpeak:
Пример такой ошибки — тестировать баннеры для новой аудитории без исключения показов для лояльной аудитории. Чтобы получить репрезентативные данные, аудитория должна быть без примесей.
34. Тестировать CTR при оптимизации сниппетов
По мнению Артема Пилипца, SEO-специалиста компании SEO7, это также серьезная ошибка.
35. Использовать неправильные инструменты
Роман Рыбальченко, основатель агентства Roman.ru:
Часть инструментов не проходят А/А тестирование. А/А тестирование — это когда ничего не поменялось, мы просто проверяем, корректно ли инструмент распределяет трафик и считает. У нас был пример с Visual Website Optimizer, когда он показывал, что с вероятностью в 85% тестовая версия страницы превосходит на 20% саму себя. То есть такую же версию страницы. Для проведения тестирования мы используем Google Content Experiments и ждем доступа к Beta, чтобы использовать Google Optimizer. Ребята, которые использовали Optimizer и другие инструменты, например, Visual Website Optimizer, тоже говорили, что они часто не проходят А/А-тестирование.
Как правильно создавать UTM-метки О таких главных ошибках при А/В-тестировании мы узнали, спросив экспертов. Это уже второй случай, когда мы простой, казалось бы, вопрос разложили по полочкам. Напомню, что подобный опыт у нас был с темой про
Мнение авторов гостевого поста может не совпадать с позицией редакции и специалистов агентства Netpeak.
Этот текст обновлен. Первая версия вышла 04.01.2017.Комментарии:
Чтобы увеличить продажи и улучшить их эффективность в новых условиях необходимо применять «социальные доказательства»....
29 05 2023 4:55:54
Мы собрали и проанализировали ответы 270 владельцев и маркетологов...
28 05 2023 17:21:28
Сет по контекстной рекламе в тематике «разработка программного обеспечения»: снижение стоимости клика на 89%....
27 05 2023 22:22:32
Проверьте свою логику, находчивость и креативность...
26 05 2023 1:48:35
В Казнете о маркетплейсе подрядчиков Naimi.kzприложении говорят все: от студентов до президента....
25 05 2023 0:40:17
Техника безопасности по безукоризненным рекламным кампаниям...
24 05 2023 8:40:17
Как составить список, работа с которым займет меньше времени, чем обычно. На примере обработки запросов в ювелирной тематике....
23 05 2023 23:47:20
Какой эффективный способ использовать для проверки бизнес-возможностей новых проектов ecommerce?...
22 05 2023 2:36:26
В течение месяца нам удалось наладить рассылку с новой платформы....
21 05 2023 0:36:37
Рассказываем о том, что такое Песочница, как сюда писать и получать больше аудитории для своего бизнеса...
20 05 2023 16:18:32
Как создать Apple ID и настроить поисковую рекламу в App Store...
19 05 2023 1:29:52
За 10 месяцев сотрудничества увеличили небрендовый на 99%, а общий трафик — в два раза. Рассказываем не только о результатах, но и подходе создания реалистичного прогноза SEO-продвижения сайта. Читать дальше!...
18 05 2023 18:29:53
Опции скриншутера, которые упростят вам жизнь....
17 05 2023 5:55:35
Мы хотим купить комaнду с компетенциями в сфере медиабаинга, чтобы объединить силы для развития онлайн-рынка...
16 05 2023 4:26:37
Как расширение от Netpeak может облегчить работу над важными SEO-задачами....
15 05 2023 5:49:52
Готовые коробочные решения — отличная идея, которая решает много задач, а ещё это относительно недорого. Но такой вариант подойдет далеко не всем. Узнать больше!...
14 05 2023 9:57:55
Узнаем расширенную информацию о посещениях сайта с помощью языка R — кейс Netpeak...
13 05 2023 1:33:31
Как SQL-запросы сайтов и Google Sheets освобождают SEO-специалиста от рутины...
12 05 2023 7:23:30
Все успешные люди немного сомневаются в своих достижениях и рефлексируют о большом количестве ошибок. Не ок, когда сомнения затягивают и разрушают самооценку, создают постоянное напряжение. Давайте разбираться с синдромом самозванца....
11 05 2023 9:57:51
Чтобы прекратить споры о том, с какого конца разбивать яйцо, я собрал аргументы за союз SEO и PPC...
10 05 2023 11:49:55
Повышение эффективности продаж через звонки с помощью call tracking....
09 05 2023 0:25:43
Не все события удобно отслеживать в Google ***ytics, иногда удобнее сделать связку с таблицами Google. А поможет в этом Google Tag Manager...
08 05 2023 21:23:12
Facebook + Instagram, Business Manager + основная бизнес-страница на Facebook, BM + рекламный аккаунт и так далее....
07 05 2023 15:40:24
Создатели алгоритмов соцсетей используют слабые места человеческого мозга. Случайно или намеренно, но они это делают. Как нам с этим жить?...
06 05 2023 17:19:37
Лучшие маркетинговые и бизнес-фишки от Давида Брауна (Weblium), Владислава Флакса (OWOX), Александра Галкина (Competera), Люси Литерадо (Reply.io), Вадима Нехая (Depositphotos), Валерия Грабко (PromoRepublic), Игоря Дебатура (Uploadcare), Руслана Савчишин...
05 05 2023 4:30:20
Работ по оптимизации всегда много, а выделить приоритеты при продвижении онлайн — непросто. Что стоит проверять и исправлять в первую очередь?...
04 05 2023 19:37:40
Регулярный мониторинг позиций необходим для отслеживания истории их изменений после внедрения новых ключевых слов и других работ над сайтом...
03 05 2023 21:17:45
В третьем квартале Netpeak внедрил множество крутых улучшений. Мы подробно расскажем о семи самых интересных новостях....
02 05 2023 10:32:16
Supplemental results, они же «сопли» или дополнительные результаты — страницы и документы сайта, которые не находятся в основном индексе Google...
01 05 2023 18:53:35
Нужно организовать конференцию с участием многих пользователей? Этот пост будет полезен, если до важного ивента есть хотя бы несколько дней в запасе....
30 04 2023 3:48:27
Интересные детали интерьера в офисах украинских IT-компаний: от массажного стола и тенниса до звукозаписывающей студии и корпоративной велопарковки. Читать дальше!...
29 04 2023 23:19:48
Подробно рассказываем, как создать, внедрить и проверить XML-карту сайта....
28 04 2023 6:11:14
Как быстро создавать и запускать объявления, а также массово вносить правки в кампании с помощью файла Excel...
27 04 2023 3:25:39
Как подготовиться и сделать из интервью полноценную историю, которая будет интересна аудитории...
26 04 2023 4:26:34
Определение сайта нового типа. Захочет ли бизнес интернета перевести свои веб-приложения на более прогрессивные рельсы?...
25 04 2023 7:34:35
Cтоимость просмотра в Google Ads дешевле как минимум в два раза по сравнению со Smart TV...
24 04 2023 22:32:59
Email-маркетинг — хороший полицейский, спам — плохой....
23 04 2023 3:23:25
Десять вопросов, которые чаще всего задают люди, столкнувшиеся с необходимостью создания landing page....
22 04 2023 16:44:27
Как отключить блокировку API запрещенных сервисов в скриптах R и продолжать использовать пакеты ryandexdirect, rvkstat, rmytarget, Google Sheets и BigQuery...
21 04 2023 13:18:19
Страховка, медицина, корпоративы, английский и оплата спортзала — знакомые плюшки IT-компаний. В этом материале читайте про редкие и необычные бонусы, которые предоставляются в некоторых IT-компаниях Украины....
20 04 2023 20:27:14
Самопомощь по тревоге во время карантина и экономического кризиса...
19 04 2023 20:42:36
Быстро разогнать рекламные кампании и получить рост конверсий при повышении CPA до 100%. Как этого добиться — читайте в новом кейсе....
18 04 2023 8:20:54
Контент-революция: искусственный интеллект для уникальных текстов с достоверной информацией и контент-платформы на блокчейне для сохранения авторского права. Читайте больше в статье!...
17 04 2023 11:22:34
Как избежать скликивания, случайных переходов и «пустых» установок при рекламе мобильного приложения...
16 04 2023 23:20:14
Разбираемся, как определить самые эффективные источники лидов....
15 04 2023 4:55:13
Данные по 22,4 миллионам кликов в 46 тематиках и 392 населенных пунктах страны — собрана статистика исключительно по проектам агентства Netpeak. Узнать больше!...
14 04 2023 5:41:14
В основе продвижения любых продуктов фигурирует ЦА и её потребности. Рассказываем, как с ней работать в разрезе Инстаграм и Facebook так, чтобы РК давала максимальный профит...
13 04 2023 18:27:14
Мы предложили фанам бренда прокатиться на автомобиле SEAT Altea Freetrack!...
12 04 2023 18:32:32
Идея ORM состоит в том, чтобы вызывать положительное мнение о вашей деятельности, работая с отзывами или комментариями, в результате чего больше людей будут покупать ваши товары или услуги. Узнать больше!...
11 04 2023 4:31:23
Как мы с помощью Call Tracking узнали настоящую рентабельность контекстной рекламы для магазина мебели...
10 04 2023 16:23:49
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::