Как провести A/B-тест сайта: инструменты и популярные гипотезы > NetPeak - Независимость и осознанность
NetPeak Biz Tech    


Как провести A/B-тест сайта: инструменты и популярные гипотезы

Как провести A/B-тест сайта: инструменты и популярные гипотезы

< >

Гипотеза — то, что отличает A/B-тестирование от проверки на «авось» (давайте сделаем так, если не полетит — сделаем этак). Я разложил весь процесс по полочкам и выделил 22 гипотезы, которые чаще всего влияют на получаемую прибыль. Конечно, постарался объяснить все на доступном языке.

Что отличает A/B-тестирование от песен группы «Ленинград»?

  1. Главный принцип A/B-тестирования (сплит-теста) — случайная демонстрация посетителям сайта различных вариантов целевой страницы. Допустим, страница А — оригинальная версия, страница B — тестовый вариант, отличный от страницы А по одному параметру. Пользователь, которому показывается страница B, никогда не увидит вариант A, разве что зайдет на сайт с другого устройства. Когда количество показов достигает заранее заданной отметки (например, 10 000), полученные показатели конверсии двух вариантов страниц сравнивают и выбирают более эффективный.
  2. В A/B-тестировании обязательно присутствует гипотеза — утверждение или догадка, которую мы проверяем опытным путем. Проводить тестирование без гипотезы, просто ради любопытства — потеря времени, так как даже при получении положительного результата никаких выводов о целевой аудитории сделать не получится.
  3. В один отрезок времени необходимо тестировать только одну гипотезу. В противном случае сложно будет определить, какое именно изменение на странице повлияло на результаты.

Готовимся к A/B-тестированию

  1. Перед началом теста необходимо определить основной параметр отслеживания. Как правило, отслеживаются:
  • доход;
  • транзакции;
  • цели;
  • длительность сеанса;
  • отказы;
  • просмотры страниц.
  1. Как работать с Google Trends — подробное руководство для новичков Рассчитываем текущий тренд (сезонность). Не стоит запускать A/B тестирование во время высокого и низкого сезона, это может значительно исказить результаты теста. Подробнее о сезонности и спросе читайте в нашем материале о Google Trends.

  1. Последний подготовительный этап — определение размера выборки. Это позволит точно рассчитать количество пользователей, которым необходимо посетить сайт для того, чтобы определить разницу в основном измеряемом показателе. Можно воспользоваться специальным калькулятором — Driverback. Например, текущая конверсия сайта составляет 4%. Следовательно, минимальное количество пользователей, при котором можно будет определить 25-процентную разницу в конверсии — 6238.

Как проводить A/B-тестирование в Google ***ytics?

  1. Заходим в Google ***ytics, проходим по цепочке «Поведение» — «Эксперименты» — «Создать эксперимент».

  1. Указываем название эксперимента, цель, процент участвующего в эксперименте трафика.

  1. Отключаем равномерное распределение трафика между всеми вариантами, указываем в поле «минимальное время» две недели и порог достоверности — 95%. Для большинства тестов хватит этих значений.

14 дней — минимальный срок A/B-тестирования. Но продолжать тест следует до тех пор, пока не наберется необходимый размер выборки. Даже если вам кажется, что результат очевиден.

  1. Указываем исходную и тестовую страницу.

Откуда брать гипотезы?

Первый вариант — из головы, второй вариант — из проблемной ситуации. Допустим, мало переходов по кнопке заказа, или пользователи не листают страницу до конца. Гипотеза в первом случае может звучать так: «если разместить кнопку в другом месте, конверсия увеличится».

Очевидный факт: вопрос не в самой формулировке гипотез, а в том, как найти проблему или идею, которая станет фундаментом для гипотезы.

Варианты:

  1. Анализ ключевых показателей сайта в системах аналитики. Находим страницы с малой длительностью сеансов, большим процентом отказов, малым коэффициентом транзакций.
  2. Анализ карты кликов, карты скроллинга, вебвизора.
  3. Опросы пользователей и задаваемые ими вопросы в онлайн-консультантах и письмах в службу поддержки.
  4. Анализ «фишек» конкурентов.

На что смотреть во время анализа? Тестировать, как говорится, можно все, но зачем? Нет смысла тратить время на изменение текста, который никто не читает, или на внешний вид футера, до которого доскроллят только 10% пользователей. Поэтому чаще всего тестируют:

  1. CTA-кнопки (текст, внешний вид, место на странице).
  2. Заголовки и описания товаров.
  3. Формы (внешний вид, количество полей).
  4. Изображения, видео.
  5. Макет и дизайн страницы.
  6. Цену товара.

Какие гипотезы стоит тестировать?

Гипотезы, основанные на анализе тепловой карты кликов

Как добавить сайт в Google ***ytics, Яндекс.Метрику и LiveInternet — пошаговое руководство Карта кликов — инструмент для измерения и отображения статистики по кликам на вашем сайте. Вы найдете этот инструмент, пройдя по пути: «Яндекс.Метрика» — «Карты» — «Карта кликов» (читайте пошаговое руководство «Как добавить сайт в Google ***ytics, Яндекс.Метрику и LiveInternet»).

Карта отображает клики по всем элементам страницы (в том числе по тем, которые не являются ссылками). Клики на карте подсвечиваются разными цветами, в зависимости от их частоты. Частым кликам соответствуют теплые цвета, редким — холодные.

Основные гипотезы:

  1. Если пользователи кликают на какой-то элемент сайта и не получают ожидаемого результата — его необходимо изменить в соответствии с их ожиданиями. Например, можно найти изображения, кликая по которым пользователь хочет перейти на другую страницу или увеличить их. Можно сделать данные изображения ссылками и уменьшить показатель отказов.
  2. Если пользователи кликают по каким-либо элементам сайта — их нужно улучшить.
  3. Элементы, на которые приходится большее число кликов, пользуются популярностью у пользователей и, следовательно, их можно перенести выше и левее.

Гипотезы, основанные на карте скроллинга

Карта скроллинга поможет проанализировать то, как распределяется внимание пользователей на разных областях страницы. Находится карта по адресу: «Яндекс Метрика» — «Карты» — «Карта скроллинга». Также она показывает среднее время и количество просмотров определенного участка страницы.

Если карта скроллинга показывает, что пользователи не прокручивают страницу до конца, то имеет смысл:

  1. Переместить важные элементы (кнопки или формы) в начало страницы.
  2. Уменьшить длину страницы.

Гипотезы о кнопках

Проблема — недостаточно кликов по кнопке на странице. Что делать?

1. Изменить текст на кнопке.

2. Изменить место размещения.

3. Увеличить размер кнопки.

4. Изменить цвет кнопки.

5. Изменить цвет текста.

6. Добавить иконку рядом с текстом кнопки.

7. Добавить hover-эффект при наведении на кнопку.

8. Добавить указатель на кнопку.

9. Увеличить свободное прострaнcтво вокруг кнопки.

Все эти действия направлены на то, чтобы выделить кнопку на фоне остального содержимого страницы. При этом необходимо следить, чтобы она не выбивалась из общей цветовой гаммы сайта. Для проверки качества выделения можно использовать букмарклет «Чёрно-белый» (третий снизу в списке).

Посадочные страницы: инструкция по повышению эффективности Больше подробностей про дизайн сайта читайте в нашей статье о посадочных страницах.

С его помощью легко определить, какие элементы заметны сразу же, а какие — нет. Просто добавьте предыдущую ссылку в панель закладок и нажмите ее, открыв нужную страницу.

Гипотезы о заголовках

Если заголовок не привлекает внимание, нужно:

  1. Переделать заголовок — оптимизировать структуру текста. Отличные шаблоны заголовков на русском языке перечислил Devaka, а формулу идеального заголовка на английском ищите здесь.
  2. Изменить длину заголовка. Сегодня, несмотря на расширение колонки результатов поиска Google, специалисты Moz рекомендуют ограничиваться 60 символами.

Гипотезы о изображениях

  1. Большие и качественные изображения позволят увеличить количество переходов на страницы карточек товаров из категорий.
  2. Лучше использовать собственные фотографии, а не стоковые. Также желательно, чтобы люди на фото были примерно одного возраста с целевой аудиторией.
  3. Изображения без лишних деталей на светлом фоне позволяют сфокусировать взгляд пользователя непосредственно на товаре.

Гипотезы о формах

  1. Чем меньше полей в форме, тем больший процент пользователей будет их заполнять. Возможны исключения в специфических тематиках.
  2. Если форма содержит большое количество полей и ни одно из них нельзя удалить — стоит разбить заполнение данной формы на насколько этапов.
  3. Удаление поля с промокодом (или уменьшение его размеров) поможет увеличить доход.

Кстати, в агентстве Netpeak есть собственный чек-лист по оптимизации форм — читайте и используйте.

Как проверить результаты?

После окончания теста необходимо проверить значимость полученных результатов. Если результат статистически не значим, изменения не оказывают влияния на оцениваемый показатель.

Если результаты теста оказались удачными:

  1. Применяем данные изменения на сайте.
  2. Если есть возможность внедрить аналогичные изменения на других страницах сайта, создаем новый эксперимент и тестируем эти гипотезы.
  3. Переходим к следующему A/B тесту.

Если результаты теста оказались неудачными:

  1. Анализируем данные, использованные при составлении гипотезы с учетом полученного опыта и пытаемся улучшить гипотезу.
  2. Формируем новую гипотезу.
  3. Создаем новый эксперимент.

Выводы

  1. Главное отличие A/B-тестирования сайта от проверки на авось — наличие гипотезы.
  2. Перед стартом нужно определить основной параметр отслеживания, рассчитать текущую сезонность и размер выборки.
  3. Чтобы грамотно сформулировать гипотезу, стоит провести анализ ключевых показателей сайта, карты кликов и скроллинга, вебвизора, «фишек» конкурентов или сделать опрос пользователей.
  4. Как должна выглядеть форма онлайн-заказа — подробный чек-лист В первую очередь стоит тестировать гипотезы, основанные на анализе тепловой карты кликов, на карте скроллинга, гипотезы о кнопках, заголовках, изображениях и формах. Про формы мы подробно рассказывали в посте с подробным чек-листом по онлайн-заказам.

  5. После теста нужно определить статистическую значимость результата и внедрять лучший вариант страницы. Или переходить к новому A/B-тесту :)



Комментарии:

Как арбитражнику получить правильную статистику конверсий из контекстной рекламы

Как арбитражнику получить правильную статистику конверсий из контекстной рекламы Решение вопроса о получении корректной информации о конверсиях — вполне посильная задача...

09 02 2025 8:38:29

18 способов собрать базу подписчиков для email-рассылок

18 способов собрать базу подписчиков для email-рассылок Будьте полезны, будьте удобны и будьте везде. Далее подробно — 18 способов собрать базу для email-рассылок. О пользе бесплатного, привлечении внимания, возможных активностях для аудитории, социальных доказательствах, предсказуемости, работе с Facebook и многом другом...

08 02 2025 0:28:19

Первый рабочий день в Netpeak

Первый рабочий день в Netpeak Что ждет новичка в его первый день работы в Netpeak — подарки, первые задачи и традиции компании. Все, что нужно знать, чтобы меньше волноваться и влиться в коллектив. Узнать больше!...

07 02 2025 15:16:34

Главред блога Netpeak про управление задачами и собой

Главред блога Netpeak про управление задачами и собой Неля Серебро рассказывает про внутреннюю кухню блога Netpeak...

06 02 2025 8:57:27

Кредит на рекламу для бизнеса, спецпроекты, песочница контента и две новые конференции

Кредит на рекламу для бизнеса, спецпроекты, песочница контента и две новые конференции А ещё у нас появилась новая стратегия SEO-продвижения для ниши доставки еды и продуктов....

05 02 2025 3:58:18

Азы типографики — нескучно о шрифтах

Азы типографики — нескучно о шрифтах Нужно подобрать красивый шрифт? Готический или народный? Стандартный или фирменный? Как выбрать — рассказывает профессионал...

04 02 2025 1:14:40

Малкольм Гладуэлл о гениях и аутсайдерах

Малкольм Гладуэлл о гениях и аутсайдерах Миллионы решили купить книгу гении и аутсайдеры на Amazon: удивительное исследование канадского журналиста...

03 02 2025 9:22:45

Семь улучшений Netpeak: итоги года и цели на 2017

Netpeak подводит итоги 2016 года и делится планами на будущее....

02 02 2025 7:46:46

Universal App Campaign 2.0 в Google Рекламе — как выжать максимум пользы

Universal App Campaign 2.0 в Google Рекламе — как выжать максимум пользы Как сделать рекламу в Universal App Campaign 2.0 максимально эффективной...

01 02 2025 10:44:52

Как увеличить трафик блога на 1136% и привлечь тысячи новых пользователей — кейс блога Ahrefs

Как увеличить трафик блога на 1136% и привлечь тысячи новых пользователей — кейс блога Ahrefs Перевод колонки директора по маркетингу Ahrefs: об органическом поисковом трафике, высокопотенциальных темах для бизнеса, уникальности и качестве контента, его продвижении. С реальными рекомендациями и примерами. Узнайте больше!...

31 01 2025 13:26:47

Как выбрать трекер для мобильного приложения — часть вторая

Как выбрать трекер для мобильного приложения — часть вторая Трекеры теперь на любой вкус: за лидерство в сфере аналитики и трекинга в мире мобильных приложений все еще конкурируют более десяти различных систем. Как не растеряться в обилии инструментов?...

30 01 2025 9:41:26

Что такое вес страниц и на что он влияет

Что такое вес страниц и на что он влияет Вес страниц — один из факторов ранжирования в поисковых системах Google и Яндекс....

29 01 2025 6:42:50

Как провести тендер и выбрать подрядчика в сфере интернет-маркетинга — чек-лист

Как провести тендер и выбрать подрядчика в сфере интернет-маркетинга — чек-лист Один из лучших способов выбрать подрядчика — провести брифинг для компаний. При этом важно предоставить максимум информации: откройте доступ к реальным данным по проекту. Узнать больше!...

28 01 2025 21:21:52

Как изменить местоположение в поиске или посмотреть геовыдачу другого региона

Как изменить геовыдачу с помощью настроек Google, Яндекс или специальных дополнений...

27 01 2025 2:24:39

Аналитика покупок американцев и украинцев перед праздниками

Аналитика покупок американцев и украинцев перед праздниками Пост о том, как и когда тратит деньги американский и украинский покупатель...

26 01 2025 21:51:18

Почему в США зарплаты СЕО приводят к дополнительным налогам?

Почему в США зарплаты СЕО приводят к дополнительным налогам? Как борьба с зарплатным неравенством становится трендом...

25 01 2025 4:29:36

Как мы увеличили ROMI на 433% в рентабельных рекламных кампаниях: кейс интернет-магазина ФК «Динамо» (Киев)

Как мы увеличили ROMI на 433% в рентабельных рекламных кампаниях: кейс интернет-магазина ФК «Динамо» (Киев) Фубольный клуб. Как увеличить ROMI (возврат маркетинговых инвестиций) в рекламных кампаниях — рассказываем на примере киевского интернет-магазина «Динамо»...

24 01 2025 17:45:41

Как защитить аккаунт в Instagram от взлома

Безопасность Instagram — что делать, если заметили попытку взломщиков украсть аккаунт, и как вернуть аккаунт после взлома....

23 01 2025 21:38:57

Создаем спрос на бренд с помощью видеорекламы — кейс в тематике «металлопластиковые окна»

Создаем спрос на бренд с помощью видеорекламы — кейс в тематике «металлопластиковые окна» Как продвинуть бренд в конкурентной тематике? Читаем новый кейс по видеорекламе....

22 01 2025 2:10:46

Как покорить Бразилию — советы Depositphotos

Как покорить Бразилию — советы Depositphotos Идем в Бразилию: опыт Depositphotos + полезные факты....

21 01 2025 7:12:34

Стили управления по Ицхаку Адизесу

Стили управления по Ицхаку Адизесу Менеджмент и лидерство: 4 разных типа руководства организацией и нескучные иллюстрации в стиле South park....

20 01 2025 12:11:30

Как нарисовать скелет сайта

Как нарисовать скелет сайта О создании структуры сайта на основе семантического ядра, работе с Xmind и таблицами онлайн...

19 01 2025 11:49:58

Какой сервис автоматического продвижения выбрать

Какой сервис автоматического продвижения выбрать Обзор четырех самых популярных сервисов для автоматического продвижения сайтов...

18 01 2025 11:18:38

Топ CRM-систем для бизнеса в США

Топ CRM-систем для бизнеса в США Исследование Ringostat о самых востребованных CRM-системах в США...

17 01 2025 7:24:54

Английский язык — два упражнения для пополнения словарного запаса и развития разговорной речи

Английский язык — два упражнения для пополнения словарного запаса и развития разговорной речи Улучшайте свой уровень английского. Упражнения для В1 — Intermediate («Средний+»). Узнать больше!...

16 01 2025 3:43:12

Как работать с Excel в рекламной кампании — дайджест публикаций Алексея Селезнева

Дайджест-путеводитель по серии постов о работе с редакторами электронных таблиц для PPC-специалистов....

15 01 2025 10:41:38

Путь от обычного сайта до интернет-магазина — история Сергея Бабенышева и бизнеса Tricolor

Путь от обычного сайта до интернет-магазина — история Сергея Бабенышева и бизнеса Tricolor C какими сложностями пришлось столкнуться при создании интернет-магазина....

14 01 2025 21:11:40

Репутация в сети. Зачем она нужна молодой компании, и Как ее построить

Репутация в сети. Зачем она нужна молодой компании, и Как ее построить Узнать, как управлять репутацией в сети для молодой компании, можно в статье Netpeak Journal: что такое репутация, как формируется образ бренда и что нужно делать для получения положительных отзывов....

13 01 2025 0:31:53

Как работает баннерная реклама — объясняем на примере кейса

Как работает баннерная реклама — объясняем на примере кейса О феномене Баадера-Майнхофа — как на самом деле работают системы баннерной рекламы в интернете...

12 01 2025 15:42:44

Отделяем мух от котлет в контент-маркетинге

Отделяем мух от котлет в контент-маркетинге Пpaктическая информация о том, что и куда нужно постить....

11 01 2025 23:26:31

Лучшие программы для исправления орфографических ошибок

Лучшие программы для исправления орфографических ошибок Исправление ошибок в тексте возможно с помощью онлайн-инструментов и стационарных программ...

10 01 2025 13:18:20

Агентство Netpeak вышло на рынок Болгарии

Агентство Netpeak вышло на рынок Болгарии Агентство интернет-маркетинга Netpeak вышла на новые рекламные горизонты и приобрело 51% доли болгарской компании Optimization.bg....

09 01 2025 8:29:53

Как грамотно построить структуру рекламного аккаунта Facebook

Как грамотно построить структуру рекламного аккаунта Facebook Как купить дешевый трафик из Facebook? Образец работы со структурой рекламного аккаунта...

08 01 2025 15:11:40

Более двух месяцев не могли запустить рекламу, а потом снизили стоимость заказа на 50% — игровой кейс

Более двух месяцев не могли запустить рекламу, а потом снизили стоимость заказа на 50% — игровой кейс Также повысили количество транзакций на 191% (по сравнению с аналогичным периодом прошлого года)....

07 01 2025 22:58:14

Настраиваем эффективную рекламу в контекстно-медийной сети Google — шесть полезных советов

Настраиваем эффективную рекламу в контекстно-медийной сети Google — шесть полезных советов кмс Google: как достичь поставленной цели с помощью рекламы? Делимся советам по настройке КМС-кампаний....

06 01 2025 12:31:32

7 возможностей Serpstat, о которых вы наверняка не знали

7 возможностей Serpstat, о которых вы наверняка не знали Посмотреть релевантность сайта для победы над конкурентами. Как использовать Serpstat....

05 01 2025 8:36:35

Особенности продвижения проектов B2B и B2C

Особенности продвижения проектов B2B и B2C Сравнительная хаpaктеристика B2B и B2C. Как строятся отношения с клиентом, какой объем рынка, особенности сервиса, на чем делать акцент при создании контента. Подробнее....

04 01 2025 8:49:39

Инструкция по работе с ***ytics Intelligence: как найти общий язык с Google ***ytics

Инструкция по работе с ***ytics Intelligence: как найти общий язык с Google ***ytics Не можете найти нужны отчёт в Google ***ytics? Или хотите ускорить поиск нужных данных и отчётов. В помощь ⏩ Обзор к Google ***ytics Intelligence....

03 01 2025 0:44:54

Сплит-тест — скоростное шоссе к высокой конверсии

Сплит-тест — скоростное шоссе к высокой конверсии 5 кейсов отлично иллюстрируют правила юзабилити и находки веб-аналитиков....

02 01 2025 13:59:40

Как исключить площадки в Google Рекламе и сэкономить деньги — реклама мобильных приложений

Как исключить площадки в Google Рекламе и сэкономить деньги — реклама мобильных приложений Как избежать скликивания, случайных переходов и «пустых» установок при рекламе мобильного приложения...

01 01 2025 6:16:33

Анализ контента в социальных сетях: цифры, цифры и еще раз цифры

Анализ контента в социальных сетях: цифры, цифры и еще раз цифры Что нам дают знания о статистике контента в социальных сетях и какими сервисами анализировать данные...

31 12 2024 17:10:39

5 главных трендов в социальных сетях в 2022 году

5 главных трендов в социальных сетях в 2022 году Хотите раскрутить свои соцсети в 2022 году? Тогда уже сейчас нужно задуматься, что будете публиковать. В статье расскажем, какой контент будет в тренде в будущем году....

30 12 2024 18:54:58

Девять фишек для онлайн-бизнеса: итоги круглого стола Netpeak Friends Day в Казахстане

Девять фишек для онлайн-бизнеса: итоги круглого стола Netpeak Friends Day в Казахстане Девять свежих советов для продвижения интернет-магазинов...

29 12 2024 2:42:53

Как массово удалить в интернет-магазине страницы товаров, которые не приносят трафик

Как массово удалить в интернет-магазине страницы товаров, которые не приносят трафик Инструкция с применением языка R. Полезно веб-аналитикам, которые работают с крупными интернет-магазинами. Например, на сайте еженедельно появляется примерно 1000 новых наименований и такое же количество позиций переходит в статус «нет в наличии»....

28 12 2024 19:19:20

SMM-кейс в тематике «кухонная бытовая техника»

SMM-кейс в тематике «кухонная бытовая техника» Продвижение бытовой техники в социальных сетях: кейс с целями и задачами, механикой конкурса, выбором целевой аудитории, концепции и условий, а также итогами акции с цифрами по количеству постов, участников и ростом узнаваемости бренда...

27 12 2024 10:23:37

Как запустить рекламную кампанию Call-Only для мобильных устройств

Как запустить рекламную кампанию Call-Only для мобильных устройств Учим правильно платить за верхние строчки показов объявления: настройка быстрых звонков из поисковых объявлений «Только номер телефона» Google Ads...

26 12 2024 15:37:21

13 пpaктически применимых фишек для интернет-магазинов — круглый стол 8P 2017

Как создать популярный и удобный магазин в интернете, какой должна быть его раскрутка и многое другое, прозвучавшее на круглом столе 8P 2017...

25 12 2024 18:35:26

14 неочевидных и пpaктически применимых фишек — круглый стол 8P 2020

Лучшие фишки от спикеров конференции 8P 2020. В конце каждой конференции спикеры 8P собираются за круглым столом, чтобы поделиться пpaктически применимыми советами, которые можно внедрить в свой проект и сразу почувствовать отдачу...

24 12 2024 6:58:28

Всемогущая функция Query — подробное руководство

Как пользоваться одной из самых важных функций Google Таблиц — подробное руководство по Query...

23 12 2024 17:34:29

Аутсорсинг в Украине — интервью с Женей Розинским о способах развития IT-нации

Аутсорсинг в Украине — интервью с Женей Розинским о способах развития IT-нации Айти эксперт Женя Розинский о том, почему нацию айти развивают продуктовые бизнесы, а не outsourcing сервисы...

22 12 2024 10:26:30

Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::