Как провести A/B-тест сайта: инструменты и популярные гипотезы > NetPeak - Независимость и осознанность
NetPeak Biz Tech    


Как провести A/B-тест сайта: инструменты и популярные гипотезы

Как провести A/B-тест сайта: инструменты и популярные гипотезы

< >

Гипотеза — то, что отличает A/B-тестирование от проверки на «авось» (давайте сделаем так, если не полетит — сделаем этак). Я разложил весь процесс по полочкам и выделил 22 гипотезы, которые чаще всего влияют на получаемую прибыль. Конечно, постарался объяснить все на доступном языке.

Что отличает A/B-тестирование от песен группы «Ленинград»?

  1. Главный принцип A/B-тестирования (сплит-теста) — случайная демонстрация посетителям сайта различных вариантов целевой страницы. Допустим, страница А — оригинальная версия, страница B — тестовый вариант, отличный от страницы А по одному параметру. Пользователь, которому показывается страница B, никогда не увидит вариант A, разве что зайдет на сайт с другого устройства. Когда количество показов достигает заранее заданной отметки (например, 10 000), полученные показатели конверсии двух вариантов страниц сравнивают и выбирают более эффективный.
  2. В A/B-тестировании обязательно присутствует гипотеза — утверждение или догадка, которую мы проверяем опытным путем. Проводить тестирование без гипотезы, просто ради любопытства — потеря времени, так как даже при получении положительного результата никаких выводов о целевой аудитории сделать не получится.
  3. В один отрезок времени необходимо тестировать только одну гипотезу. В противном случае сложно будет определить, какое именно изменение на странице повлияло на результаты.

Готовимся к A/B-тестированию

  1. Перед началом теста необходимо определить основной параметр отслеживания. Как правило, отслеживаются:
  • доход;
  • транзакции;
  • цели;
  • длительность сеанса;
  • отказы;
  • просмотры страниц.
  1. Как работать с Google Trends — подробное руководство для новичков Рассчитываем текущий тренд (сезонность). Не стоит запускать A/B тестирование во время высокого и низкого сезона, это может значительно исказить результаты теста. Подробнее о сезонности и спросе читайте в нашем материале о Google Trends.

  1. Последний подготовительный этап — определение размера выборки. Это позволит точно рассчитать количество пользователей, которым необходимо посетить сайт для того, чтобы определить разницу в основном измеряемом показателе. Можно воспользоваться специальным калькулятором — Driverback. Например, текущая конверсия сайта составляет 4%. Следовательно, минимальное количество пользователей, при котором можно будет определить 25-процентную разницу в конверсии — 6238.

Как проводить A/B-тестирование в Google ***ytics?

  1. Заходим в Google ***ytics, проходим по цепочке «Поведение» — «Эксперименты» — «Создать эксперимент».

  1. Указываем название эксперимента, цель, процент участвующего в эксперименте трафика.

  1. Отключаем равномерное распределение трафика между всеми вариантами, указываем в поле «минимальное время» две недели и порог достоверности — 95%. Для большинства тестов хватит этих значений.

14 дней — минимальный срок A/B-тестирования. Но продолжать тест следует до тех пор, пока не наберется необходимый размер выборки. Даже если вам кажется, что результат очевиден.

  1. Указываем исходную и тестовую страницу.

Откуда брать гипотезы?

Первый вариант — из головы, второй вариант — из проблемной ситуации. Допустим, мало переходов по кнопке заказа, или пользователи не листают страницу до конца. Гипотеза в первом случае может звучать так: «если разместить кнопку в другом месте, конверсия увеличится».

Очевидный факт: вопрос не в самой формулировке гипотез, а в том, как найти проблему или идею, которая станет фундаментом для гипотезы.

Варианты:

  1. Анализ ключевых показателей сайта в системах аналитики. Находим страницы с малой длительностью сеансов, большим процентом отказов, малым коэффициентом транзакций.
  2. Анализ карты кликов, карты скроллинга, вебвизора.
  3. Опросы пользователей и задаваемые ими вопросы в онлайн-консультантах и письмах в службу поддержки.
  4. Анализ «фишек» конкурентов.

На что смотреть во время анализа? Тестировать, как говорится, можно все, но зачем? Нет смысла тратить время на изменение текста, который никто не читает, или на внешний вид футера, до которого доскроллят только 10% пользователей. Поэтому чаще всего тестируют:

  1. CTA-кнопки (текст, внешний вид, место на странице).
  2. Заголовки и описания товаров.
  3. Формы (внешний вид, количество полей).
  4. Изображения, видео.
  5. Макет и дизайн страницы.
  6. Цену товара.

Какие гипотезы стоит тестировать?

Гипотезы, основанные на анализе тепловой карты кликов

Как добавить сайт в Google ***ytics, Яндекс.Метрику и LiveInternet — пошаговое руководство Карта кликов — инструмент для измерения и отображения статистики по кликам на вашем сайте. Вы найдете этот инструмент, пройдя по пути: «Яндекс.Метрика» — «Карты» — «Карта кликов» (читайте пошаговое руководство «Как добавить сайт в Google ***ytics, Яндекс.Метрику и LiveInternet»).

Карта отображает клики по всем элементам страницы (в том числе по тем, которые не являются ссылками). Клики на карте подсвечиваются разными цветами, в зависимости от их частоты. Частым кликам соответствуют теплые цвета, редким — холодные.

Основные гипотезы:

  1. Если пользователи кликают на какой-то элемент сайта и не получают ожидаемого результата — его необходимо изменить в соответствии с их ожиданиями. Например, можно найти изображения, кликая по которым пользователь хочет перейти на другую страницу или увеличить их. Можно сделать данные изображения ссылками и уменьшить показатель отказов.
  2. Если пользователи кликают по каким-либо элементам сайта — их нужно улучшить.
  3. Элементы, на которые приходится большее число кликов, пользуются популярностью у пользователей и, следовательно, их можно перенести выше и левее.

Гипотезы, основанные на карте скроллинга

Карта скроллинга поможет проанализировать то, как распределяется внимание пользователей на разных областях страницы. Находится карта по адресу: «Яндекс Метрика» — «Карты» — «Карта скроллинга». Также она показывает среднее время и количество просмотров определенного участка страницы.

Если карта скроллинга показывает, что пользователи не прокручивают страницу до конца, то имеет смысл:

  1. Переместить важные элементы (кнопки или формы) в начало страницы.
  2. Уменьшить длину страницы.

Гипотезы о кнопках

Проблема — недостаточно кликов по кнопке на странице. Что делать?

1. Изменить текст на кнопке.

2. Изменить место размещения.

3. Увеличить размер кнопки.

4. Изменить цвет кнопки.

5. Изменить цвет текста.

6. Добавить иконку рядом с текстом кнопки.

7. Добавить hover-эффект при наведении на кнопку.

8. Добавить указатель на кнопку.

9. Увеличить свободное прострaнcтво вокруг кнопки.

Все эти действия направлены на то, чтобы выделить кнопку на фоне остального содержимого страницы. При этом необходимо следить, чтобы она не выбивалась из общей цветовой гаммы сайта. Для проверки качества выделения можно использовать букмарклет «Чёрно-белый» (третий снизу в списке).

Посадочные страницы: инструкция по повышению эффективности Больше подробностей про дизайн сайта читайте в нашей статье о посадочных страницах.

С его помощью легко определить, какие элементы заметны сразу же, а какие — нет. Просто добавьте предыдущую ссылку в панель закладок и нажмите ее, открыв нужную страницу.

Гипотезы о заголовках

Если заголовок не привлекает внимание, нужно:

  1. Переделать заголовок — оптимизировать структуру текста. Отличные шаблоны заголовков на русском языке перечислил Devaka, а формулу идеального заголовка на английском ищите здесь.
  2. Изменить длину заголовка. Сегодня, несмотря на расширение колонки результатов поиска Google, специалисты Moz рекомендуют ограничиваться 60 символами.

Гипотезы о изображениях

  1. Большие и качественные изображения позволят увеличить количество переходов на страницы карточек товаров из категорий.
  2. Лучше использовать собственные фотографии, а не стоковые. Также желательно, чтобы люди на фото были примерно одного возраста с целевой аудиторией.
  3. Изображения без лишних деталей на светлом фоне позволяют сфокусировать взгляд пользователя непосредственно на товаре.

Гипотезы о формах

  1. Чем меньше полей в форме, тем больший процент пользователей будет их заполнять. Возможны исключения в специфических тематиках.
  2. Если форма содержит большое количество полей и ни одно из них нельзя удалить — стоит разбить заполнение данной формы на насколько этапов.
  3. Удаление поля с промокодом (или уменьшение его размеров) поможет увеличить доход.

Кстати, в агентстве Netpeak есть собственный чек-лист по оптимизации форм — читайте и используйте.

Как проверить результаты?

После окончания теста необходимо проверить значимость полученных результатов. Если результат статистически не значим, изменения не оказывают влияния на оцениваемый показатель.

Если результаты теста оказались удачными:

  1. Применяем данные изменения на сайте.
  2. Если есть возможность внедрить аналогичные изменения на других страницах сайта, создаем новый эксперимент и тестируем эти гипотезы.
  3. Переходим к следующему A/B тесту.

Если результаты теста оказались неудачными:

  1. Анализируем данные, использованные при составлении гипотезы с учетом полученного опыта и пытаемся улучшить гипотезу.
  2. Формируем новую гипотезу.
  3. Создаем новый эксперимент.

Выводы

  1. Главное отличие A/B-тестирования сайта от проверки на авось — наличие гипотезы.
  2. Перед стартом нужно определить основной параметр отслеживания, рассчитать текущую сезонность и размер выборки.
  3. Чтобы грамотно сформулировать гипотезу, стоит провести анализ ключевых показателей сайта, карты кликов и скроллинга, вебвизора, «фишек» конкурентов или сделать опрос пользователей.
  4. Как должна выглядеть форма онлайн-заказа — подробный чек-лист В первую очередь стоит тестировать гипотезы, основанные на анализе тепловой карты кликов, на карте скроллинга, гипотезы о кнопках, заголовках, изображениях и формах. Про формы мы подробно рассказывали в посте с подробным чек-листом по онлайн-заказам.

  5. После теста нужно определить статистическую значимость результата и внедрять лучший вариант страницы. Или переходить к новому A/B-тесту :)



Комментарии:

Сколько стоил клик Google Ads и Facebook в Украине в четвертом квартале 2017 года

Сколько стоил клик Google Ads и Facebook в Украине в четвертом квартале 2017 года Данные по 34 миллионам кликов в 24 тематиках и 386 городах...

14 04 2024 12:28:27

Теневой бан Instagram — как распознать и преодолеть

Что такое теневой бан, что о нем известно, как выйти из-под него. Плюс мнение SMM-эксперта Нели Серебро...

13 04 2024 20:23:58

Как создать фид динамического ремаркетинга для Facebook без программиста

Как создать фид динамического ремаркетинга для Facebook без программиста Бесплатно, быстро и безопасно. Но есть и минусы. Узнать больше!...

12 04 2024 20:35:21

Продвижение мобильных игр — расшифровка терминов и аббревиатур

Словосочетания и аббревиатуры, которыми пользуются на рынке игрового маркетинга....

11 04 2024 19:54:55

Продвижение с PBN - кейсы и антикейсы. Без успешного успеха

Продвижение с PBN - кейсы и антикейсы. Без успешного успеха Private Blog Network для ниши безопасности, доставки цветов, товаров сантехники, туризма и выпекания. Сетки сайтов работают не всегда и это нормально. Узнать больше!...

10 04 2024 17:50:39

Как отслеживать изменения на сайте с оповещениями по email

Как отслеживать изменения на сайте с оповещениями по email Как делать мгновенный мониторинг изменений на сайтах? Марина Демьяненко предложила простое решение вопроса с помощью Kimono и таблиц Google....

09 04 2024 22:59:36

Как запустить контекстную рекламу в Google Ads — руководство для малого бизнеса

Как запустить контекстную рекламу в Google Ads — руководство для малого бизнеса Что такое контекстная реклама? Настраиваем рекламу в поиске Google...

08 04 2024 11:44:54

14 неочевидных и пpaктически применимых фишек — круглый стол 8P 2020

Лучшие фишки от спикеров конференции 8P 2020. В конце каждой конференции спикеры 8P собираются за круглым столом, чтобы поделиться пpaктически применимыми советами, которые можно внедрить в свой проект и сразу почувствовать отдачу...

07 04 2024 22:34:24

Ведем паблик Facebook в режиме новостного медиа. MVP-эксперимент Netpeak Journal

Ведем паблик Facebook в режиме новостного медиа. MVP-эксперимент Netpeak Journal У нас было 500 вечнозеленых постов и желание понять алгоритм ленты Facebook....

06 04 2024 15:29:26

Стадии формирования комaнд по Брюсу Такмену

Стадии формирования комaнд по Брюсу Такмену Перевод статьи о стадиях формирования комaнд по Брюсу Такмену — полезно знать всем....

05 04 2024 11:18:31

Номер телефона в формах — как помочь пользователю оставить номер на сайте

Номер телефона в формах — как помочь пользователю оставить номер на сайте Используем маску ввода для оптимизации сбора телефонных номеров в формах на сайте: кейсы агентства Netpeak...

04 04 2024 11:44:53

Почему мертвецы ставят «лайки» в Facebook?

Почему мертвецы ставят «лайки» в Facebook? Темная сторона лайков или правда о продвижении постов в Facebook...

03 04 2024 0:40:24

Как работать с перформанс-рекламой

Как работать с перформанс-рекламой И зачем топ-менеджерам разбираться в настройках кампаний, повышать свою техническую грамотность? Показываем на примерах и раскладываем по полочкам....

02 04 2024 16:26:34

Действие зеркальных нейронов

Действие зеркальных нейронов зеркальные нейроны и сознание. как они влияют на наше поведение?...

01 04 2024 19:32:20

Пасхалки Google — интересные и полезные возможности поисковика, о которых вы не знали

Пасхалки Google — интересные и полезные возможности поисковика, о которых вы не знали Забавные и полезные штуки от Google и как их найти...

31 03 2024 0:55:14

Краткое пособие для новичков по типам рекламных кампаний в Google Ads

Краткое пособие для новичков по типам рекламных кампаний в Google Ads Google Adwords: типы рекламных кампаний и объявлений, тонкостях настройки... Все, о чем вы боялись спросить... Или не боялись, а просто не знали, о чем спрашивать....

30 03 2024 19:57:44

Расширения Chrome, которые помогут PPC-специалисту не сойти с ума

Расширения Chrome, которые помогут PPC-специалисту не сойти с ума Доступно объясняем, как пользоваться и не типичными для экспертов по контекстной рекламе программами. Например, созданными для разработчиков. Узнать больше!...

29 03 2024 23:38:56

Вакцинация от Covid-19 в Украине: как организовать для сотрудников офиса

Вакцинация от Covid-19 в Украине: как организовать для сотрудников офиса Оставить заявку на горячей линии МОЗ — это только вершина айсберга. Необходимо провести опрос среди сотрудников компании. И не один. А ещё подготовить несколько помещений для вакцинации и отдыха. Узнать больше!...

28 03 2024 18:39:59

Востребованные IT-профессии в Украине — все кроме программирования. Какие курсы выбрать в 2022 году

Востребованные IT-профессии в Украине — все кроме программирования. Какие курсы выбрать в 2022 году Рассказываем об интересных диджитал-специальностях и зарплатах, как обучиться этим профессиям с нуля (в том числе в зрелом возрасте) и можно ли работать удалённо....

27 03 2024 23:40:23

Небольшие IT компании

Небольшие IT компании Любопытная подборка "маленьких" гигантов: компании и сервисы, чья аудитория превышает 10 миллионов пользователей, а также несколько интересных фактов о каждом из них. Узнать больше!...

26 03 2024 9:57:11

Эффективная работа с микроблогом Twitter: планирование твитов по времени

Эффективная работа с микроблогом Twitter: планирование твитов по времени Твиттереть нужно правильно. Интересная аналитики и планирование твитов по времени...

25 03 2024 1:35:26

200 этапов настройки рекламной кампании — чек-листы

200 этапов настройки рекламной кампании — чек-листы Что такое【контекстная реклама】и как ее настроить? Подробный чек-лист ✅ в блоге Netpeak ⟁ ▷ 200 ступеней рекламной кампании в Google AdWords, Яндекс.Директ ⚡...

24 03 2024 1:49:13

Почему мы так говорим — из истории устойчивых выражений

Почему мы так говорим — из истории устойчивых выражений Об истории и значении поговорок и других фразеологических оборотов...

23 03 2024 6:29:12

Как продвигать новый интернет-магазин — выбираем канал

Как продвигать новый интернет-магазин — выбираем канал Какой эффективный способ использовать для проверки бизнес-возможностей новых проектов ecommerce?...

22 03 2024 11:38:26

Как создать чат-бот для Telegram-канала — инструкция для администраторов

Как создать чат-бот для Telegram-канала — инструкция для администраторов Как с помощью ботов ControllerBot и BotFather упростить управление каналами и разнообразить контент....

21 03 2024 9:30:47

Свадьба в IT, или Как пиарщику доверить организацию самого важного ивента подрядчику

Свадьба в IT, или Как пиарщику доверить организацию самого важного ивента подрядчику Организаторам мероприятий, коллегам из PR-сферы и невестам о том, как делегировать важные мероприятия внешнему подрядчику...

20 03 2024 0:38:30

Зачем нужна декомпозиция?

Зачем нужна декомпозиция? Или как не слить свой бюджет на рекламу....

19 03 2024 3:13:18

Звуковые уведомления в Facebook основаны на аккорде Fmaj7, ноты которого — FACE

Звуковые уведомления в Facebook основаны на аккорде Fmaj7, ноты которого — FACE История от первого лица про звуковые сигналы в Facebook....

18 03 2024 23:42:15

Почему Netpeak стал лидером среди IT-работодателей Украины

Почему Netpeak стал лидером среди IT-работодателей Украины Руководитель отдела HR, Ольга Пачесная, написала пост о главном — людях, которые выбрали работу в Netpeak....

17 03 2024 13:22:46

PPC-атавизмы — пять подходов, которые утратили актуальность

PPC-атавизмы — пять подходов, которые утратили актуальность Отличная работа SEO-специалистов прошлого, породила касту PPC-специалистов настоящего, которые все еще ориентируются на публикации из 2017, ведь они все еще в ТОПе выдачи....

16 03 2024 21:54:31

Как рекламировать в гугл игры мужчинам и женщинам гeймерам

Как рекламировать в гугл игры мужчинам и женщинам гeймерам Что нужно учесть при создании баннеров для разных аудиторий...

15 03 2024 15:22:47

SEO-продвижение для пиццерии — ROMI 606% за 3 месяца

SEO-продвижение для пиццерии — ROMI 606% за 3 месяца Как грамотно раскрутить пиццерию. Сняли фильтр и достигли хороших результатов....

14 03 2024 21:46:30

Оформляем товарную страницу: пять фишек для интернет-магазинов

Оформляем товарную страницу: пять фишек для интернет-магазинов Пять простых фишек для повышения привлекательности карточки товара....

13 03 2024 15:33:59

Как динамическая подмена заголовка влияет на конверсии

Как динамическая подмена заголовка влияет на конверсии Можно ли получить больше заявок, используя динамическую подмену заголовка? Кейсы в разных тематиках...

12 03 2024 4:15:17

Зачем учить язык R интернет-маркетологу, и как сделать это максимально быстро

Когда и зачем я начал учить R, с какими сложностями столкнулся, как появилась и реализовывалась идея создания курса...

11 03 2024 23:42:32

Какому бизнесу нужно отслеживать позиции в выдаче?

Какому бизнесу нужно отслеживать позиции в выдаче? Клиентам не нужно ориентироваться на попадание к поисковым топам выдачи...

10 03 2024 12:16:14

Как измерить эффективность в Telegram — сколько подписчиков дала реклама?

Как измерить эффективность в Telegram — сколько подписчиков дала реклама? После обновления мессенджера появился нужный инструмент...

09 03 2024 5:30:29

Песочница Netpeak: бесплатная площадка для ваших статей

Рассказываем о том, что такое Песочница, как сюда писать и получать больше аудитории для своего бизнеса...

08 03 2024 2:15:52

Как повысить CTR объявлений с помощью расширений

Как добиться 100% пользы от контекстных объявлений с помощью расширений...

07 03 2024 17:33:50

Зрители Big Money и Артем Бородатюк предложили свои советы по ведению бизнеса

Зрители Big Money и Артем Бородатюк предложили свои советы по ведению бизнеса Советы бизнесу от зрителей Big Money и Артема Бородатюка. Предлагаем 11 универсальных, но простых и понятных идей....

06 03 2024 12:18:39

Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak

Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak Как мы создаем BI-решение для департамента поискового продвижения — первые шаги...

05 03 2024 17:33:54

Google Ads — как работает планировщик ключевых слов

Подобрать нужные слова поможет проверка Google Рекламы....

04 03 2024 8:32:23

Кейс по контекстной рекламе в Google Ads в тематике «автотюнинг»: ROMI 30%

Кейс по контекстной рекламе в Google Ads в тематике «автотюнинг»: ROMI 30% Эффективность контекстной рекламы в тематике «тюнинг автомобилей»....

03 03 2024 5:30:23

Как сделать отчет для поиска перспективных товаров

Как сделать отчет для поиска перспективных товаров Как регулярно мониторить перспективные товары, по которым можно запускать контекстную рекламу...

02 03 2024 22:45:16

Что такое RSS-лента и как ее подключить

Что такое RSS-лента и как ее подключить Когда на сайт добавляют новый контент, он тут же трaнcлируется в RSS-ленту и отображается в специальных программах для чтения, либо в email подписчиков. Как это работает?...

01 03 2024 5:23:52

SMM без купюр. Наш тёплый ламповый SMM

SMM от Netpeak — это разработки стратегий продвижения, механики конкурсов, медиапланирование и постоянная интеpaктивная связь с клиентом с помощью «Личного кабинета»....

29 02 2024 13:32:49

«Покажи свою работу»: Юрий Грузинский, руководитель отдела по работе с крупными клиентами

«Покажи свою работу»: Юрий Грузинский, руководитель отдела по работе с крупными клиентами Как построить самостоятельную комaнду и научиться спокойно делегировать...

28 02 2024 15:40:20

Как быстро и бесплатно импортировать в Google Таблицы статистику из Facebook

Понадобится всего пару минут, чтобы создать отчет о тратах, количестве конверсий или любых других важных показателях. Понятная инструкция для PPC-специалистов и про возможности и ограничения бесплатной версии расширения. Читайте дальше!...

27 02 2024 18:10:10

Как сэкономить бюджет на рекламу в Google Ads — 30 тысяч минус-площадок, каналов YouTube, сайтов, приложений

Как сэкономить бюджет на рекламу в Google Ads — 30 тысяч минус-площадок, каналов YouTube, сайтов, приложений Как исключить показы на нецелевых площадках в новом интерфейсе Google Ads. В конце статьи 30 000 минус-площадок, каналов YouTube, сайтов, приложений...

26 02 2024 19:33:38

11 функций Google Таблиц в помощь SEO-специалистам

11 функций Google Таблиц в помощь SEO-специалистам Нужно разбить ячейку или составить график? Если вы знаете функции, таблицы гугл могут пpaктически заменить отдельные сервисы или дополнения...

25 02 2024 15:51:43

Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::