Как создать гибкий шаблон для наглядной статистики и автоматизировать отчетность для всех участников проекта
Мы уже делились информацией о том, как построена работа нашего департамента контекстной рекламы — показывали насколько структурирован и организован процесс. Сегодня расскажем, как стандартизировали сбор данных по проектам клиентов и отчетности. Процесс упростили и теперь тратим на него меньше времени, не совершаем лишние действия, поэтому хотим поделиться, как этого достигли, и рассказать, на какие грабли наступили в процессе.
Исходная ситуация
На каждом проекте наши специалисты сталкивались с разными форматами отчетности: дашборд в Data Studio, кастомный отчет Google ***ytics, документ в Google Spreadsheets или комментарий о результатах за месяц в личном кабинете (ЛК).
ЛК — разработка агентства, которая помогает клиентам видеть все действия по своему проекту. Существует также бот в Telegram, который выводит необходимую информацию в мессенджер.
Больше об ЛК вы найдёте в таких постах:
Какие проблемы это вызывало
- У project-менеджеров, тимлидов и функциональных руководителей не было быстрого доступа к результатам по проектам, так как вся информация в том или ином виде находилась в разных местах.
- У project-менеджеров, руководителей и клиентов не было понимания результативности, поскольку в используемых отчетах не было процента достижения плановых показателей. 1000 лидов ; это хорошо или плохо? Зависит от того, какое целевое значение.
- Поскольку отчеты от проекта к проекту имели разный формат, детализацию и внешний вид ; это приводило к сложностям в работе. Например, чтобы проанализировать ситуацию, тимлиду нужно было вникать в особенности разных отчетов по каждому проекту из портфеля. Это лишние затраты времени.
- На проектах, где использовались Google Таблицы, зачастую отчетность заполнялась вручную или наполовину вручную. Это нeблагодарная работа, чреватая ошибками и отнимающая время, которое лучше потратить на усиление результатов по проекту.
- Когда мы переставали работать с проектом, терялась полезная статистика.
- Несмотря на огромный портфель проектов, не было возможности анализировать сводные данные по портфелю.
Требования к новому решению
Оно должно быть удобным, красивым, гибким и автоматизированным. А именно:
- Минимум ручной работы после настройки.
- Простая настройка сбора данных и визуализации. Интернет-маркетолог, не специализирующийся на веб-аналитике может сделать это без освоения новых технологий ; программирования на R или Python.
- При необходимости ; возможность видеть план/факт.
- Гибкость: возможность кастомизировать отчет под нужды конкретного проекта. Убрать ненужные показатели или добавить нужные.
- Простота дизайна. Отчет не перегружен метриками и диаграммами и не выглядит, как контрольная работа студента, изучающего работу Power Bi или Data Studio.
- Последовательный дизайн. Несмотря на некоторую кастомизацию, отчеты должны быть в едином стиле и выглядеть, аккуратно и красиво.
Итоговое решение
Сформировали такую цепочку:
Статистика рекламных кабинетов + статистика Google ***ytics ; база Big Query ; отчет в Data Studio
Итоговое решение работает и состоит из таких сущностей:
Справочник проектов в Google Таблицах
Это основной интерфейс настройки нужных параметров сбора данных, который позволяет решать такие задачи:
- Указывать, по каким аккаунтам собирать данные.
2. Видеть, из какого представления Google ***ytics собирать данные.
3. Понимать, какие цели в Google ***ytics считаются ключевыми (по номерам).
4. Указывать, в какой валюте должен быть отчет.
5. Понимать, делать ли конвертацию валюты дохода из модуля электронной торговли.
Интернет-маркетолог при старте нового проекта добавляет в справочник новую строку и заполняет соответствующие поля. Это понятные всем Google Таблицы, и сложности с этим не возникает.
6. Основная база Big Query. Здесь собираются рекламные показатели (клики, показы, расходы) из указанных в Справочнике проектов аккаунтов.
7. База Big Query с данными кабинетов Google Ads. Со временем у нас возникла необходимость собирать и выводить статистику по конверсиям на основании тега конверсии Google Ads, а не целей и транзакций Google ***ytics. Поэтому мы собираем эти данные в отдельной базе:
Ценность этой базы в том, что мы можем выводить в отчете конверсии по показам, кросс-девайсные конверсии и конверсии по модели data-driven.
8. База Big Query c данными кабинетов Facebook Ads. Глупо оценивать результативность Facebook кампаний только по Google ***ytics (обрыв меток, кросс-девайсность пользователей, разные модели атрибуции).
Есть такие типы кампаний, которые не приводят к сеансам на сайте (лидформы, мероприятия, видеокампании, вовлечение). Поэтому нужно собирать данные из Facebook-аккаунтов напрямую, в том числе, с разными окнами атрибуции:
9. Google Таблица плановых показателей и комментариев. Если есть необходимость выводить в отчете сравнение плана с фактом, то интернет-маркетолог заполняет плановые показатели в документе, который создается для каждого проекта:
В этой же Google Таблице можно записывать текстовые комментарии, привязанные к определенному месяцу:
Клиенту не всегда понятно, как тpaктовать данные графиков в отчете. Текстовый комментарий, привязанный к выбранному в отчете периоду, позволит понять смысл за цифрами:
Механизм
- Расходы, клики и показы из рекламных кабинетов напрямую собираются R-скриптом для всех проектов агентства в единую базу в Big Query. Таким образом, учитываются все типы кампаний. Точность парсинга данных о расходах, кликах и показах выше, чем при использовании сервисов стриминга данных в Google ***ytics вроде Owox или Renta, поскольку нет лишней прокладки в виде Google ***ytics.
- Данные о поведении на сайте (сеансы, транзакции, нужные конверсии и доход) собирает R-скрипт из Google ***ytics.
- Объединение точных расходов из рекламных кабинетов и данных о поведении из Google ***ytics происходит по ID кампании. Если ID кампании не будет передан в utm_campaign корректно, то данные по расходам и поведению на сайте не сойдутся, а PPC-специалист автоматически получает задачу на исправление UTM-метки. Поэтому важно четкое следование установленным правилам нейминга и разметки объявлений.
Данные по Google Ads подтягиваются из Google ***ytics. Поэтому для Google Ads не нужна UTM-метка и достаточно gclid.
- Импорт в Big Query происходит еженедельно по понедельникам за прошлую неделю в разрезе отдельных дней. Такой частоты обновления достаточно, так как решение не для оперативного отчета и мониторинга, а для еженедельной/ежемecячной отчетности.
- Визуализация происходит на базе разработанного шаблона отчета в Google Data Studio, который подключен к общей базе Big Query. Подключение ;; при помощи стандартного коннектора Big Query с использованием пользовательского запроса (custom query), в котором указано, по какому конкретно проекту нужно отображать данные:
У пользователя отчета нет доступа к статистике других проектов из Big Query.
- Возможности отчета:
- Благодаря функционалу объединения данных (data blending) в отчете есть отображение выполнения плановых показателей в % на сегодня. Плановые показатели берутся из отдельного документа. Интернет-маркетолог заполняет в начале месяца в рамках регулярной задачи.
- В шаблонном отчете подготовлены базовые таблицы и диаграммы, выведены основные показатели. Но благодаря тому, что с Data Studio работать достаточно просто, интернет-маркетолог может кастомизировать уже имеющийся шаблон. Например, подключить таблицу с данными из Facebook-кабинета с нужными показателями.
- В отчете есть возможность отображать комментарии для клиента по итогам месяца, которые маркетолог обычно пишет в нашем Личном Кабинете. Специалист вносит комментарии в документ плановых показателей
Какие проблемы возникли в процессе
- Точность расходов и независимость от Owox и других подобных сервисов требует сопоставления по ID кампании. Соответственно, если какая-то кампания размечена некорректно, то в базе не будет поведенческих данных по этой кампании.
- Скрипт сбора данных может отработать неправильно:
- собрать данные не из всех таблиц;
- может слететь токен аккаунта Яндекс. Директ или отключиться доступы к тому или иному аккаунту;
- сервер рекламной системы выдаст ошибку 500;
- будут ошибки при заполнении справочника проектов.
Несколько месяцев система работала и часто возникали несоответствия между статистикой в базе и статистикой из счетчиков и кабинетов. На отладку и поиск причин расхождения уходило много времени и сил. Доверие к системе у пользователей было подорвано.
В итоге мы решили обложить тестами почти все известные нам после первых месяцев работы возможные ошибки. Получилось около 15 различных проверок:
Мы создали специальный чат в Telegram, куда бот присылает все выявленные в процессе сбора данных. Вот эти ошибки:
Теперь мы можем сразу реагировать и переподтягивать данные после исправления ошибок.
Любимой функцией стала возможность в чате давать комaнду боту на пересбор по нужным проектам и генерировать токен для Яндекс.Директа:
- У Netpeak очень много клиентов в Казахстане. Многие приходят в агентство с уже внедренным модулем электронной торговли, в котором доход передается без указания currency code при отправке транзакции. Поскольку Google ***ytics поддерживает не все валюты, в частности, в настройках валюты представления нет тенге, то представления чаще всего в долларах США. В результате, в Google ***ytics видим правильные расходы в долларах США и многомиллионные, не конвертированные в доллар, доходы в тенге.
Разобраться с этим помогла функция, которая правильно конвертирует доход в нужную валюту.
Из какой валюты и в какую конвертировать, определяется на основании указанной в справочнике проектов реальной валюты дохода в e-commerce. На этом примере:
Мы сообщаем скрипту, что доход у нас на самом деле приходит в тенге, и мы хотим его конвертировать в доллар США, и вообще все показатели, связанные с деньгами, конвертировать в отчете в USD.
Что сейчас
- База работает стабильно, собирает данные, которым можно доверять. Мы можем удобно анализировать статистику по всем проектам портфеля:
2. Маркетологи получили шаблонную отчетность, которую легко кастомизировать под нужды проекта.
Что дальше
- Обновить логику сбора данных в таблицу Facebook и Google Ads таким образом, чтобы перезаписывать старые данные (более 28 дней назад). Это позволит учитывать конверсии, которые произошли спустя N количество дней после клика, и не попали в базу, собирающую статистику недельными отрезками.
- Внедрить отдельные базы для Яндекс. Директ и MyTarget. Ценности от этого меньше, чем от баз Google Ads и Facebook, но все равно пригодятся.
- Возможно, перейдем на ежедневный график обновления данных. Система контроля ошибок уже есть.
- Разметить проекты по тематикам, чтобы видеть тренды в той ли иной отрасли.
Комaнда
- Алексей Селезнев, Head of ***ytics Department, сумрачный гений аналитики Netpeak.
- Алекс Айчеу, PPC Team Lead, надоедливый product owner этой истории.
Благодарим за помощь в подготовке статьи Андрея Коваля!
Комментарии:
Читайте, если не хотите «слить» бюджет. Определите конкретные цели и УТП, соберите аналитику, идите к специалисту без опыта работы в конкретной нише и другие рекомендации эксперта. Читайте подробнее в статье!...
26 04 2024 1:31:36
Как говорится, люди делятся на тех, кто делит других на типы и тех, кто не делит. В этом посте — про желтых, синих, красных и зеленых людей....
25 04 2024 4:44:49
Примеры странной, классной и непонятной рекламы в соцсетях из моей ленты за февраль 2021 года...
24 04 2024 4:11:44
Flash онлайн объявлений в формат HTML5: нововведение гугл рекламы...
23 04 2024 21:22:58
Специалисты, занимающиеся seo копирайтингом, рассказывают об использовании LSI: определение текста, кол во символов, подсчет слов онлайн...
22 04 2024 8:39:57
Пять примеров дизайна, который помогает продавать в рассылках. Просто любуемся и тренируем насмотренность....
21 04 2024 9:32:20
Интересные факты про Google Рекламу перевел Сергeй Бахарь для читателей нашего блога....
20 04 2024 10:25:29
По следам «Игры в кальмара». Небольшая подборка ностальгических комaндных игр, которые могут прижиться в вашем офисе....
19 04 2024 22:59:36
Что делать, когда не получается заставить себя написать статью или кейс...
18 04 2024 13:27:15
И как с ними справиться. Рабочие инструкции для Chief Executive Office и менеджеров в целом. Давайте управлять комaндой и собой более эффективно и без выгорания. Узнать больше!...
17 04 2024 23:14:28
Раньше покупка фолловеров, лайков, репостов строго осуждалась. Сегодня это обычное дело. Всё больше сервисов предлагают по приемлемой цене купить репутацию в соцсетях: от лайков в Instagram до фолловеров в твиттере. Покупка фолловеров аукнется мне в будущ...
16 04 2024 8:35:24
Кейс выполнимой миссии — отправили рассылку по «холодной» базе и обошли запреты почтовых сервисов на изображения 18+...
15 04 2024 2:31:42
Как эффективно распределять бюджет и ресурсы на обучение сотрудников. Статья будет полезной для собственников бизнеса и HR-специалистов....
14 04 2024 12:33:26
29 ноября в Киеве в UNIT.City — конференция по медицинскому маркетингу MeDiConf...
13 04 2024 21:48:16
Как автоматизировать рутину в Google Таблицах с помощью Google Apps Script...
12 04 2024 20:52:10
Как найти тему для поста, который и в онлайн поиске будет хорошо ранжироваться, и по социалкам разойдется, и комментарии в треде обеспечит...
11 04 2024 13:50:37
Упущенная семантика — это ключевые фразы, которые успешно используют в SEO и PPC ваши основные конкуренты, но не используете вы. Как найти упущенную семантику? Читайте кейс сервиса Prodvigator....
10 04 2024 5:58:10
Гениальный математик создал систему, которая вполне может конкурировать с Google — Wolfram|Alpha. Или нет? Это не поисковик, тогда при чем здесь Гугл и теория вычислимости?...
09 04 2024 6:44:17
Создатель студии рисованных видео Денис Довгаль — о тактике видеомаркетинга и жизни в стиле «цифровых кочевников»....
08 04 2024 1:20:56
88% времени в телефоне люди проводят в приложениях. Рассказываем, как их можно создавать без написания кода....
07 04 2024 11:15:59
Предложение для крупных и средних бизнес-проектов по эффективному использованию больших бюджетов при запуске на новых рынках...
06 04 2024 10:49:55
Свежесть и актуальность контента — главные уроки из Google December 2020 Core Update. Почему — читайте в статье....
05 04 2024 8:23:15
Как улучшить конверсию сайта: идеи для маркетологов...
04 04 2024 6:10:55
Что нужно, чтобы реклама в интернете приносила прибыль....
03 04 2024 12:25:30
Как стать востребованным сео оптимизатором: 35+ ссылок для обучения и совершенствования своих знаний, а также советы...
02 04 2024 14:44:40
Подробно о преимуществах и особенностях двух сервисов контекстной рекламы....
01 04 2024 17:25:13
Языковой закон требует, чтобы общение бизнеса с клиентами шло на украинском языке, если нет просьбы о другом приемлемом варианте. Что это означает для РРС, читайте дальше....
31 03 2024 15:46:58
5 важных навыков для новичков в PPC: как учиться, чтобы стать экспертом; секреты тайм-менеджмента, мотивации; тонкости оптимизации рабочего процесса. Узнать больше!...
30 03 2024 5:55:30
Данные о стоимости клика в наиболее популярных рекламных интернет-площадках страны....
29 03 2024 2:12:20
Всё о вебхуках. Как настроить механизм получения уведомлений о событиях с помощью функций обратных вызовов....
28 03 2024 1:45:23
Как правильно оформлять свое портфолио, писать сопроводительные письма и делать посты в соцсетях. С помощью простой человеческой адекватности можно выигрывать у 90% других подрядчиков. Как это использовать? Читайте дальше!...
27 03 2024 23:27:19
Исследование Ringostat о самых востребованных CRM-системах в США...
26 03 2024 23:23:39
Исследование по 38,5 миллионам кликов в 22 тематиках в 391 городе страны....
25 03 2024 16:53:15
Междугородние перевозки и их реклама. Кейс Павла Верлана...
24 03 2024 18:25:54
Как сделать креативный мобильный баннер. Зачем нужны особенные баннеры для мобильных? Что делать с картинкой? Что делать с текстом? Что делать с другими рекламными форматами? Дополнительные элементы. Обо всем этом детально и спримерами...
23 03 2024 5:39:14
Итоги одной из наших первых онлайн рекламных кампаний в Play...
22 03 2024 6:34:44
О чем следует позаботиться перед созданием интернет-магазина...
21 03 2024 14:29:21
Один из самых известных отчетов в Google ***ytics «Аудитория/Обзор». Но кроме него есть еще несколько, которые будут весьма полезны для вашего блога. Какие именно, читайте дальше....
20 03 2024 7:13:31
Комaнда Serpstat проанализировала стратегии продвижения лидеров ниши онлайн-образования. Читайте о главных инсайтах в посте....
19 03 2024 21:47:26
В ТОПе ошибок — метатеги, разметка, заголовки h1-h6 и внутренние ссылочные факторы....
18 03 2024 2:51:26
Данные, приведенные в исследовании, помогут в составлении медиапланов по продвижению в интернете. Понимания стоимость конверсии и необходимое количество конверсий, вы можете прогнозировать, сколько денег на рекламу нужно выделить....
17 03 2024 17:37:57
Количество обращений выросло на 43,27%, а рынок перегрет — десятки компаний предлагают свою продукцию, услуги. Что делать, чтобы люди выбрали вас среди других игроков рынка (помимо качественного выполнения своей работы)? Читайте дальше!...
16 03 2024 7:51:37
Реклама будет не настолько персонализирована, как сейчас....
15 03 2024 0:23:34
Минимизация пропущенных звонков и ускорение обработки заявок с наглядными примерами из сервиса...
14 03 2024 2:18:18
Основатель фейсбука опубликовал на WIRED крутое интервью...
13 03 2024 8:25:44
Как найти продавцов для маркетплейса с помощью рекламы в Google, Facebook, TikTok и Viber....
12 03 2024 20:33:25
Эти данные пригодятся в составлении медиапланов по продвижению в интернете. Понимания стоимость конверсии и необходимое количество конверсий, вы можете прогнозировать, сколько денег на рекламу нужно выделить. Читать!...
11 03 2024 22:37:33
Facebook + Instagram, Business Manager + основная бизнес-страница на Facebook, BM + рекламный аккаунт и так далее....
10 03 2024 3:43:12
Как пользоваться «Совмещением данных» с учетом всех особенностей инструмента...
09 03 2024 3:37:24
Ноу-хау, интересные для бизнеса, которые вошли в ежегодный рейтинг журнала Time....
08 03 2024 4:31:49
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::