Как создать гибкий шаблон для наглядной статистики и автоматизировать отчетность для всех участников проекта
Мы уже делились информацией о том, как построена работа нашего департамента контекстной рекламы — показывали насколько структурирован и организован процесс. Сегодня расскажем, как стандартизировали сбор данных по проектам клиентов и отчетности. Процесс упростили и теперь тратим на него меньше времени, не совершаем лишние действия, поэтому хотим поделиться, как этого достигли, и рассказать, на какие грабли наступили в процессе.
Исходная ситуация
На каждом проекте наши специалисты сталкивались с разными форматами отчетности: дашборд в Data Studio, кастомный отчет Google ***ytics, документ в Google Spreadsheets или комментарий о результатах за месяц в личном кабинете (ЛК).
ЛК — разработка агентства, которая помогает клиентам видеть все действия по своему проекту. Существует также бот в Telegram, который выводит необходимую информацию в мессенджер.
Больше об ЛК вы найдёте в таких постах:
Какие проблемы это вызывало
- У project-менеджеров, тимлидов и функциональных руководителей не было быстрого доступа к результатам по проектам, так как вся информация в том или ином виде находилась в разных местах.
- У project-менеджеров, руководителей и клиентов не было понимания результативности, поскольку в используемых отчетах не было процента достижения плановых показателей. 1000 лидов ; это хорошо или плохо? Зависит от того, какое целевое значение.
- Поскольку отчеты от проекта к проекту имели разный формат, детализацию и внешний вид ; это приводило к сложностям в работе. Например, чтобы проанализировать ситуацию, тимлиду нужно было вникать в особенности разных отчетов по каждому проекту из портфеля. Это лишние затраты времени.
- На проектах, где использовались Google Таблицы, зачастую отчетность заполнялась вручную или наполовину вручную. Это нeблагодарная работа, чреватая ошибками и отнимающая время, которое лучше потратить на усиление результатов по проекту.
- Когда мы переставали работать с проектом, терялась полезная статистика.
- Несмотря на огромный портфель проектов, не было возможности анализировать сводные данные по портфелю.
Требования к новому решению
Оно должно быть удобным, красивым, гибким и автоматизированным. А именно:
- Минимум ручной работы после настройки.
- Простая настройка сбора данных и визуализации. Интернет-маркетолог, не специализирующийся на веб-аналитике может сделать это без освоения новых технологий ; программирования на R или Python.
- При необходимости ; возможность видеть план/факт.
- Гибкость: возможность кастомизировать отчет под нужды конкретного проекта. Убрать ненужные показатели или добавить нужные.
- Простота дизайна. Отчет не перегружен метриками и диаграммами и не выглядит, как контрольная работа студента, изучающего работу Power Bi или Data Studio.
- Последовательный дизайн. Несмотря на некоторую кастомизацию, отчеты должны быть в едином стиле и выглядеть, аккуратно и красиво.
Итоговое решение
Сформировали такую цепочку:
Статистика рекламных кабинетов + статистика Google ***ytics ; база Big Query ; отчет в Data Studio
Итоговое решение работает и состоит из таких сущностей:
Справочник проектов в Google Таблицах
Это основной интерфейс настройки нужных параметров сбора данных, который позволяет решать такие задачи:
- Указывать, по каким аккаунтам собирать данные.
2. Видеть, из какого представления Google ***ytics собирать данные.
3. Понимать, какие цели в Google ***ytics считаются ключевыми (по номерам).
4. Указывать, в какой валюте должен быть отчет.
5. Понимать, делать ли конвертацию валюты дохода из модуля электронной торговли.
Интернет-маркетолог при старте нового проекта добавляет в справочник новую строку и заполняет соответствующие поля. Это понятные всем Google Таблицы, и сложности с этим не возникает.
6. Основная база Big Query. Здесь собираются рекламные показатели (клики, показы, расходы) из указанных в Справочнике проектов аккаунтов.
7. База Big Query с данными кабинетов Google Ads. Со временем у нас возникла необходимость собирать и выводить статистику по конверсиям на основании тега конверсии Google Ads, а не целей и транзакций Google ***ytics. Поэтому мы собираем эти данные в отдельной базе:
Ценность этой базы в том, что мы можем выводить в отчете конверсии по показам, кросс-девайсные конверсии и конверсии по модели data-driven.
8. База Big Query c данными кабинетов Facebook Ads. Глупо оценивать результативность Facebook кампаний только по Google ***ytics (обрыв меток, кросс-девайсность пользователей, разные модели атрибуции).
Есть такие типы кампаний, которые не приводят к сеансам на сайте (лидформы, мероприятия, видеокампании, вовлечение). Поэтому нужно собирать данные из Facebook-аккаунтов напрямую, в том числе, с разными окнами атрибуции:
9. Google Таблица плановых показателей и комментариев. Если есть необходимость выводить в отчете сравнение плана с фактом, то интернет-маркетолог заполняет плановые показатели в документе, который создается для каждого проекта:
В этой же Google Таблице можно записывать текстовые комментарии, привязанные к определенному месяцу:
Клиенту не всегда понятно, как тpaктовать данные графиков в отчете. Текстовый комментарий, привязанный к выбранному в отчете периоду, позволит понять смысл за цифрами:
Механизм
- Расходы, клики и показы из рекламных кабинетов напрямую собираются R-скриптом для всех проектов агентства в единую базу в Big Query. Таким образом, учитываются все типы кампаний. Точность парсинга данных о расходах, кликах и показах выше, чем при использовании сервисов стриминга данных в Google ***ytics вроде Owox или Renta, поскольку нет лишней прокладки в виде Google ***ytics.
- Данные о поведении на сайте (сеансы, транзакции, нужные конверсии и доход) собирает R-скрипт из Google ***ytics.
- Объединение точных расходов из рекламных кабинетов и данных о поведении из Google ***ytics происходит по ID кампании. Если ID кампании не будет передан в utm_campaign корректно, то данные по расходам и поведению на сайте не сойдутся, а PPC-специалист автоматически получает задачу на исправление UTM-метки. Поэтому важно четкое следование установленным правилам нейминга и разметки объявлений.
Данные по Google Ads подтягиваются из Google ***ytics. Поэтому для Google Ads не нужна UTM-метка и достаточно gclid.
- Импорт в Big Query происходит еженедельно по понедельникам за прошлую неделю в разрезе отдельных дней. Такой частоты обновления достаточно, так как решение не для оперативного отчета и мониторинга, а для еженедельной/ежемecячной отчетности.
- Визуализация происходит на базе разработанного шаблона отчета в Google Data Studio, который подключен к общей базе Big Query. Подключение ;; при помощи стандартного коннектора Big Query с использованием пользовательского запроса (custom query), в котором указано, по какому конкретно проекту нужно отображать данные:
У пользователя отчета нет доступа к статистике других проектов из Big Query.
- Возможности отчета:
- Благодаря функционалу объединения данных (data blending) в отчете есть отображение выполнения плановых показателей в % на сегодня. Плановые показатели берутся из отдельного документа. Интернет-маркетолог заполняет в начале месяца в рамках регулярной задачи.
- В шаблонном отчете подготовлены базовые таблицы и диаграммы, выведены основные показатели. Но благодаря тому, что с Data Studio работать достаточно просто, интернет-маркетолог может кастомизировать уже имеющийся шаблон. Например, подключить таблицу с данными из Facebook-кабинета с нужными показателями.
- В отчете есть возможность отображать комментарии для клиента по итогам месяца, которые маркетолог обычно пишет в нашем Личном Кабинете. Специалист вносит комментарии в документ плановых показателей
Какие проблемы возникли в процессе
- Точность расходов и независимость от Owox и других подобных сервисов требует сопоставления по ID кампании. Соответственно, если какая-то кампания размечена некорректно, то в базе не будет поведенческих данных по этой кампании.
- Скрипт сбора данных может отработать неправильно:
- собрать данные не из всех таблиц;
- может слететь токен аккаунта Яндекс. Директ или отключиться доступы к тому или иному аккаунту;
- сервер рекламной системы выдаст ошибку 500;
- будут ошибки при заполнении справочника проектов.
Несколько месяцев система работала и часто возникали несоответствия между статистикой в базе и статистикой из счетчиков и кабинетов. На отладку и поиск причин расхождения уходило много времени и сил. Доверие к системе у пользователей было подорвано.
В итоге мы решили обложить тестами почти все известные нам после первых месяцев работы возможные ошибки. Получилось около 15 различных проверок:
Мы создали специальный чат в Telegram, куда бот присылает все выявленные в процессе сбора данных. Вот эти ошибки:
Теперь мы можем сразу реагировать и переподтягивать данные после исправления ошибок.
Любимой функцией стала возможность в чате давать комaнду боту на пересбор по нужным проектам и генерировать токен для Яндекс.Директа:
- У Netpeak очень много клиентов в Казахстане. Многие приходят в агентство с уже внедренным модулем электронной торговли, в котором доход передается без указания currency code при отправке транзакции. Поскольку Google ***ytics поддерживает не все валюты, в частности, в настройках валюты представления нет тенге, то представления чаще всего в долларах США. В результате, в Google ***ytics видим правильные расходы в долларах США и многомиллионные, не конвертированные в доллар, доходы в тенге.
Разобраться с этим помогла функция, которая правильно конвертирует доход в нужную валюту.
Из какой валюты и в какую конвертировать, определяется на основании указанной в справочнике проектов реальной валюты дохода в e-commerce. На этом примере:
Мы сообщаем скрипту, что доход у нас на самом деле приходит в тенге, и мы хотим его конвертировать в доллар США, и вообще все показатели, связанные с деньгами, конвертировать в отчете в USD.
Что сейчас
- База работает стабильно, собирает данные, которым можно доверять. Мы можем удобно анализировать статистику по всем проектам портфеля:
2. Маркетологи получили шаблонную отчетность, которую легко кастомизировать под нужды проекта.
Что дальше
- Обновить логику сбора данных в таблицу Facebook и Google Ads таким образом, чтобы перезаписывать старые данные (более 28 дней назад). Это позволит учитывать конверсии, которые произошли спустя N количество дней после клика, и не попали в базу, собирающую статистику недельными отрезками.
- Внедрить отдельные базы для Яндекс. Директ и MyTarget. Ценности от этого меньше, чем от баз Google Ads и Facebook, но все равно пригодятся.
- Возможно, перейдем на ежедневный график обновления данных. Система контроля ошибок уже есть.
- Разметить проекты по тематикам, чтобы видеть тренды в той ли иной отрасли.
Комaнда
- Алексей Селезнев, Head of ***ytics Department, сумрачный гений аналитики Netpeak.
- Алекс Айчеу, PPC Team Lead, надоедливый product owner этой истории.
Благодарим за помощь в подготовке статьи Андрея Коваля!
Комментарии:
Как нарисовать круговую или столбчатую диаграмму. Избавляемся от популярных ошибок при оформлении...
19 04 2024 17:42:56
Создание, установка и оптимизация title и мета-тегов keywords, description у сайта, построенного на системе Drupal...
18 04 2024 5:29:33
Рекомендации от Google для бизнеса о поведении в период распространения коронавируса....
17 04 2024 3:51:36
Как быстро создавать и запускать объявления, а также массово вносить правки в кампании с помощью файла Excel...
16 04 2024 3:52:26
Возможности и перспективы Clubhouse, лайфхаки для пользователей и бонус в конце...
15 04 2024 1:17:40
Кейсы, фишки и советы, опыт крупных брендов, маркетологов....
14 04 2024 2:31:16
На украинском рынке услуг велик выбор качественных платформ. Главное понимать, как правильно проводить миграцию....
13 04 2024 22:10:15
В Казнете о маркетплейсе подрядчиков Naimi.kzприложении говорят все: от студентов до президента....
12 04 2024 16:38:11
О том, какие результаты дает эта технология, рассказал Александр Иванов, Head of Product в ЛУН.ua в рамках прошлогодней самой летней конференции 8P. Читайте, как его комaнде удалось разогнать загрузку страниц сервиса Flatfy до 0,2 секунды...
11 04 2024 16:28:56
Новости для наших существующих и потенциальных клиентов....
10 04 2024 16:16:43
В течение 2016 года Алексей Селезнев собирал данные о стоимости клика в разрезе разных стран, регионов и тематик. Итоги исследования, тренды и прогнозы читайте в этой статье....
09 04 2024 3:43:23
Мануал, по которому вы создадите специальный отчет, чтобы применить его на своем сайте....
08 04 2024 13:48:11
Начинаем серию постов в режиме реалити-шоу о подробностях продвижения крупного игрока бизнеса email- и sms-рассылок — компании UniSender....
07 04 2024 1:16:51
Создаем список тем, которые заинтересуют пользователя — для этого используем простые сервисы по типу Вордстат. Также изучаем деятельность конкурентов. Узнать больше!...
06 04 2024 3:26:29
Новый способ автоматизации процессов при настройке аналитики больших объемов данных....
05 04 2024 10:39:20
Как стать заметнее для поисковых роботов Яндекс и Google...
04 04 2024 10:12:40
Безопасное соединение, которое положительно оценивают не только поисковые роботы, но и пользователи. Особенно, если на сайте предстоит оставить личные данные. Читать!...
03 04 2024 21:58:20
Аудит юзабилити способствует следованию современным тенденциям, пониманию целевого посетителя и увеличению конверсии....
02 04 2024 14:22:43
Аналитики из SalesForce уже в четвертый раз опубликовали исследование о приоритетах, составе комaнд и распределении бюджетов ведущими маркетологами мира...
01 04 2024 1:45:17
Снимать скрин нужно красиво и логично, вне зависимости от того, кому вы его покажете: начальнику, другу или многотысячной аудитории блога...
31 03 2024 19:54:14
Почему встречаются низкие показатели переходов на сайты по всем источникам трафика? Нет рекламодателей, которые могут предложить пользователям те или иные товары и услуги....
30 03 2024 3:19:33
Сооснователь SUPERLUDI Влад Ноздрачев рассказал в своем подкасте о развитии инфобизнеса. Предлагаем вам вольный пересказ....
29 03 2024 1:20:43
Понятный алгоритм анализа поисковых запросов с экономией времени на чистку по специальному шаблону модерации...
28 03 2024 5:27:25
Суперспособности фрилансера: как понять свою прокрастинацию, распознать мошенников и решать проблемы, связанные с удалёнкой...
27 03 2024 22:19:53
Если в сетке сайтов есть интересный домен, его можно использовать для дополнительной монетизации, а не только для ссылок. В таком случае важно знать, как правильно отслеживать трафик таких доменов....
26 03 2024 0:44:40
Используйте методы Элияху Голдратта для оптимизации процессов в жизни и на работе...
25 03 2024 3:53:26
Поисковая реклама для службы доставки еды — пpaктические советы, как выделиться на фоне конкурентов в популярной нише. На примере харьковской доставки пиццы мы покажем, как правильно продавать еду. Читайте в статье!...
24 03 2024 11:15:56
Грамотно оформленные метатеги презентуют сайт, помогают пользователям быстро найти нужную информацию, а поисковым системам — повысить ресурс в выдаче...
23 03 2024 15:47:47
Еще организовали новую онлайн-конференцию, запустили опрос онлайн-покупателей, создали SEO-услугу для крупного бизнеса, рассказали, как вести В2С и В2В аккаунты в Instagram и ввели консультации SMM-специалистов....
22 03 2024 21:31:47
Как сделать приятно подписчику в день его рождения, на Новый год и в любой другой праздник....
21 03 2024 5:30:46
Подробно о преимуществах и особенностях двух сервисов контекстной рекламы....
20 03 2024 1:25:56
Быстрая индексация: как оперативно узнать, попала ли важная для вас страница в поисковые системы Google и Яндекс....
19 03 2024 3:20:27
Сравнительная хаpaктеристика B2B и B2C. Как строятся отношения с клиентом, какой объем рынка, особенности сервиса, на чем делать акцент при создании контента. Подробнее....
18 03 2024 23:24:38
Опыт удаленки стартапа lemlist. Как сотрудники работали онлайн в доковидные времена и совмещали профессиональную деятельность с тимбилдингом. Читайте в коротком посте Владимира Поло, основателя AcademyOcean....
17 03 2024 15:50:16
Обязательные элементы продающей страницы: удобный и красивый дизайн, легко читаемые форматы и стили шрифтов, текстовые блоки, кнопки призыва к действию. Узнать больше!...
16 03 2024 22:50:33
Продвижение бытовой техники в социальных сетях: кейс с целями и задачами, механикой конкурса, выбором целевой аудитории, концепции и условий, а также итогами акции с цифрами по количеству постов, участников и ростом узнаваемости бренда...
15 03 2024 5:36:56
Кейс продвижения YouTube-канала магазина товаров для рыбалки...
14 03 2024 10:29:14
SEO для цветочных магазинов с оплатой за трафик и полученные результаты...
13 03 2024 8:50:14
Почти 3 миллиона клика в 24 тематиках в 15 городах Казахстана. Читайте новое исследование нашего аналитика....
12 03 2024 17:26:38
Всё, что важно узнать о лидогенерации и работе с целевой аудиторией....
11 03 2024 12:10:29
Создатель сервиса Foster Кирилл Винокуров рассказал, как зарегистрировать приложение для полноценной работы с Директом....
10 03 2024 8:55:44
После нехитрых манипуляций с текстом вторая строка оказывается в заголовке....
09 03 2024 17:54:38
Как в Google Search можно найти мелодию по примерному напеву...
08 03 2024 8:39:25
Личный опыт экс-главреда экс-блога Netpeak (сейчас — Netpeak Journal): о работе с информацией, мотивации написания, редактуре черновика, подаче информации по степени важности, выделении главного и составлении окончательной версии текста. Как сделать текст логичным и полезным? Узнайте!...
07 03 2024 17:29:33
В этом году часть пользователей предпочла вернуться к привычным покупкам в оффлайн-магазинах....
06 03 2024 21:20:31
Проделанные шаги и полученные результаты при раскрутке магазина великов в интернете...
05 03 2024 4:39:46
И как проверить релевантность на своем сайте. Если речь идет о страницах (сайтах), подразумевается соответствие контента запросу. Чем точнее страница отвечает на запрос, решает задачу пользователя, тем (при прочих равных) выше ее позиция в поисковой выдаче....
04 03 2024 12:28:34
Красивое креативное описание страницы «о нас» — важная составляющая коммуникации с потенциальным клиентом. Покажите свою комaнду, опишите ценности и миссию. Сделайте эту страницу продающей. Узнать больше!...
03 03 2024 20:13:38
Новая услуга для бизнесов, которым большое количество подписчиков не приносит продаж...
02 03 2024 2:28:10
K-pop заpaбатывает деньги: как и сколько...
01 03 2024 19:50:45
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::