Как создать гибкий шаблон для наглядной статистики и автоматизировать отчетность для всех участников проекта
Мы уже делились информацией о том, как построена работа нашего департамента контекстной рекламы — показывали насколько структурирован и организован процесс. Сегодня расскажем, как стандартизировали сбор данных по проектам клиентов и отчетности. Процесс упростили и теперь тратим на него меньше времени, не совершаем лишние действия, поэтому хотим поделиться, как этого достигли, и рассказать, на какие грабли наступили в процессе.
Исходная ситуация
На каждом проекте наши специалисты сталкивались с разными форматами отчетности: дашборд в Data Studio, кастомный отчет Google ***ytics, документ в Google Spreadsheets или комментарий о результатах за месяц в личном кабинете (ЛК).
ЛК — разработка агентства, которая помогает клиентам видеть все действия по своему проекту. Существует также бот в Telegram, который выводит необходимую информацию в мессенджер.
Больше об ЛК вы найдёте в таких постах:
Какие проблемы это вызывало
- У project-менеджеров, тимлидов и функциональных руководителей не было быстрого доступа к результатам по проектам, так как вся информация в том или ином виде находилась в разных местах.
- У project-менеджеров, руководителей и клиентов не было понимания результативности, поскольку в используемых отчетах не было процента достижения плановых показателей. 1000 лидов ; это хорошо или плохо? Зависит от того, какое целевое значение.
- Поскольку отчеты от проекта к проекту имели разный формат, детализацию и внешний вид ; это приводило к сложностям в работе. Например, чтобы проанализировать ситуацию, тимлиду нужно было вникать в особенности разных отчетов по каждому проекту из портфеля. Это лишние затраты времени.
- На проектах, где использовались Google Таблицы, зачастую отчетность заполнялась вручную или наполовину вручную. Это нeблагодарная работа, чреватая ошибками и отнимающая время, которое лучше потратить на усиление результатов по проекту.
- Когда мы переставали работать с проектом, терялась полезная статистика.
- Несмотря на огромный портфель проектов, не было возможности анализировать сводные данные по портфелю.
Требования к новому решению
Оно должно быть удобным, красивым, гибким и автоматизированным. А именно:
- Минимум ручной работы после настройки.
- Простая настройка сбора данных и визуализации. Интернет-маркетолог, не специализирующийся на веб-аналитике может сделать это без освоения новых технологий ; программирования на R или Python.
- При необходимости ; возможность видеть план/факт.
- Гибкость: возможность кастомизировать отчет под нужды конкретного проекта. Убрать ненужные показатели или добавить нужные.
- Простота дизайна. Отчет не перегружен метриками и диаграммами и не выглядит, как контрольная работа студента, изучающего работу Power Bi или Data Studio.
- Последовательный дизайн. Несмотря на некоторую кастомизацию, отчеты должны быть в едином стиле и выглядеть, аккуратно и красиво.
Итоговое решение
Сформировали такую цепочку:
Статистика рекламных кабинетов + статистика Google ***ytics ; база Big Query ; отчет в Data Studio
Итоговое решение работает и состоит из таких сущностей:
Справочник проектов в Google Таблицах
Это основной интерфейс настройки нужных параметров сбора данных, который позволяет решать такие задачи:
- Указывать, по каким аккаунтам собирать данные.
2. Видеть, из какого представления Google ***ytics собирать данные.
3. Понимать, какие цели в Google ***ytics считаются ключевыми (по номерам).
4. Указывать, в какой валюте должен быть отчет.
5. Понимать, делать ли конвертацию валюты дохода из модуля электронной торговли.
Интернет-маркетолог при старте нового проекта добавляет в справочник новую строку и заполняет соответствующие поля. Это понятные всем Google Таблицы, и сложности с этим не возникает.
6. Основная база Big Query. Здесь собираются рекламные показатели (клики, показы, расходы) из указанных в Справочнике проектов аккаунтов.
7. База Big Query с данными кабинетов Google Ads. Со временем у нас возникла необходимость собирать и выводить статистику по конверсиям на основании тега конверсии Google Ads, а не целей и транзакций Google ***ytics. Поэтому мы собираем эти данные в отдельной базе:
Ценность этой базы в том, что мы можем выводить в отчете конверсии по показам, кросс-девайсные конверсии и конверсии по модели data-driven.
8. База Big Query c данными кабинетов Facebook Ads. Глупо оценивать результативность Facebook кампаний только по Google ***ytics (обрыв меток, кросс-девайсность пользователей, разные модели атрибуции).
Есть такие типы кампаний, которые не приводят к сеансам на сайте (лидформы, мероприятия, видеокампании, вовлечение). Поэтому нужно собирать данные из Facebook-аккаунтов напрямую, в том числе, с разными окнами атрибуции:
9. Google Таблица плановых показателей и комментариев. Если есть необходимость выводить в отчете сравнение плана с фактом, то интернет-маркетолог заполняет плановые показатели в документе, который создается для каждого проекта:
В этой же Google Таблице можно записывать текстовые комментарии, привязанные к определенному месяцу:
Клиенту не всегда понятно, как тpaктовать данные графиков в отчете. Текстовый комментарий, привязанный к выбранному в отчете периоду, позволит понять смысл за цифрами:
Механизм
- Расходы, клики и показы из рекламных кабинетов напрямую собираются R-скриптом для всех проектов агентства в единую базу в Big Query. Таким образом, учитываются все типы кампаний. Точность парсинга данных о расходах, кликах и показах выше, чем при использовании сервисов стриминга данных в Google ***ytics вроде Owox или Renta, поскольку нет лишней прокладки в виде Google ***ytics.
- Данные о поведении на сайте (сеансы, транзакции, нужные конверсии и доход) собирает R-скрипт из Google ***ytics.
- Объединение точных расходов из рекламных кабинетов и данных о поведении из Google ***ytics происходит по ID кампании. Если ID кампании не будет передан в utm_campaign корректно, то данные по расходам и поведению на сайте не сойдутся, а PPC-специалист автоматически получает задачу на исправление UTM-метки. Поэтому важно четкое следование установленным правилам нейминга и разметки объявлений.
Данные по Google Ads подтягиваются из Google ***ytics. Поэтому для Google Ads не нужна UTM-метка и достаточно gclid.
- Импорт в Big Query происходит еженедельно по понедельникам за прошлую неделю в разрезе отдельных дней. Такой частоты обновления достаточно, так как решение не для оперативного отчета и мониторинга, а для еженедельной/ежемecячной отчетности.
- Визуализация происходит на базе разработанного шаблона отчета в Google Data Studio, который подключен к общей базе Big Query. Подключение ;; при помощи стандартного коннектора Big Query с использованием пользовательского запроса (custom query), в котором указано, по какому конкретно проекту нужно отображать данные:
У пользователя отчета нет доступа к статистике других проектов из Big Query.
- Возможности отчета:
- Благодаря функционалу объединения данных (data blending) в отчете есть отображение выполнения плановых показателей в % на сегодня. Плановые показатели берутся из отдельного документа. Интернет-маркетолог заполняет в начале месяца в рамках регулярной задачи.
- В шаблонном отчете подготовлены базовые таблицы и диаграммы, выведены основные показатели. Но благодаря тому, что с Data Studio работать достаточно просто, интернет-маркетолог может кастомизировать уже имеющийся шаблон. Например, подключить таблицу с данными из Facebook-кабинета с нужными показателями.
- В отчете есть возможность отображать комментарии для клиента по итогам месяца, которые маркетолог обычно пишет в нашем Личном Кабинете. Специалист вносит комментарии в документ плановых показателей
Какие проблемы возникли в процессе
- Точность расходов и независимость от Owox и других подобных сервисов требует сопоставления по ID кампании. Соответственно, если какая-то кампания размечена некорректно, то в базе не будет поведенческих данных по этой кампании.
- Скрипт сбора данных может отработать неправильно:
- собрать данные не из всех таблиц;
- может слететь токен аккаунта Яндекс. Директ или отключиться доступы к тому или иному аккаунту;
- сервер рекламной системы выдаст ошибку 500;
- будут ошибки при заполнении справочника проектов.
Несколько месяцев система работала и часто возникали несоответствия между статистикой в базе и статистикой из счетчиков и кабинетов. На отладку и поиск причин расхождения уходило много времени и сил. Доверие к системе у пользователей было подорвано.
В итоге мы решили обложить тестами почти все известные нам после первых месяцев работы возможные ошибки. Получилось около 15 различных проверок:
Мы создали специальный чат в Telegram, куда бот присылает все выявленные в процессе сбора данных. Вот эти ошибки:
Теперь мы можем сразу реагировать и переподтягивать данные после исправления ошибок.
Любимой функцией стала возможность в чате давать комaнду боту на пересбор по нужным проектам и генерировать токен для Яндекс.Директа:
- У Netpeak очень много клиентов в Казахстане. Многие приходят в агентство с уже внедренным модулем электронной торговли, в котором доход передается без указания currency code при отправке транзакции. Поскольку Google ***ytics поддерживает не все валюты, в частности, в настройках валюты представления нет тенге, то представления чаще всего в долларах США. В результате, в Google ***ytics видим правильные расходы в долларах США и многомиллионные, не конвертированные в доллар, доходы в тенге.
Разобраться с этим помогла функция, которая правильно конвертирует доход в нужную валюту.
Из какой валюты и в какую конвертировать, определяется на основании указанной в справочнике проектов реальной валюты дохода в e-commerce. На этом примере:
Мы сообщаем скрипту, что доход у нас на самом деле приходит в тенге, и мы хотим его конвертировать в доллар США, и вообще все показатели, связанные с деньгами, конвертировать в отчете в USD.
Что сейчас
- База работает стабильно, собирает данные, которым можно доверять. Мы можем удобно анализировать статистику по всем проектам портфеля:
2. Маркетологи получили шаблонную отчетность, которую легко кастомизировать под нужды проекта.
Что дальше
- Обновить логику сбора данных в таблицу Facebook и Google Ads таким образом, чтобы перезаписывать старые данные (более 28 дней назад). Это позволит учитывать конверсии, которые произошли спустя N количество дней после клика, и не попали в базу, собирающую статистику недельными отрезками.
- Внедрить отдельные базы для Яндекс. Директ и MyTarget. Ценности от этого меньше, чем от баз Google Ads и Facebook, но все равно пригодятся.
- Возможно, перейдем на ежедневный график обновления данных. Система контроля ошибок уже есть.
- Разметить проекты по тематикам, чтобы видеть тренды в той ли иной отрасли.
Комaнда
- Алексей Селезнев, Head of ***ytics Department, сумрачный гений аналитики Netpeak.
- Алекс Айчеу, PPC Team Lead, надоедливый product owner этой истории.
Благодарим за помощь в подготовке статьи Андрея Коваля!
Комментарии:
Грамотно оформленные метатеги презентуют сайт, помогают пользователям быстро найти нужную информацию, а поисковым системам — повысить ресурс в выдаче...
19 07 2025 12:12:49
Агентство Netpeak закрыло сделку по покупке агентства мобильного маркетинга Радомира Новковича RadASO....
18 07 2025 10:26:26
Представление — это уровень доступа в аккаунте Google ***ytics. На уровне представления можно предоставить или ограничить доступ пользователей к отчетам и аналитическим инструментам...
17 07 2025 17:26:40
Грамотная группировка поисковых запросов позволяет максимально увеличить поисковой трафик....
16 07 2025 9:31:50
Часто руководители, которые прекрасно справляются с работой в мирное время, в период войны перестают быть эффективными. У них нет навыков кризис-менеджмента. Чтобы удержать ситуацию на плаву, кризис-менеджером должен стать главный руководитель компании....
15 07 2025 10:44:23
Direct сделал подарок всем, кто уже давно хотел увеличить привлекательность своих объявлений — добавил возможность включения видеодополнений к текстово-графическим кампаниям. Как включить новую фишку от Директа и достаточно ли она эффективна?...
14 07 2025 18:33:34
Новости, доработки и обновления в услугах, блоге, Академии блога и Кластере....
13 07 2025 13:24:16
В аккаунте ***ytics появилась возможность подключения ремаркетинга в поисковой сети Google. Расскажем о результатах применения инструмента на примере кейса крупного проекта ecommerce....
12 07 2025 19:24:50
Менеджер, маркетолог, дизайнер программист? Делимся секретами нетпик, каким должен быть специалист по рекламе...
11 07 2025 1:52:43
Алгоритм технической подготовки IP-адреса к массовым рассылкам...
10 07 2025 2:39:29
Каким правилам нужно следовать, чтобы создать эффективный рекламный ролик?...
09 07 2025 9:47:39
Значит так, делаем из лимонов лимонад — «выжимаем» максимум из ошибки 404...
08 07 2025 5:56:36
Как использовать расширенное семантическое ядро для увеличения целевого трафика....
07 07 2025 0:40:16
Футпринт — это признак, по которому можно спалить PBN-сетку сайтов. Это как родинки. Если взять двух парней с родинкой на щеке, то не факт, что они братья. Но если родинки совпадают на щеке, локте и колене, то тут что-то подозрительное...
06 07 2025 6:20:28
В конце октября Яндекс начал открытое бета-тестирование новой версии Коммaндера. Я решила уже сейчас проверить все плюсы и минусы новой версии сервиса...
05 07 2025 3:22:16
Аналитик Netpeak Алексей Селезнев рассказал, как составить и пользоваться сводными таблицами онлайн в excel и за считанные секунды выделить нужные для анализа данные из десятков тысяч строк в отчетах Google ***ytics...
04 07 2025 5:57:16
Пользователи могут смотреть вирусные ролики без единого слова...
03 07 2025 3:41:37
Охват и средняя цена за клик в самых популярных тематиках....
02 07 2025 18:24:30
Десктопная версия, совместная работа (collabs), сбор средств и новые эффекты в Reels. Рассказываем, что дают новые функции. Узнать больше....
01 07 2025 10:21:15
зеркальные нейроны и сознание. как они влияют на наше поведение?...
30 06 2025 20:23:46
Решили перейти на Google ***ytics 4? Предлагаем разобраться, чем отличается инструмент от предыдущей версии и изучить новинки в отчетах «Демография» и «Технология»....
29 06 2025 18:30:33
Что такое идеальное время доставки почты и как его использовать для повышения кликабельности email-кампаний....
28 06 2025 5:12:12
Как написать годный кейс и победить страх чистого листа...
27 06 2025 2:48:56
Сет по контекстной рекламе в тематике «разработка программного обеспечения»: снижение стоимости клика на 89%....
26 06 2025 16:57:18
Наука перехода — понятие краулинга (crawling, сканирование) сайта и принципа его работы. Виды поисковых роботов и способы их управления и другие полезные фишки в рубрике Азбука SEO на Netpeak Blog...
25 06 2025 7:59:44
Сотрудник Google расскажет о том, как присоединиться к протесту, не навредив сайту....
24 06 2025 1:27:22
Почему важно знать детали создания и защиты уникального контента? Потому что это позволит защитить ваш сайт от санкций поисковых систем из-за неуникального контента...
23 06 2025 15:23:39
Покупать в Китае. Как брендам покорить сердца и кошельки китайских пользователей...
22 06 2025 16:31:14
От создания аккаунта до выбора пикселя — просто и понятно про TikTok....
21 06 2025 20:57:20
Как уменьшить время ответа сервера и повысить общий показатель скорости загрузки сайта...
20 06 2025 13:27:32
Руководитель отдела HR, Ольга Пачесная, написала пост о главном — людях, которые выбрали работу в Netpeak....
19 06 2025 10:35:18
Как работают SEO-специалисты, что нужно знать о принципах работы алгоритмов Гугл, как продвигать мобильные приложения и каким образом может монетизироваться Телеграм. Узнать больше!...
18 06 2025 0:55:52
Кейс SMM-специалиста Edu-CASH.com о том, что делать, если Facebook страница заблокирована. И почему могут забанить аккаунт даже популярного бренда. Узнайте в статье!...
17 06 2025 7:56:20
В Twitter удобно собрать список потенциальных клиентов, чтобы время от времени посматривать за их новостями...
16 06 2025 9:46:56
Личный опыт экс-главреда экс-блога Netpeak (сейчас — Netpeak Journal): о работе с информацией, мотивации написания, редактуре черновика, подаче информации по степени важности, выделении главного и составлении окончательной версии текста. Как сделать текст логичным и полезным? Узнайте!...
15 06 2025 19:29:43
О том, как добавить статью в Википедию и о правилах, которые нужно выполнить, чтобы ее не удалили: от добавления Интервики до ссылок на другие статьи, специальных терминов, добавления страниц в категории и выбора источников. Узнать больше!...
14 06 2025 1:44:44
Отслеживаем пропущенные, анализируем входящие и делаем выводы о том, как организовать работу менеджеров....
13 06 2025 7:54:56
Нужно разбить ячейку или составить график? Если вы знаете функции, таблицы гугл могут пpaктически заменить отдельные сервисы или дополнения...
12 06 2025 20:36:38
Старт любых активностей в сфере email-маркетинга — разработка стратегии...
11 06 2025 14:53:34
Наталья Воскобойникова из контент-студии WordFactory решила дать четкую хаpaктеристику потенциальному заказчику гостевых постов. Если хотя бы один ваш ответ на вопросы в этом посте отрицательный, стоит найти другие тактики продвижения своего проекта....
10 06 2025 23:41:13
В арсенале Google Рекламы есть очень ценный инструмент — отслеживание конверсий....
09 06 2025 14:48:57
Сотрудник не справляется? Значит с ним пора прощаться. Эмоции в сторону, действуем по алгоритму....
08 06 2025 4:58:26
Большинство рекламодателей знают и используют только 4-5 видов таргетинга, а остальные оставляют без внимания. А ведь правильно подобранная аудитория — это один из залогов успеха рекламной стратегии. Поэтому обязательно тестируйте новые таргетинги...
07 06 2025 18:26:38
Какие форматы видеорекламы логичнее купить для создания спроса на новую продукцию? Выясняем на примере кейса бренда Yves Rocher...
06 06 2025 15:48:19
Создаем фид с помощью выгрузки товаров в формате yml и специального скрипта, который сделает всю (почти) грязную работу за вас....
05 06 2025 3:15:54
Основатель фейсбука опубликовал на WIRED крутое интервью...
04 06 2025 18:30:45
Статистика изменений долей рынка после майского и декабрьского апдейта Google в 2020 году....
03 06 2025 12:19:17
Как передавать данные пpaктически о каждом «шаге» пользователя на сайте...
02 06 2025 8:42:53
Примеры новой концепции Digital-маркетинга по формуле 8Р...
01 06 2025 19:41:51
Как оптимизировать и выжать максимум пользы из сниппетов сайта в выдаче Google и Яндекс...
31 05 2025 3:48:24
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::