Как создать гибкий шаблон для наглядной статистики и автоматизировать отчетность для всех участников проекта
Мы уже делились информацией о том, как построена работа нашего департамента контекстной рекламы — показывали насколько структурирован и организован процесс. Сегодня расскажем, как стандартизировали сбор данных по проектам клиентов и отчетности. Процесс упростили и теперь тратим на него меньше времени, не совершаем лишние действия, поэтому хотим поделиться, как этого достигли, и рассказать, на какие грабли наступили в процессе.
Исходная ситуация
На каждом проекте наши специалисты сталкивались с разными форматами отчетности: дашборд в Data Studio, кастомный отчет Google ***ytics, документ в Google Spreadsheets или комментарий о результатах за месяц в личном кабинете (ЛК).
ЛК — разработка агентства, которая помогает клиентам видеть все действия по своему проекту. Существует также бот в Telegram, который выводит необходимую информацию в мессенджер.
Больше об ЛК вы найдёте в таких постах:
Какие проблемы это вызывало
- У project-менеджеров, тимлидов и функциональных руководителей не было быстрого доступа к результатам по проектам, так как вся информация в том или ином виде находилась в разных местах.
- У project-менеджеров, руководителей и клиентов не было понимания результативности, поскольку в используемых отчетах не было процента достижения плановых показателей. 1000 лидов ; это хорошо или плохо? Зависит от того, какое целевое значение.
- Поскольку отчеты от проекта к проекту имели разный формат, детализацию и внешний вид ; это приводило к сложностям в работе. Например, чтобы проанализировать ситуацию, тимлиду нужно было вникать в особенности разных отчетов по каждому проекту из портфеля. Это лишние затраты времени.
- На проектах, где использовались Google Таблицы, зачастую отчетность заполнялась вручную или наполовину вручную. Это нeблагодарная работа, чреватая ошибками и отнимающая время, которое лучше потратить на усиление результатов по проекту.
- Когда мы переставали работать с проектом, терялась полезная статистика.
- Несмотря на огромный портфель проектов, не было возможности анализировать сводные данные по портфелю.
Требования к новому решению
Оно должно быть удобным, красивым, гибким и автоматизированным. А именно:
- Минимум ручной работы после настройки.
- Простая настройка сбора данных и визуализации. Интернет-маркетолог, не специализирующийся на веб-аналитике может сделать это без освоения новых технологий ; программирования на R или Python.
- При необходимости ; возможность видеть план/факт.
- Гибкость: возможность кастомизировать отчет под нужды конкретного проекта. Убрать ненужные показатели или добавить нужные.
- Простота дизайна. Отчет не перегружен метриками и диаграммами и не выглядит, как контрольная работа студента, изучающего работу Power Bi или Data Studio.
- Последовательный дизайн. Несмотря на некоторую кастомизацию, отчеты должны быть в едином стиле и выглядеть, аккуратно и красиво.
Итоговое решение
Сформировали такую цепочку:
Статистика рекламных кабинетов + статистика Google ***ytics ; база Big Query ; отчет в Data Studio
Итоговое решение работает и состоит из таких сущностей:
Справочник проектов в Google Таблицах
Это основной интерфейс настройки нужных параметров сбора данных, который позволяет решать такие задачи:
- Указывать, по каким аккаунтам собирать данные.
2. Видеть, из какого представления Google ***ytics собирать данные.
3. Понимать, какие цели в Google ***ytics считаются ключевыми (по номерам).
4. Указывать, в какой валюте должен быть отчет.
5. Понимать, делать ли конвертацию валюты дохода из модуля электронной торговли.
Интернет-маркетолог при старте нового проекта добавляет в справочник новую строку и заполняет соответствующие поля. Это понятные всем Google Таблицы, и сложности с этим не возникает.
6. Основная база Big Query. Здесь собираются рекламные показатели (клики, показы, расходы) из указанных в Справочнике проектов аккаунтов.
7. База Big Query с данными кабинетов Google Ads. Со временем у нас возникла необходимость собирать и выводить статистику по конверсиям на основании тега конверсии Google Ads, а не целей и транзакций Google ***ytics. Поэтому мы собираем эти данные в отдельной базе:
Ценность этой базы в том, что мы можем выводить в отчете конверсии по показам, кросс-девайсные конверсии и конверсии по модели data-driven.
8. База Big Query c данными кабинетов Facebook Ads. Глупо оценивать результативность Facebook кампаний только по Google ***ytics (обрыв меток, кросс-девайсность пользователей, разные модели атрибуции).
Есть такие типы кампаний, которые не приводят к сеансам на сайте (лидформы, мероприятия, видеокампании, вовлечение). Поэтому нужно собирать данные из Facebook-аккаунтов напрямую, в том числе, с разными окнами атрибуции:
9. Google Таблица плановых показателей и комментариев. Если есть необходимость выводить в отчете сравнение плана с фактом, то интернет-маркетолог заполняет плановые показатели в документе, который создается для каждого проекта:
В этой же Google Таблице можно записывать текстовые комментарии, привязанные к определенному месяцу:
Клиенту не всегда понятно, как тpaктовать данные графиков в отчете. Текстовый комментарий, привязанный к выбранному в отчете периоду, позволит понять смысл за цифрами:
Механизм
- Расходы, клики и показы из рекламных кабинетов напрямую собираются R-скриптом для всех проектов агентства в единую базу в Big Query. Таким образом, учитываются все типы кампаний. Точность парсинга данных о расходах, кликах и показах выше, чем при использовании сервисов стриминга данных в Google ***ytics вроде Owox или Renta, поскольку нет лишней прокладки в виде Google ***ytics.
- Данные о поведении на сайте (сеансы, транзакции, нужные конверсии и доход) собирает R-скрипт из Google ***ytics.
- Объединение точных расходов из рекламных кабинетов и данных о поведении из Google ***ytics происходит по ID кампании. Если ID кампании не будет передан в utm_campaign корректно, то данные по расходам и поведению на сайте не сойдутся, а PPC-специалист автоматически получает задачу на исправление UTM-метки. Поэтому важно четкое следование установленным правилам нейминга и разметки объявлений.
Данные по Google Ads подтягиваются из Google ***ytics. Поэтому для Google Ads не нужна UTM-метка и достаточно gclid.
- Импорт в Big Query происходит еженедельно по понедельникам за прошлую неделю в разрезе отдельных дней. Такой частоты обновления достаточно, так как решение не для оперативного отчета и мониторинга, а для еженедельной/ежемecячной отчетности.
- Визуализация происходит на базе разработанного шаблона отчета в Google Data Studio, который подключен к общей базе Big Query. Подключение ;; при помощи стандартного коннектора Big Query с использованием пользовательского запроса (custom query), в котором указано, по какому конкретно проекту нужно отображать данные:
У пользователя отчета нет доступа к статистике других проектов из Big Query.
- Возможности отчета:
- Благодаря функционалу объединения данных (data blending) в отчете есть отображение выполнения плановых показателей в % на сегодня. Плановые показатели берутся из отдельного документа. Интернет-маркетолог заполняет в начале месяца в рамках регулярной задачи.
- В шаблонном отчете подготовлены базовые таблицы и диаграммы, выведены основные показатели. Но благодаря тому, что с Data Studio работать достаточно просто, интернет-маркетолог может кастомизировать уже имеющийся шаблон. Например, подключить таблицу с данными из Facebook-кабинета с нужными показателями.
- В отчете есть возможность отображать комментарии для клиента по итогам месяца, которые маркетолог обычно пишет в нашем Личном Кабинете. Специалист вносит комментарии в документ плановых показателей
Какие проблемы возникли в процессе
- Точность расходов и независимость от Owox и других подобных сервисов требует сопоставления по ID кампании. Соответственно, если какая-то кампания размечена некорректно, то в базе не будет поведенческих данных по этой кампании.
- Скрипт сбора данных может отработать неправильно:
- собрать данные не из всех таблиц;
- может слететь токен аккаунта Яндекс. Директ или отключиться доступы к тому или иному аккаунту;
- сервер рекламной системы выдаст ошибку 500;
- будут ошибки при заполнении справочника проектов.
Несколько месяцев система работала и часто возникали несоответствия между статистикой в базе и статистикой из счетчиков и кабинетов. На отладку и поиск причин расхождения уходило много времени и сил. Доверие к системе у пользователей было подорвано.
В итоге мы решили обложить тестами почти все известные нам после первых месяцев работы возможные ошибки. Получилось около 15 различных проверок:
Мы создали специальный чат в Telegram, куда бот присылает все выявленные в процессе сбора данных. Вот эти ошибки:
Теперь мы можем сразу реагировать и переподтягивать данные после исправления ошибок.
Любимой функцией стала возможность в чате давать комaнду боту на пересбор по нужным проектам и генерировать токен для Яндекс.Директа:
- У Netpeak очень много клиентов в Казахстане. Многие приходят в агентство с уже внедренным модулем электронной торговли, в котором доход передается без указания currency code при отправке транзакции. Поскольку Google ***ytics поддерживает не все валюты, в частности, в настройках валюты представления нет тенге, то представления чаще всего в долларах США. В результате, в Google ***ytics видим правильные расходы в долларах США и многомиллионные, не конвертированные в доллар, доходы в тенге.
Разобраться с этим помогла функция, которая правильно конвертирует доход в нужную валюту.
Из какой валюты и в какую конвертировать, определяется на основании указанной в справочнике проектов реальной валюты дохода в e-commerce. На этом примере:
Мы сообщаем скрипту, что доход у нас на самом деле приходит в тенге, и мы хотим его конвертировать в доллар США, и вообще все показатели, связанные с деньгами, конвертировать в отчете в USD.
Что сейчас
- База работает стабильно, собирает данные, которым можно доверять. Мы можем удобно анализировать статистику по всем проектам портфеля:
2. Маркетологи получили шаблонную отчетность, которую легко кастомизировать под нужды проекта.
Что дальше
- Обновить логику сбора данных в таблицу Facebook и Google Ads таким образом, чтобы перезаписывать старые данные (более 28 дней назад). Это позволит учитывать конверсии, которые произошли спустя N количество дней после клика, и не попали в базу, собирающую статистику недельными отрезками.
- Внедрить отдельные базы для Яндекс. Директ и MyTarget. Ценности от этого меньше, чем от баз Google Ads и Facebook, но все равно пригодятся.
- Возможно, перейдем на ежедневный график обновления данных. Система контроля ошибок уже есть.
- Разметить проекты по тематикам, чтобы видеть тренды в той ли иной отрасли.
Комaнда
- Алексей Селезнев, Head of ***ytics Department, сумрачный гений аналитики Netpeak.
- Алекс Айчеу, PPC Team Lead, надоедливый product owner этой истории.
Благодарим за помощь в подготовке статьи Андрея Коваля!
Комментарии:
Офис Netpeak в Харькове официально открыт! В этом посте, вместо игры на фанфарах, мы на собственном примере рассмотрим, что нужно для создания регионального отделения в разгар кризиса....
06 12 2023 0:37:46
Тема поста — исследование электронной коммерции в Украине: рынки, статистика, объем продаж, поисковый потенциал....
05 12 2023 8:18:47
Данные по 43 миллионам кликов в 27 тематиках и 391 городах страны...
04 12 2023 6:11:27
Персональная стратегия продвижения онлайн с помощью SEO и контекстной рекламы....
03 12 2023 14:41:48
Пример, как 4000+ гривен превращаются в 45000+ гривен. Ниша интернет-магазинов, да еще и бытовой техники уже давно является высококонкурентной. Но при правильном продвижении даже новичок может добиться результатов....
02 12 2023 1:31:43
Удача и везение — не случайность. Это выбор. Любопытные эксперименты профессора Ричарда Вайсмена инсайде...
01 12 2023 21:58:32
Интересные детали интерьера в офисах украинских IT-компаний: от массажного стола и тенниса до звукозаписывающей студии и корпоративной велопарковки. Читать дальше!...
30 11 2023 9:43:35
Alexa Rank учитывает как число страниц, так и количество просмотров страниц. Alexa Rank 1, что означает, что все сайты и сервисы Google посещают больше всего посетителей в интернете....
29 11 2023 12:53:20
Надежный сайт позволит вести успешную деятельность, защитить плоды собственного труда и результаты работы исполнителей, с которыми вы сотрудничали. Для реализации задумки вам понадобятся авторские права....
28 11 2023 15:19:15
Понадобится всего пару минут, чтобы создать отчет о тратах, количестве конверсий или любых других важных показателях. Понятная инструкция для PPC-специалистов и про возможности и ограничения бесплатной версии расширения. Читайте дальше!...
27 11 2023 19:25:20
Реклама в ASA значительно повышает эффективность ASO....
26 11 2023 7:16:38
SEO-продвижение сайта, торгующего натуральной косметикой...
25 11 2023 11:56:48
Пора сделать так, чтобы мобильная версия сайта приносила прибыль....
24 11 2023 17:39:42
У нас на руках оказались все карты для создания собственного мини-рейтинга популярных сервисов email-рассылок....
23 11 2023 11:21:38
Инсайты Диви Конф 2021, онлайн-конференции о видеомаркетинге....
22 11 2023 23:45:20
О том, какие результаты дает эта технология, рассказал Александр Иванов, Head of Product в ЛУН.ua в рамках прошлогодней самой летней конференции 8P. Читайте, как его комaнде удалось разогнать загрузку страниц сервиса Flatfy до 0,2 секунды...
21 11 2023 17:12:20
Информация о любой организации распространяется в интернете очень быстро, особенно негативная. Поэтому необходимо учиться управлять своей репутацией....
20 11 2023 7:31:34
Технологии решают, но не всегда....
19 11 2023 3:25:27
SEO-продвижение интернет-сайта, где можно заказать доставку цветов. Оплатой за трафик под Россию, Украину, Казахстан, Армению, Грузию...
18 11 2023 11:21:53
Если вы до сих пор сомневаетесь — прекратите это и делитесь своим опытом с читателями, потенциальными клиентами, инвесторами и партнерами. Узнать больше!...
17 11 2023 4:59:47
Что делать, если вы столкнулись со спамом в отчетах Google ***ytics? Значит ли это, что кто-то имеет доступ к вашему аккаунту, или что кто-то специально влияет на данные сайта в GA? Как они это делают? И как исключить подобные данные из отчетов?...
16 11 2023 0:38:59
Что, если бы покупка в супермаркете происходила так же, как в онлайн-магазине?...
15 11 2023 17:24:20
Тошнота и процент воды в тексте не должны превышать допустимую норму, иначе не только пользователи уйдут с сайта, поисковые роботы понизят сайт в рейтинге. Узнать больше!...
14 11 2023 15:46:14
Интересный и важный документ, не пропустите. Для ранжирования используется сумма коммерческой и тематической релевантности. Уходя с головой в SEO, многие вебмастера забывают о пользовательских факторах. Узнайте больше об этом!...
13 11 2023 16:57:27
Владельцы айфонов в странах арабского мира легче расстаются с деньгами за приложения. Вот почему арабская локаль в App Store так привлекательна...
12 11 2023 20:48:37
Как Netpeak продвигал Cifrus.ru, один из ведущих магазинов цифровой техники в Москве....
11 11 2023 2:39:33
Данные по 24 миллионам кликов в 24 тематиках и 391 городу...
10 11 2023 1:50:34
160 символов — размер рекламного сообщения, 2 млн евро — минимальный бюджет для запуска. Уже интересно?...
09 11 2023 3:49:10
Идеи, кейсы и советы от экспертов. Читайте и находите что-то для продвижения своего бизнеса. Нетривиальные идеи от признанных экспертов-пpaктиков! Рекомендуем каждому, что развивает или планирует свой бизнес в интернете!...
08 11 2023 12:12:57
Выдержка из интервью Дэнни Салливаном с представителями компаний Google и Bing...
07 11 2023 12:41:25
Что такое ускоренные мобильные страницы и как их посмотреть в Google ***ytics...
06 11 2023 19:47:41
Работ по оптимизации всегда много, а выделить приоритеты при продвижении онлайн — непросто. Что стоит проверять и исправлять в первую очередь?...
05 11 2023 15:16:26
Страховка, медицина, корпоративы, английский и оплата спортзала — знакомые плюшки IT-компаний. В этом материале читайте про редкие и необычные бонусы, которые предоставляются в некоторых IT-компаниях Украины....
04 11 2023 5:47:30
Бесплатно, быстро и безопасно. Но есть и минусы. Узнать больше!...
03 11 2023 10:23:43
И эксперт, и агент. Анонимный покупатель — специальная проверка бизнес-процессов до и во время рекламной кампании...
02 11 2023 5:28:54
Вести бизнес в интернете с помощью развлекательного сайта, СМИ, узкоспециализированного портала вполне реально. Правда, нужно знать, как на них заpaбатывать....
01 11 2023 8:53:52
Контент-революция: искусственный интеллект для уникальных текстов с достоверной информацией и контент-платформы на блокчейне для сохранения авторского права. Читайте больше в статье!...
31 10 2023 6:25:14
Что бывает, когда работа над продвижением сайта начинается до его выхода в паблик....
30 10 2023 21:57:18
Много интересных фактов о работе мозга и новейших исследованиях социологии и психологии....
29 10 2023 22:32:45
Где искать информацию, как составить контент-план, писать тексты быстро и легко, а затем продвигать их. Собрали для вас подборку постов о разных этапах работы с контентом....
28 10 2023 13:55:39
Убираем человеческий фактор при сборе отчетов по контекстной рекламе...
27 10 2023 0:17:43
Давайте больше не будем сливать бюджет, выбирая неправильный параметр....
26 10 2023 19:28:44
Атрибут rel="canonical" помогает бороться с дублированием контента и обезопасить сайт от дублирования и копирования...
25 10 2023 18:50:43
Рецензия на книгу «Нейромаркетинг в действии» Дэвида Льюиса...
24 10 2023 18:16:26
Стратегия продвижения, благодаря которой удалось снизить стоимость заявки от покупателей. Рассказываем об особенностях проведения акций в нише. Узнать больше!...
23 10 2023 11:26:31
Новая инструкция, которую можно применять к любым задачам в Google Таблицах....
22 10 2023 9:51:46
Исследование Ringostat о самых востребованных CRM-системах в США...
21 10 2023 0:56:55
Андреас Рётль о продвижении Journi: как трое выпускников Стэнфордского университета создали приложение для сторителлинга с 25 000 пользователями в 100 странах....
20 10 2023 17:32:41
Нужно ли начинать работу с Google Marketing Platform, и если да, то на каком этапе развития бизнеса?...
19 10 2023 19:12:55
Как начать бизнес в институте и масштабировать его до международной группы компаний. Собрали все самое интересное из интервью фаундера «Техно Ёж» Алексея Гулыя на конференции 8P....
18 10 2023 13:48:47
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::