Как автоматизировать PPC-отчетность с помощью языка R, Google Таблиц и Data Studio
Любому РРС-специалисту знакома ситуация, когда наступает время отчетов и приходится долго и скрупулезно вносить данные в таблицу. Можно, конечно, спихнуть работу на джуниора. Однако потом все равно придется лично все проверять. Кроме того, для некоторых проектов отчетность становится настолько сложной и развернутой, что работой над ней занимается уже целая комaнда.
Проект, которым занимается наша комaнда — это OLX. Несколько стран, десяток направлений деятельности (от детской одежды до недвижимости), тысячи поисковых кампаний в Google Ads и Yandex Direct, а также множество медийных активностей в Facebook. Работа с таким большим проектом требует четкого контроля и подробной отчетности.
В какой-то момент старые методы автоматизации (Supermetrics, прямой парсинг данных в Data Studio, расширения Google Ads и ***ytics для доксов) перестали справляться с объемом данных. Они не давали необходимой чистоты и уровня детализации, а затраты времени на поддержание и контроль этой системы стали стремительно расти. Кроме того, сама структура отчетности устаревала как информационно, так и визуально.
В поиске решения этой проблемы я и пришел к способу, который опишу в цикле статей — «Как автоматизировать РРС-отчетность, не используя платных решений и без глубокого погружения в программирование». Вы читаете первый пост цикла.
Важно: мой способ — не волшебная таблетка, и здесь не будет готовых решений на все случаи жизни.
Итак, что нам понадобится:
- Среда разработки RStudio (да, совсем без программирования никак).
- Google Таблицы.
- Google Data Studio.
Почему именно эти инструменты?
По порядку:
1. Язык R. У него конкретное назначение — это язык программирования для статистической обработки данных и работы с графикой. Почему не Python? Действительно, Python более универсален и с его помощью можно решать больший перечень задач. Но в нашем случае его универсальность и многозадачность скорее минус — дольше разбираться.
Кроме того, конкретно для интернет-маркетологов по R есть множество обучающих материалов от Алексея Селезнева, например, бесплатный курс по основам R, каналы R4marketing в Telegram и на YouTube, множество статей в Netpeak Journal, на GitHub и других ресурсах, а также платный курс по R для тех, кто хочет полноценно разобраться в возможностях этого инструмента для автоматизации сбора данных.
2. Google Таблицы. Во-первых — возможность интеграции с R и Data Studio, во-вторых — привычность и удобство использования. Почему не BigQuery? На старте BigQuery — достаточно сложный инструмент, к тому же платный (хотя и недорогой), и кроме того — не всем нужно работать с большими объемами данных, поэтому возможностей Spreadsheets будет достаточно.
3. Google Data Studio. Простой, удобный и бесплатный инструмент, который позволяет визуализировать и красиво оформлять данные, а также доступен онлайн, благодаря чему отчетами удобно делиться как внутри комaнды, так и с клиентами.
Какие типы задач можно решить с помощью этих инструментов?
Контроль бюджетов
Структура проекта OLX такова, что нашей комaнде из четырех специалистов необходимо контролировать несколько десятков отдельных бюджетов в разных аккаунтах и в разных валютах. При этом из-за больших объемов трафика цена ошибки очень велика. Кроме того, отдельным направлением деятельности является работа с B2B-клиентами OLX, а это, на момент написания статьи, более 70 самостоятельных мини-проектов, каждый со своими отдельными бюджетами, сроками работы и KPI.
Для контроля B2B-проектов с помощью приведенных выше инструментов мы реализовали отчет, который позволяет увидеть все необходимые данные по всем клиентам сразу или по каждому отдельно.
Кому подойдет подобное решение?
- РРС-специалистам с большим количеством проектов;
- тимлидам для контроля трат по проектам комaнды;
- комaндам больших проектов для контроля бюджетов по разным направлениям.
Стандартизированная отчетность для типовых клиентов
Если у вас множество похожих проектов, для них можно создать стандартные отчеты, в которые можно подтягивать скриптом необходимые данные, не тратя время на сбор отчетов для каждого проекта отдельно.
Для тех же B2B-проектов мы реализовали автоматическую ежедневную отчетность по основным показателям.
Кому подойдет подобное решение?
- РРС-специалистам с большим количеством проектов.
- РМ-ам для предоставления быстрой отчетности клиентам.
- тимлидам для проверки результатов по проектам комaнды.
Углубленная отчетность для крупных клиентов
При необходимости можно строить отчеты по десяткам параметров и показателей из разных источников во множестве разрезов. Такие отчеты показывают проблемы или точки роста проекта, поэтому не придется каждый раз проводить исследование, чтобы проверить ту или иную гипотезу.
Например, для OLX мы реализовали развернутый отчет, с помощью которого можно в любой момент получить необходимые данные в нужном разрезе, не тратя время на то, чтобы «добыть» их в разных аккаунтах и системах аналитики.
Разумеется, подобные отчеты необходимы больше специалистам, чем клиенту. Для новичка или не вовлеченного глубоко в проект человека они могут показаться «перегруженными».
Кому подойдет подобное решение?
- комaнде РРС-специалистов на энтерпрайз проектах для поиска проблем и точек роста;
- аналитикам на крупных проектах; специалистам со стороны клиента;
- тимлидам для проверки результатов по проектам комaнды.
Решение повторяющихся задач
Если существует необходимость достать какие-либо данные, и при этом есть вероятность, что данные придется доставать регулярно, лучше реализовать это через скрипт. При должном навыке, написание скрипта займет столько же времени, сколько и заполнение отчета вручную (а может и быстрее). Зато при повторном выполнении задачи нужно будет всего лишь запустить сохраненный скрипт.
Кому подойдет подобное решение?
- любому специалисту, который работает с данными и хочет повысить эффективность своей работы.
С чего начать?
Прежде, чем браться за новое, нужно привести текущие дела в порядок. В нашем случае это значит, что для старта следует привести к единой структуре и общему виду аккаунты, из которых будем тянуть данные.
Тезис кажется очевидным, но это далеко не во всех случаях так. Часто в больших и старых аккаунтах кампании создаются не просто разными специалистами, но и разными «поколениями» специалистов. В итоге структура одних кампаний может сильно отличаться от структуры других, а почему она именно такая, и какая логика в это закладывалась — никто уже не помнит.
Носитель знаний по кампаниям уже сменил десятую работу и состарился. Кампании осталось в текущем виде, потому-что «так исторически сложилось» и ни у кого не доходят руки всё это разгрести. Работает и работает, есть задачи и поважнее, вон срочно нужно запустить акцию.Поэтому, первым делом, необходимо прописать структуру ваших кампаний. То есть натурально взять и расписать на листе бумаги или в онлайн доксе:
- что к чему должно относится в вашем аккаунте;
- зачем всё это здесь;
- как и почему называется именно так.
Затем внимательно просмотрите ваш аккаунт. Когда пропишете структуру так, как вы её понимаете, и посмотрите, как она выглядит на самом деле, скорее всего найдете множество несоответствий, лишнего или недостающего.
Далее нужно браться за чистку «авгиевых конюшен». Если в названии кампаний или групп указывается, например, язык — везде должно быть только «ua» в нижнем регистре, а не «uk», «укр» и «UA» одновременно. Если платформа — везде desktop, каждый разделитель на своем месте, ну и так далее. У вас должна быть возможность выделить любой нужный вам сегмент. И чем меньше для этого нужно указать вариантов написания фильтров — тем лучше.
В идеале — пропишите единые правила нейминга для кампаний, покуда правила не станут для всех как «Отче наш».
Например, нейминг для групп объявлений мы реализовали так:
В процессе создания структуры кампаний, в названия сразу необходимо закладывать составляющие, по которым вы будете строить отчеты.
В идеале все кампании и группы должны попадать под фильтры «без пустого остатка».
Например, в данном примере отчета есть несколько фильтров и какую из комбинаций фильтров не задай, для нее будет свое соответствие. И наоборот, если отключить все варианты в фильтрах — не останется неучтенной кампании.
Установка языка R и среды разработки RStudio
Итак, теперь ваши аккаунты четкие, а это значит, что пришла пора «делать дела».
Начинаем с установки самого языка, так как RStudio — это оболочка R для упрощения работы с ним. Если сделать наоборот, вас всё равно заставят сначала установить R, но окольными путями и с лишними телодвижениями.
Приступим к установке R и RStudio.
- Ссылка для установки языка R. Никаких специальных настроек, просто соглашаемся со всем, что предлагает установщик.
- Ссылка для установки RStudio. Выбираем бесплатную версию RStudio Desktop.
Также соглашаемся со всеми пунктами, улыбаемся и машем.
Когда через секунды полторы вам станет больно от стандартной темы RStudio, откройте на панели инструментов «Tools» — «Global options» — «Appearance» и выберите настройки темы для себя.
Взаимодействие пользователя RStudio с рекламными аккаунтами происходит через их API посредством специальных пакетов R для этих сервисов. Авторизация осуществляется по протоколу OAuth 2.0, вместо логина и пароля используются токены.
Авторизация и доступ к API рекламных сервисов — это отдельная история. Далее я опишу, как получить возможность взаимодействовать с основными рекламными сервисами.
Установка пакета google***yticsR и авторизация
Пакет google***yticsR предназначен для работы с API Google ***ytics.
Работа с любым API начинается с авторизации.
Перед тем, как сделать свой первый запрос к API Google ***ytics, необходимо пройти несколько подготовительных шагов:
- выбрать наиболее подходящий способ авторизации;
- при необходимости создать проект в Google Cloud, если его ещё нет;
- создать ключ сервисного аккаунта или обычные учетные данные;
- если создали сервисный аккаунт, дать на его почтовый адрес доступ к нужным аккаунтам Google ***ytics;
- при необходимости создать переменные среды;
- включить API Google ***ytics.
Существуют такие способы авторизации в google***yticsR:
- со стандартными параметрами пакета;
- через собственное приложение, созданное в Google Cloud Console;
- через сервисный аккаунт.
Самый простой способ авторизации — использование комaнды ga_auth() со стандартными значениями аргументов, установленными по умолчанию. Большинство пользователей проходят авторизацию именно так, но вы можете столкнуться с лимитом 50 000 запросов к API в сутки.
Подключение API ***ytics
Также необходимо включить Google ***ytics API. Сделать это можно через библиотеку в Google Cloud Platform. Либо перейдите по прямым ссылкам и включите там:
1. Google ***ytics Reporting API.
Включенные API выглядят так:
Запуск пакета google***yticsR в RStudio и авторизация
Для установки пакета в R необходимо запустить (Ctrl+Enter) в консоли комaнду install.packages(название пакета). Эту комaнду нужно запустить один раз при установке пакета.
Для запуска пакета запустите комaнду library(название пакета):
install.packages(\"google***yticsR\") # установка библиотеки для работы с Google ***ytics
library(google***yticsR) # запуск библиотеки для работы с Google ***ytics
Для запуска авторизации в R используйте комaнду:
# Авторизация в Google ***ytics
ga_auth(email=\"youremail@gmail.com\")
Далее следуйте инструкциям RStudio.
О более продвинутых способах авторизации (через собственное приложение и через сервисный аккаунт) есть видео на канале R4marketing и статья Алексея Селезнева. Рекомендую вам самостоятельно изучить и опробовать их.
Установка пакета RAdwords и прохождение авторизации
Пакет RAdwords предназначен для работы с API Google Ads.
Прежде, чем мы начнем разбираться с пакетом для работы с Google Ads, предупреждаю, что получить доступ к его API — достаточно длительный и трудный процесс. Большую часть вопросов по Google Ads можно закрыть через парсинг данных из отчетов по Google ***ytics и по Google Ads, куда проще получить доступ.
Если же вам необходимы данные именно из Google Ads, и вы не боитесь трудностей — вперед!
Получение доступа к API Google Ads
Для доступа к API вам необходимо:
- Создать центр клиентов. Перейдите по этой ссылке и зарегистрируйте новый центр клиентов (МСС). Обратите внимание, что центр клиентов можно создать только в том аккаунте Google, к которому ещё не привязан ни один аккаунт Google Ads.
- Подать заявку на доступ к API. Перейдите в «Инструменты» (значок гаечного ключа в правом углу) — «Дополнительные инструменты» — «Центр API». Заполните все поля и примите условия использования. После создания идентификатора заполните заявку на уровень доступа.
Актуальная информация о том, как получить доступ к API Google Ads — в официальной справке.
- Далее вашу заявку рассмотрят и одобрят (но это не точно).
- Создать приложение в Google Cloud.
- войдите в управляющий аккаунт, откройте страницу «Учетные данные» в Google Developers Console и создайте новый проект;
- далее жмём кнопку «Создать учётные данные» и выбираем «Идентификатор клиента OAuth»;
- если система предложит указать название продукта, нажмите «Настроить окно запроса доступа»;
- укажите запрашиваемую информацию и нажмите «Сохранить», чтобы вернуться к экрану «Учетные данные»;
- в разделе «Тип приложения» выберите «Приложение для ПК»;
- укажите название в появившемся поле; нажмите кнопку «Создать». Появятся идентификатор и секретный ключ клиента OAuth2. Скопируйте и сохраните их. На следующем шаге их нужно будет добавить в файл конфигурации.
Запуск пакета RAdwords в RStudio и авторизация
Установка пакета:
install.packages(\"RAdwords\") # установка библиотеки для работы с Google Ads
library(RAdwords) # запуск библиотеки для работы с Google Ads
Если доступы к API получены, вы можете пройти авторизацию в RStudio:
# Авторизация в Google Ads
ads_auth <- doAuth()
# Идентификатор в Google Ads
account_id <- \"123-456-7890\"
Далее следуйте инструкциям RStudio.
Ещё раз подумайте, следует ли вам заморачиваться с заявками на доступ к API, и не хватит ли вам для ваших целей возможностей Google Аналитики.
Установка пакета rfacebookstat и прохождение авторизации
Пакет rfacebookstat предназначен для работы с API Facebook.
Авторизация через fbAuth()
Самый простой способ авторизации в rfacebookstat — через запуск комaнды fbAuth() и встроенное в пакет приложение. Предоставив необходимые разрешения пакету, вы перенаправитесь на страницу rfacebookstat на github, где сгенерируется краткосрочный токен.
Этот токен вы копируете и вставляете в консоль R для прохождения авторизации. Далее вам предложат сохранить токен, и он станет долгосрочным.
Авторизация через собственное приложение
Ещё один вариант авторизации — через создание собственного приложения в Facebook.
- Создайте приложение в веб-интерфейсе Facebook, перейдя по ссылке.
- Нажмите кнопку «Создать приложение», которая находится в правом углу.
- Выберите назначение «Управление бизнес-интеграциями».
- Заполните необходимые поля.
5. Добавьте продукты «API Marketing» и «Вход через Facebook».
6. В настройках продукта «Вход через Facebook» установите в качестве «Действительные URL» перенаправления для OAuth ссылку — https://selesnow.github.io/rfacebookstat/getToken/get_token.html.
Для авторизации через свое приложение в качестве аргументов функции fbAuth() вам понадобится информация по идентификатору и секрету созданного приложения. Найти эту информацию можно в его настройках, в меню «Основное».
Запуск пакета rfacebookstat в RStudio и авторизация
Установка пакета:
install.packages(\"rfacebookstat\") # установка библиотеки для работы с Facebook
library(rfacebookstat) # запуск библиотеки для работы с Facebook
Авторизация в RStudio через встроенное приложение:
# Авторизация в Facebook fbAuth()
Авторизация в RStudio через собственное приложение:
# Авторизация в Facebook
fbAuth(app_id = 1234567898765432,
app_secret = \"a5b02aabd4a3200346dc6f7895aebce1\")
Теперь вы сможете приступить к работе с пакетом rfacebookstat.
Установка пакета ryandexdirect и авторизация
Пакет ryandexdirect предназначен для работы с API Яндекс.Директ.
Самый простой в авторизации пакет для работы с рекламными системами — ryandexdirect (чего не скажешь про сам Директ). Не нужно никаких заявок, приложений и прочих танцев с бубном. По большому счету, даже комaнда авторизации не обязательна, так как она автоматически запускается при выполнении любой комaнды пакета.
Запуск пакета ryandexdirect в RStudio и авторизация
Установка пакета:
install.packages(\"ryandexdirect\") # установка библиотеки для работы с Яндекс.Директ
library(ryandexdirect) # запуск библиотеки для работы с Яндекс.Директ
Авторизация в RStudio:
# Авторизация в Яндекс.ДиректyadirAuth()
Далее следуйте инструкциям RStudio.
На этом заканчивается первая статья.
Заключение
Это подготовительная статья цикла постов по автоматизации РРС-отчетности. Из неё можно узнать:
- Какие типы задач можно решать с помощью данного метода автоматизации и кому он подойдет.
- Как подготовить аккаунты к автоматизации.
- Как установить язык R и среду Rstudio.
- Установка и авторизация пакетов для работы с рекламными системами.
Что будет в следующей статье:
- Примеры запросов для каждого из пакетов.
- Разбор полей и показателей запросов.
- Посмотрим документацию по API.
- Изучим способы преобразования данных.
- Дополнительные материалы для каждого из пакетов.
Комментарии:
Основатель сервиса мобилографии EyeEm Рамзи Ризк рассказал об особенностях своего сервиса и будущем мобильных приложений....
07 06 2023 10:59:55
Готовы ли вы доверить основные настройки кампании автоматическим алгоритмам?...
06 06 2023 20:58:22
Зачем нужно работать с отчетами по ассоциированным конверсиям и сравнивать различные модели атрибуции?...
05 06 2023 4:41:10
5 мая в 17:00 — митап в Zoom с Радомиром Новковичем — фаундером RadASO и CEO Tonti Laguna Mobile....
04 06 2023 7:17:17
Инструкция для новичков: как быстро отправить почтовую рассылку клиентам...
03 06 2023 19:42:15
Увлекательные истории от специалиста по контекстной рекламе....
02 06 2023 10:22:12
Как упростить знакомство клиента с компанией, продуктом или услугами....
01 06 2023 9:21:17
Точность и полезность — главные фишки нашего сервиса для расчета показателя LTV (Customer Lifetime Value)....
31 05 2023 20:18:38
SMM от Netpeak — это разработки стратегий продвижения, механики конкурсов, медиапланирование и постоянная интеpaктивная связь с клиентом с помощью «Личного кабинета»....
30 05 2023 0:14:52
C какими сложностями пришлось столкнуться при создании интернет-магазина....
29 05 2023 18:44:57
Взяли интервью у нашего клиента — магазина климатической техники Mircli.ru. Поговорили о том, как клиенту и подрядчику лучше взаимодействовать....
28 05 2023 16:59:57
Как использовать сервис Serpstat для оптимизации кампаний по контекстной рекламе...
27 05 2023 18:15:23
Доступно объясняем, как пользоваться и не типичными для экспертов по контекстной рекламе программами. Например, созданными для разработчиков. Узнать больше!...
26 05 2023 18:52:30
Импорт из Google ***ytics в Excel — manual по ***ytics Edge....
25 05 2023 12:50:28
Определение сайта нового типа. Захочет ли бизнес интернета перевести свои веб-приложения на более прогрессивные рельсы?...
24 05 2023 14:20:26
Кейс — поисковое продвижение блога в нише юридических услуг. Как увеличить количество читателей из поисковых систем и трафик на страницы услуг....
23 05 2023 19:52:42
Основатель Depositphotos и Clashot Дмитрий Сергеев рассказал нам о базовых правилах ведения бизнеса на западном рынке....
22 05 2023 2:16:29
Сезонность — повторяющиеся колебания трафика сайта в зависимости от различных внешних факторов....
21 05 2023 12:49:42
Из нового исследования вы узнаете, сколько стоил клик в Google Ads и Яндекс.Директ в Казахстане в третьем квартале 2018 года...
20 05 2023 10:48:26
Лучшие маркетинговые и бизнес-фишки от Давида Брауна (Weblium), Владислава Флакса (OWOX), Александра Галкина (Competera), Люси Литерадо (Reply.io), Вадима Нехая (Depositphotos), Валерия Грабко (PromoRepublic), Игоря Дебатура (Uploadcare), Руслана Савчишин...
19 05 2023 2:24:54
Если вы не можете улучшить свой уровень конверсий и поднять ставки, оптимизация показателя качества может быть вашим единственным выходом, чтобы сохранить высокий рейтинг без больших затрат. Статья, которая расставляет точки над «i»....
18 05 2023 9:18:32
Часто трафик проседает из-за удаления важных страниц или изменения URL-адресов. Анализ данных веб-архива позволит сохранить или восстановить посещаемость...
17 05 2023 7:18:12
Экспорт/импорт с помощью Excel-файла или таблиц Google позволит скопировать и перенести кампании, группы объявлений и объявления в Facebook вместе с креативами, текстами, ссылками и utm-метками...
16 05 2023 23:25:10
Обзор полезных сервисов и программ, которые увеличат эффективность работы из дома и улучшат организацию бизнес-комaнды...
15 05 2023 2:20:59
Кейс детской костюмерной Colombina.ua — как продвигать проект с ярко выраженной сезонностью....
14 05 2023 20:40:23
Что нужно сделать, чтобы превью веб-страниц в социальных сетях стало магнитом для пользователей?...
13 05 2023 20:33:34
Фотоконкурс для стимуляции активности в сообществе, прироста фанов и поощрения лояльной аудитории....
12 05 2023 13:29:55
Почти 3 миллиона клика в 24 тематиках в 15 городах Казахстана. Читайте новое исследование нашего аналитика....
11 05 2023 7:46:11
В помощь вебмастерам, которые поддерживают работу PBN....
10 05 2023 20:24:19
Качество передаваемых данных напрямую отражается на качестве решений, принимаемых для бизнеса. Как защититься от таких ошибок?...
09 05 2023 23:14:30
Почему синергия штатных специалистов и рекламное дело агентства SEO/PPC выгодна бизнесу...
08 05 2023 16:18:59
Как рекламировать смартфоны в YouTube — советы крупному бизнесу по настройке и запуску эффективной рекламы. Важно: корректный анализ результатов. Узнайте как его сделать!...
07 05 2023 9:29:43
Здесь не нужно часами собирать семантику, прописывать уйму расширений и создавать максимально релевантные объявления под каждый товар, а потому вам нужен этот понятный и короткий мануал! Читайте дальше!...
06 05 2023 16:16:53
Партнерская сеть, к которой нужно присоединиться уже сейчас....
05 05 2023 4:32:46
О том, какие результаты дает эта технология, рассказал Александр Иванов, Head of Product в ЛУН.ua в рамках прошлогодней самой летней конференции 8P. Читайте, как его комaнде удалось разогнать загрузку страниц сервиса Flatfy до 0,2 секунды...
04 05 2023 19:45:45
В течение месяца нам удалось наладить рассылку с новой платформы....
03 05 2023 19:10:53
Как стать лидером ниши не на словах, а на деле. Пошаговый алгоритм....
02 05 2023 20:20:43
Как трафик CDN повлиял на систему интернет-магазина — палим кейсы...
01 05 2023 9:41:14
Как узнать слабые места ваших рекламных кампаний с помощью бесплатного скрипта....
30 04 2023 14:36:59
Советы и даже требования SEO-специалистов к разработчикам сайтов....
29 04 2023 12:55:35
Как сохранить статистику переходов из органики Google, а также автоматизировать отчетность: подробное руководство для технического специалиста....
28 04 2023 14:51:18
Руководство для всех, кто продает через Instagram: когда стоит воспользоваться рекламным кабинетом Facebook для настройки кампании в Instagram и как правильно запустить рекламу в Instagram через кабинет Facebook. Читайте дальше!...
27 04 2023 16:30:20
Рассказываем о приемах, которые помогут вам заинтересовать читателей рассылки....
26 04 2023 22:12:43
Мы собрали топ обидных промахов в сборе семантики, влияющих на качество и эффективность продвижения проекта...
25 04 2023 17:42:49
Самопомощь по тревоге во время карантина и экономического кризиса...
24 04 2023 17:45:38
Быстро разогнать рекламные кампании и получить рост конверсий при повышении CPA до 100%. Как этого добиться — читайте в новом кейсе....
23 04 2023 3:35:27
А ещё у нас появилась новая стратегия SEO-продвижения для ниши доставки еды и продуктов....
22 04 2023 0:18:53
Как улучшить конверсию сайта: идеи для маркетологов...
21 04 2023 10:34:12
Мы решили определить и раскрыть самые популярные вопросы по работе нового алгоритма Google Колибри...
20 04 2023 13:22:12
Как сократить время на создание собственных отчетов, если вы работаете с большими рекламными аккаунтами...
19 04 2023 10:14:28
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::