Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak > NetPeak - Независимость и осознанность
NetPeak Biz Tech    


Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak

Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak

< >

Как мы внедрили BI-аналитику в отделе контекстной рекламы Помните, мы рассказывали о создании ВI-аналитики в отделе контекстной рекламы? Теперь мы решили внедрить BI-систему в департаменте поискового продвижения. Начали со сбора данных из Google ***ytics по всем SEO-проектам агентства. Но проектов много, а Google ***ytics ограничивает выгрузку данных о более чем 100 проектах на одну почту.

В этой статье я покажу, как обойти это ограничение с помощью языка R.

Как открывать доступ к проектам

Доступ к данным Google ***ytics для всех проектов можно открыть на обычный аккаунт Google или на сервисный аккаунт.

Авторизация для обычного аккаунта Google

В связи с ограничением по количеству проектов, мы сделали несколько адресов. Когда упираемся в лимит на каком-то из них, начинаем открывать доступ к новым проектам на следующий адрес.

Для авторизации в сервисах Google мы используем библиотеку google AuthR Марка Эдмондсона.

Для обычной авторизации нужно задать область доступа и авторизоваться с помощью функции gar_auth().

Главный недостаток метода — нужно при каждом запуске скрипта авторизоваться с помощью браузера. При этом токен по умолчанию кешируется в файл .httr-oauth. Такой вариант не позволяет использовать автоматический запуск с помощью «Планировщика задач».

Но есть решение. Токен, который мы получаем после авторизации, можно закешировать в файл с нужным названием. При каждом следующем запуске скрипта можем загружать токен из файла без использования браузера.

Пример записи токена в файле:

# задаем название файлаfile_name <- “ga-token”# задаем в опциях область доступа и имя файла для кеширования токена options(googleAuthR.scopes.selected = c(\"https://www.googleapis.com/auth/***ytics\", \"https://www.googleapis.com/auth/***ytics.readonly\"), googleAuthR.httr_oauth_cache = file_name)# авторизируемся в GA и получаем токенga_token <- googleAuthR::gar_auth(new_user = TRUE)

Чтение токена из файла:

auth_token <- readRDS(file_name) [[1]]options(googleAuthR.scopes.selected = c(\"https://www.googleapis.com/auth/***ytics\", \"https://www.googleapis.com/auth/***ytics.readonly\")) googleAuthR::gar_auth(auth_token)

Так мы сохраняем токены всех наших аккаунтов и можем переключаться между ними без авторизации в браузере.

Авторизация для сервисного аккаунта Google

Создание сервисных аккаунтов описано в первом шаге руководства Google по API Google ***ytics.

Вкратце:

  1. Создайте аккаунт.
  2. Скачайте json файл с секретным ключом.
  3. Расшарьте Google ***ytics на сгенерированный email сервисного аккаунта.

Авторизация в этом случае проще. Нужно всего две строки кода:

# Формируем имя json файлаjson_file <- \"file_path.json\"# Авторизация в Google ***yticsgar_auth_service(json_file = json_file, scope = \"https://www.googleapis.com/auth/***ytics\")

Создаем справочник проектов

У каждого аккаунта Google ***ytics может быть множество ресурсов и представлений. В самом начале нужно знать, из каких представлений брать данные. В качестве примера я сделал справочник проектов в таблице Google. А у нас все проекты хранятся в ERP-системе агентства.

Для выгрузки нужен столбец с «domain» и профилем GA «ga_main_view_id».

Скрипт выгрузки данных

Скрипт для выгрузки — по ссылке. Можете скопировать его себе, указать ключ к таблице вашего справочника (пункт 1.3.), названия ваших аккаунтов Google (пункт 2.1.) и работать.

Что делает скрипт:

1. Берет из справочника в таблице Google домены проектов и нужные представления Google ***ytics.

2. Выгружает все id представлений, которые расшарены на аккаунты отдела.

3. В цикле по проектам из справочника определяет, расшарен ли id представления на аккаунты отдела.

3.1. Если да, выгружает трафик за прошлый месяц для него.

3.2. Если нет, записывает в список нерасшаренных проектов.

4. Дописывает выгруженные данные в конец листа «ga_db».

5. Перезаписывает лист «Нерасшаренные» и вставляет туда список нерасшаренных проектов.

6. Сохраняет данные с трафиком в CSV-файл.

Можно выгружать любые данные и сохранять в удобном виде. Мы сохраняем в mySQL базу данных, среднесуточный органический трафик, количество транзакций, количество выполнений важных целей и так далее.

Выводы

Как выгружать данные из Google ***ytics для 100+ проектов одновременно:

  1. Расшарить все проекты GA на отдельные аккаунты.
  2. Сделать справочник проектов и их представлений, чтобы знать откуда выгружать данные.
  3. Запустить скрипт выгрузки с откомментированным кодом для авторизации (в пункте 2.3. скрипта). Потом откомментировать его, потому что токены будут закешированы в отдельных файлах.
  4. Поставить скрипт на автозапуск с помощью планировщика задач.

В следующих статьях о BI-решении для SEO: какие данные важно выгружать, как их обpaбатывать и хранить.

Язык R в интернет-маркетинге — дайджест полезных публикаций О других способах применения языка R в маркетинге читайте здесь.



Комментарии:

8 сервисов автопроверки on-page ошибок

Платные и бесплатные способы ускорить оптимизацию....

22 04 2025 11:15:19

Десять часто задаваемых вопросов о лендингах

Десять часто задаваемых вопросов о лендингах Десять вопросов, которые чаще всего задают люди, столкнувшиеся с необходимостью создания landing page....

21 04 2025 3:19:52

Экономим время с Impact Mapping — кейс разработки мобильного приложения

Экономим время с Impact Mapping — кейс разработки мобильного приложения Заказчик всегда приходит с идеей. В этой идее может быть все продумано до мелочей, а может быть только каркас. В любом случае мысли клиента следует систематизировать так, чтобы с ними было удобно работать....

20 04 2025 8:26:15

Как создать динамическое поисковое объявление в Google Рекламе

Как создать динамическое поисковое объявление в Google Рекламе Шаблон по настройке и оптимизации динамических поисковых объявлений...

19 04 2025 10:11:34

Как использовать фотоколлаж в маркетинге

Как использовать фотоколлаж в маркетинге Инструкция по созданию изображений для сториз, email-рассылок и объявлений в соцсетях...

18 04 2025 2:28:13

Пользователи удаляют приложение — когда mobile-маркетологу не стоит волноваться

Пользователи удаляют приложение — когда mobile-маркетологу не стоит волноваться Почему соотношение данных об использовании приложения важнее, чем количество установок и удалений...

17 04 2025 1:16:27

Козотерапия, душанбэнгеры, халабуда от Rozetka и капля трэша: майская реклама

Козотерапия, душанбэнгеры, халабуда от Rozetka и капля трэша: майская реклама Чем радовала, удивляла и шокировала таргетированная реклама в социальных сетях...

16 04 2025 12:52:10

Сколько стоил клик в Google Ads и Facebook в Украине в третьем квартале 2017

Сколько стоил клик в Google Ads и Facebook в Украине в третьем квартале 2017 Данные по более 26 млн кликов в 23 тематиках и 402 городах Украины...

15 04 2025 10:27:30

Как найти PBN конкурента

Как найти PBN конкурента Как найти сетку сайтов конкурентов — рассказываем о популярных методах и секретных фишках. Бонус — инструкция по выявлению PBN конкурентов. Читать дальше!...

14 04 2025 17:22:16

Трендовые инструменты в диджитал-маркетинге и рекламе — новое исследование Gartner

Трендовые инструменты в диджитал-маркетинге и рекламе — новое исследование Gartner В 2019 году в цикл зрелости вошли 28 технологий и инструментов...

13 04 2025 7:40:52

Как делать цепляющую email-рассылку: советы экспертов

Как делать цепляющую email-рассылку: советы экспертов Рассказываем про маркетинговые техники продающих email рассылок...

12 04 2025 22:53:50

PPC-атавизмы — пять подходов, которые утратили актуальность

PPC-атавизмы — пять подходов, которые утратили актуальность Отличная работа SEO-специалистов прошлого, породила касту PPC-специалистов настоящего, которые все еще ориентируются на публикации из 2017, ведь они все еще в ТОПе выдачи....

11 04 2025 2:28:58

Как загрузить фото в Instagram с компьютера

В статье описан ручной и самый безопасный из существующих метод...

10 04 2025 20:10:35

Как улучшить оценку качества целевой страницы в Google Ads — эксперимент Netpeak

Как улучшить оценку качества целевой страницы в Google Ads — эксперимент Netpeak Можно ли повысить оценку качества целевой страницы , если проставить конечные URL на уровне ключевого слова? Результаты исследования....

09 04 2025 0:29:28

Как создать HTML-карту сайта

Как создать HTML-карту сайта Как построить html-карту. Верстка карт New York Times, IMDb и Daily Mail в качестве примера...

08 04 2025 22:11:27

Pitch perfect: как получить публикации в топовых медиа

Pitch perfect: как получить публикации в топовых медиа Если у вас есть продукт, о котором миру стоит узнать, книга Pitch perfect придется вам очень кстати....

07 04 2025 6:56:48

Как сэкономить время специалиста при работе с крупным проектом — на примере OLX

Как сэкономить время специалиста при работе с крупным проектом — на примере OLX Убираем человеческий фактор при сборе отчетов по контекстной рекламе...

06 04 2025 14:15:50

Сайт загружается медленно: когда не нужно паниковать

О неправильных тpaктовках отчета по времени загрузки страниц сайта в ***ytics...

05 04 2025 5:36:50

Что вы можете сделать со своим пресс-релизом

Что вы можете сделать со своим пресс-релизом Написание и распространение пресс-релизов концептуально устарело. Как привлечь аудиторию читателей СМИ без них?...

04 04 2025 1:43:55

Длинные заголовки в Google Рекламе

Длинные заголовки в Google Рекламе После нехитрых манипуляций с текстом вторая строка оказывается в заголовке....

03 04 2025 10:52:46

SEO-продвижение для СМИ — рост органического трафика на 569%, аудитории — в пять раз

SEO-продвижение для СМИ — рост органического трафика на 569%, аудитории — в пять раз Продвижение казахстанского онлайн-издания, новостника informburo.kz....

02 04 2025 2:39:48

RFM-анализ: три параметра для сверхточной сегментации базы email-рассылок

RFM-анализ: три параметра для сверхточной сегментации базы email-рассылок RFM — это аббревиатура слов Recency, Frequency, Money — новизна, частота, деньги. То есть считаем, как давно клиент купил товар в последний раз, сколько всего покупок он сделал и сколько денег принес нам за все время заказов....

01 04 2025 5:25:53

Netpeak Group купила конференцию eCommerce от OWOX

Конференцию eCommerce будет развивать комaнда Octopus Events...

31 03 2025 20:56:45

Как рассчитать ROMI для большого интернет-магазина — импортируем себестоимость товаров в Google ***ytics

Как рассчитать ROMI для большого интернет-магазина — импортируем себестоимость товаров в Google ***ytics Хотите видеть в отчетах точный ROMI в разрезе рекламных кампаний, групп объявлений и ключевых слов? Импортируйте себестоимость товаров в Google ***ytics...

30 03 2025 15:54:17

Почему для пользователей разных устройств нужны разные стратегии контекстной рекламы — кейс

Почему для пользователей разных устройств нужны разные стратегии контекстной рекламы — кейс Как снизить цену за привлечение клиента на 50%, развивая только кампании для пользователей десктопов....

29 03 2025 18:25:42

Как проводить ежедневные встречи в режиме WFH — чек-лист Netpeak

Дейли — ежедневный комaндный митинг, на котором комaнда синхронизируется по ключевым моментам работы и по текущим задачам. Делимся чек-листом агентства Netpeak по организации дейли на удалёнке....

28 03 2025 8:57:27

Фидбек от покупателей: о чем, зачем и как спрашивать

Фидбек от покупателей: о чем, зачем и как спрашивать Что такое обратная связь, почему фидбек от клиентов важен и как его правильно собирать. Все, что нужно знать, чтобы получить отзыв от клиента....

27 03 2025 5:12:15

Как выступить с полезным докладом: советы экспертов

Какую тактику выбрать, чтобы написать внятный доклад. Хедлайнеры интернет-маркетинговых конференций делятся опытом...

26 03 2025 20:26:53

Что такое веб-архив и как им пользоваться

Что такое веб-архив и как им пользоваться Веб-архив сайтов позволяет вернуться на месяцы или годы назад, чтобы увидеть, как выглядел сайт....

25 03 2025 6:56:47

Настройка динамического ремаркетинга в Google Ads — пошаговое руководство

Настройка динамического ремаркетинга в Google Ads — пошаговое руководство Динамический ремаркетинг: как вернуть посетителя на сайт и продать, когда человеку «надо ещё подумать»....

24 03 2025 4:17:37

Как повлиять на решение покупателя

Как повлиять на решение покупателя Технология «лёгкость восприятия» — инструмент, который поможет убедить клиентов покупать именно у вас...

23 03 2025 19:35:40

Сколько стоил клик в Google Ads и Яндекс.Директ в Казахстане в четвертом квартале 2020 года — исследование Netpeak

Сколько стоил клик в Google Ads и Яндекс.Директ в Казахстане в четвертом квартале 2020 года — исследование Netpeak Данные Google по 6 миллионам кликов 16 городах страны и данные Яндекс по 520 346 кликам, в 54 городах страны в 22 тематиках в обоих рекламных системах. Узнать больше!...

22 03 2025 12:17:29

Топ-50 самых дорогих ключевых слов Google Рекламы в России и Украине

Топ-50 самых дорогих ключевых слов Google Рекламы в России и Украине За что, по мнению рекламодателей, готовы платить пользователи в России и Украине? Рейтинг самых дорогих ключевых слов Google Рекламы по версии Serpstat....

21 03 2025 7:21:17

Сравнение Ringostat и Binotel. Комментируют PPC-специалисты

Сравнение Ringostat и Binotel. Комментируют PPC-специалисты Ringostat и Binotel. Сравнение главных сервисов для коллтрекинга в Украине...

20 03 2025 19:43:42

Как упростить анализ поисковых запросов — работа с шаблоном на примере модерации минус-слов

Как упростить анализ поисковых запросов — работа с шаблоном на примере модерации минус-слов Понятный алгоритм анализа поисковых запросов с экономией времени на чистку по специальному шаблону модерации...

19 03 2025 17:18:51

Как настроить бесплатный стриминг в Google ***ytics

Как настроить бесплатный стриминг в Google ***ytics Три способа парсинга данных с помощью Owox BI Pipeline, Mix Data BI Import, Owox BI Power Upload....

18 03 2025 10:48:10

Правила работы с отзывами клиентов — памятка для брендов

Правила работы с отзывами клиентов — памятка для брендов От наличия отзывов зависит решение клиента купить товар или заказать услугу. Как правильно работать с репутацией? Разбираемся...

17 03 2025 5:17:30

Как измерить эффективность в Telegram — сколько подписчиков дала реклама?

Как измерить эффективность в Telegram — сколько подписчиков дала реклама? После обновления мессенджера появился нужный инструмент...

16 03 2025 6:55:39

Особенности продвижения сайтов в Японии

Особенности продвижения сайтов в Японии SEO-специалист Netpeak Виктория Игнатьева опубликовала небольшой обзор особенностей рынка SEO Японии, подготовленный на основе собранных в сети материалов, а также личных знаний и наблюдений...

15 03 2025 14:14:54

Как настроить отправку писем с помощью языка R

Как настроить отправку писем с помощью языка R и как избежать подводных камней....

14 03 2025 0:53:41

Как работать с ключевыми словами в Excel

Как работать с ключевыми словами в Excel Как определить и повысить качество парсинга ключевых слов — лайфхак с применением Microsoft Excel....

13 03 2025 6:25:44

Инсталлы по цене пирожка — кейс Apple Search Ads для приложения OLX Украина

Инсталлы по цене пирожка — кейс Apple Search Ads для приложения OLX Украина Как с помощью рекламы в Apple Search Ads получить дешевые установки и привлечь релевантных пользователей среди владельцев айфонов...

12 03 2025 23:51:19

Стратегия email-маркетинга: кому и зачем мы шлем письма

Стратегия email-маркетинга: кому и зачем мы шлем письма Старт любых активностей в сфере email-маркетинга — разработка стратегии...

11 03 2025 18:39:44

15 фишек контекстной рекламы — итоги круглого стола 8P 2019

Работающие способы повысить эффективность рекламных кампаний...

10 03 2025 18:33:16

10 полезных приемов работы в Редакторе AdWords

10 полезных приемов работы в Редакторе AdWords Как специалисту сэкономить время для создания и оптимизации кампаний, проверки орфографии и другие фишки. Советы из пpaктики....

09 03 2025 10:12:42

7 уроков о всплывающих окнах для мобильных, которые мы выучили благодаря A/B-тестам

Выясняем, есть ли жизнь у мобильных всплывающих окон, и как их сделать правильно...

08 03 2025 19:29:11

Декрет, развод, разочарование в научной карьере — три истории специалистов, которые нашли себя в диджитале

Декрет, развод, разочарование в научной карьере — три истории специалистов, которые нашли себя в диджитале Менять карьеру страшно, особенно после тридцати. Поэтому мы спросили людей, у которых это получилось — через какие трудности им пришлось пройти....

07 03 2025 16:46:45

Блог Netpeak 2.0 — мы всё поменяли, и вот почему

Блог Netpeak 2.0 — мы всё поменяли, и вот почему Блог на новом движке и с новым дизайном, перетянувший в себя огромное количество постов и комментариев за Х лет своей работы...

06 03 2025 6:45:12

Продвижение сайта VIN-кодов в США по низкочастотным запросам: рост трафика на 681% за 6 месяцев

Продвижение сайта VIN-кодов в США по низкочастотным запросам: рост трафика на 681% за 6 месяцев Кейс SEO-продвижения в США: рост трафика сайта с помощью низкочастотных запросов....

05 03 2025 3:37:35

Репутация компании: зачем вам Online Reputation Management

Репутация компании: зачем вам Online Reputation Management Идея ORM состоит в том, чтобы вызывать положительное мнение о вашей деятельности, работая с отзывами или комментариями, в результате чего больше людей будут покупать ваши товары или услуги. Узнать больше!...

04 03 2025 11:21:49

Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::