Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak > NetPeak - Независимость и осознанность
NetPeak Biz Tech    


Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak

Выгружаем данные из Google ***ytics для 100+ проектов одновременно — кейс агентства Netpeak

< >

Как мы внедрили BI-аналитику в отделе контекстной рекламы Помните, мы рассказывали о создании ВI-аналитики в отделе контекстной рекламы? Теперь мы решили внедрить BI-систему в департаменте поискового продвижения. Начали со сбора данных из Google ***ytics по всем SEO-проектам агентства. Но проектов много, а Google ***ytics ограничивает выгрузку данных о более чем 100 проектах на одну почту.

В этой статье я покажу, как обойти это ограничение с помощью языка R.

Как открывать доступ к проектам

Доступ к данным Google ***ytics для всех проектов можно открыть на обычный аккаунт Google или на сервисный аккаунт.

Авторизация для обычного аккаунта Google

В связи с ограничением по количеству проектов, мы сделали несколько адресов. Когда упираемся в лимит на каком-то из них, начинаем открывать доступ к новым проектам на следующий адрес.

Для авторизации в сервисах Google мы используем библиотеку google AuthR Марка Эдмондсона.

Для обычной авторизации нужно задать область доступа и авторизоваться с помощью функции gar_auth().

Главный недостаток метода — нужно при каждом запуске скрипта авторизоваться с помощью браузера. При этом токен по умолчанию кешируется в файл .httr-oauth. Такой вариант не позволяет использовать автоматический запуск с помощью «Планировщика задач».

Но есть решение. Токен, который мы получаем после авторизации, можно закешировать в файл с нужным названием. При каждом следующем запуске скрипта можем загружать токен из файла без использования браузера.

Пример записи токена в файле:

# задаем название файлаfile_name <- “ga-token”# задаем в опциях область доступа и имя файла для кеширования токена options(googleAuthR.scopes.selected = c(\"https://www.googleapis.com/auth/***ytics\", \"https://www.googleapis.com/auth/***ytics.readonly\"), googleAuthR.httr_oauth_cache = file_name)# авторизируемся в GA и получаем токенga_token <- googleAuthR::gar_auth(new_user = TRUE)

Чтение токена из файла:

auth_token <- readRDS(file_name) [[1]]options(googleAuthR.scopes.selected = c(\"https://www.googleapis.com/auth/***ytics\", \"https://www.googleapis.com/auth/***ytics.readonly\")) googleAuthR::gar_auth(auth_token)

Так мы сохраняем токены всех наших аккаунтов и можем переключаться между ними без авторизации в браузере.

Авторизация для сервисного аккаунта Google

Создание сервисных аккаунтов описано в первом шаге руководства Google по API Google ***ytics.

Вкратце:

  1. Создайте аккаунт.
  2. Скачайте json файл с секретным ключом.
  3. Расшарьте Google ***ytics на сгенерированный email сервисного аккаунта.

Авторизация в этом случае проще. Нужно всего две строки кода:

# Формируем имя json файлаjson_file <- \"file_path.json\"# Авторизация в Google ***yticsgar_auth_service(json_file = json_file, scope = \"https://www.googleapis.com/auth/***ytics\")

Создаем справочник проектов

У каждого аккаунта Google ***ytics может быть множество ресурсов и представлений. В самом начале нужно знать, из каких представлений брать данные. В качестве примера я сделал справочник проектов в таблице Google. А у нас все проекты хранятся в ERP-системе агентства.

Для выгрузки нужен столбец с «domain» и профилем GA «ga_main_view_id».

Скрипт выгрузки данных

Скрипт для выгрузки — по ссылке. Можете скопировать его себе, указать ключ к таблице вашего справочника (пункт 1.3.), названия ваших аккаунтов Google (пункт 2.1.) и работать.

Что делает скрипт:

1. Берет из справочника в таблице Google домены проектов и нужные представления Google ***ytics.

2. Выгружает все id представлений, которые расшарены на аккаунты отдела.

3. В цикле по проектам из справочника определяет, расшарен ли id представления на аккаунты отдела.

3.1. Если да, выгружает трафик за прошлый месяц для него.

3.2. Если нет, записывает в список нерасшаренных проектов.

4. Дописывает выгруженные данные в конец листа «ga_db».

5. Перезаписывает лист «Нерасшаренные» и вставляет туда список нерасшаренных проектов.

6. Сохраняет данные с трафиком в CSV-файл.

Можно выгружать любые данные и сохранять в удобном виде. Мы сохраняем в mySQL базу данных, среднесуточный органический трафик, количество транзакций, количество выполнений важных целей и так далее.

Выводы

Как выгружать данные из Google ***ytics для 100+ проектов одновременно:

  1. Расшарить все проекты GA на отдельные аккаунты.
  2. Сделать справочник проектов и их представлений, чтобы знать откуда выгружать данные.
  3. Запустить скрипт выгрузки с откомментированным кодом для авторизации (в пункте 2.3. скрипта). Потом откомментировать его, потому что токены будут закешированы в отдельных файлах.
  4. Поставить скрипт на автозапуск с помощью планировщика задач.

В следующих статьях о BI-решении для SEO: какие данные важно выгружать, как их обpaбатывать и хранить.

Язык R в интернет-маркетинге — дайджест полезных публикаций О других способах применения языка R в маркетинге читайте здесь.



Комментарии:

Как мы подняли МRR с нуля до 24 тысяч долларов без бюджета, комaнды и маркетинговой стратегии

Как мы подняли МRR с нуля до 24 тысяч долларов без бюджета, комaнды и маркетинговой стратегии Опыт стартапа Paperform для стартаперов, которые боятся начать из-за ограниченного бюджета и/или отсутствия знаний в маркетинге. Надеемся, эта история вдохновит предпринимателей и поможет меньше сомневаться на счет запуска без бюджета....

04 10 2022 2:28:31

Бизнес и война: как выжить и не потерять всех сотрудников

Бизнес и война: как выжить и не потерять всех сотрудников Часто руководители, которые прекрасно справляются с работой в мирное время, в период войны перестают быть эффективными. У них нет навыков кризис-менеджмента. Чтобы удержать ситуацию на плаву, кризис-менеджером должен стать главный руководитель компании....

03 10 2022 4:20:49

Стратегия email-маркетинга: кому и зачем мы шлем письма

Стратегия email-маркетинга: кому и зачем мы шлем письма Старт любых активностей в сфере email-маркетинга — разработка стратегии...

02 10 2022 15:24:40

Serpstat 2.0: как внутренняя разработка выросла в All-in-One SEO Platform

Serpstat 2.0: как внутренняя разработка выросла в All-in-One SEO Platform Короткая история Serpstat — от сервиса «для своих» до международной SEO-платформы....

01 10 2022 1:18:36

Умная реактивация: как убедить клиента вернуться, используя email в связке с соцсетями

Умная реактивация: как убедить клиента вернуться, используя email в связке с соцсетями Учимся выстраивать коммуникацию по специальным сценариям....

30 09 2022 15:45:30

Как быстро перенести кампании из Google Рекламы в Директ

Как быстро перенести кампании из Google Рекламы в Директ Как перенести рекламные кампании из адвордс в директ, используя только Google Editor и Директ Коммaндер? Делимся быстрым и эффективным методом...

29 09 2022 7:48:11

Что такое URL — как создать корректный адрес сайта

Что такое URL — как создать корректный адрес сайта Понятные людям и роботам URL. Это уникальный набор символов, который дает возможность идентифицировать всевозможные ресурсы в интернете (страницы сайтов, файлы, изображения, видео и так далее). Чтобы узнать больше, читайте далее!...

28 09 2022 5:42:57

Частые ошибки в email-маркетинге: исправляем ошибки в email рассылках и письмах

Частые ошибки в email-маркетинге: исправляем ошибки в email рассылках и письмах К чему стоит относиться с особенным вниманием при отправке рассылок. Грамматические ошибки, тема, прехедер и другие стратегически важные составляющие письма. Узнать больше!...

27 09 2022 8:47:19

Динамический ремаркетинг в Facebook — подробный мануал по технической подготовке

Динамический ремаркетинг в Facebook — подробный мануал по технической подготовке Динамический ремаркетинг — один из самых эффективных способов продаж для любой группы товаров. В этой статье мы поделимся тонкостями технической подготовки к запуску динамического ремаркетинга в Facebook....

26 09 2022 15:21:17

Алгоритм LSA для поиска похожих документов

Алгоритм LSA для поиска похожих документов Наши сотрудники смогли составить разбор непростых вещей, дать им определение и рассказать о них простым языком....

25 09 2022 8:55:57

Офлайн — новый онлайн? Зачем онлайн-бизнес открывает торговые точки

Офлайн — новый онлайн? Зачем онлайн-бизнес открывает торговые точки Как бизнес подстраивается под новые привычки покупателей в стиле фиджитал и O2O2O....

24 09 2022 18:28:40

Репутация в сети. Зачем она нужна молодой компании, и Как ее построить

Репутация в сети. Зачем она нужна молодой компании, и Как ее построить Узнать, как управлять репутацией в сети для молодой компании, можно в статье Netpeak Journal: что такое репутация, как формируется образ бренда и что нужно делать для получения положительных отзывов....

23 09 2022 11:21:49

Коммерческое ранжирование Яндекса (перевод)

Коммерческое ранжирование Яндекса (перевод) Интересный и важный документ, не пропустите. Для ранжирования используется сумма коммерческой и тематической релевантности. Уходя с головой в SEO, многие вебмастера забывают о пользовательских факторах. Узнайте больше об этом!...

22 09 2022 5:52:46

Кейс по продвижению интернет-магазина отопительного оборудования: ROMI 86%

Кейс по продвижению интернет-магазина отопительного оборудования: ROMI 86% Через тернии к кейсу. SEO-продвижение интернет-магазина отопительного оборудования с оплатой за трафик...

21 09 2022 2:15:38

Семь улучшений Netpeak: новые стратегии email-маркетинга, антикризисная PPC-стратегия Start и продвижение недвижимости

Семь улучшений Netpeak: новые стратегии email-маркетинга, антикризисная PPC-стратегия Start и продвижение недвижимости Что нового, Netpeak? Новые стратегии контекстной рекламы и email-маркетинга, новая рубрика в блоге, а также о специфике работы отдела продаж Netpeak в карантин и о законах построения партнерской программы — всё читайте в материале!...

20 09 2022 0:59:45

Сколько стоил клик в Google Ads в первом квартале 2016 — исследование Netpeak

Сколько стоил клик в Google Ads в первом квартале 2016 — исследование Netpeak Мы решили узнать, как дорого обходятся рекламодателям клики по объявлениям в разных странах и тематиках, чтобы читателям блога было удобнее планировать бюджет на рекламные кампании....

19 09 2022 0:18:46

Как провести четкую онлайн-трaнcляцию — кейс конференции MozCon

Как провести четкую онлайн-трaнcляцию — кейс конференции MozCon Нужно организовать конференцию с участием многих пользователей? Этот пост будет полезен, если до важного ивента есть хотя бы несколько дней в запасе....

18 09 2022 11:17:46

РРС-факапы: примеры ошибок новичков в контекстной рекламе

РРС-факапы: примеры ошибок новичков в контекстной рекламе Техника безопасности по безукоризненным рекламным кампаниям...

17 09 2022 16:50:35

К чему быть готовым продавцам одежды и обуви — пример тематической стратегии Netpeak

К чему быть готовым продавцам одежды и обуви — пример тематической стратегии Netpeak Советы специалистов по продвижению интернет-магазинов в сверхконкурентной нише одежды и обуви...

16 09 2022 17:18:49

CEO fuckups. Три ошибки опытных руководителей

И как с ними справиться. Рабочие инструкции для Chief Executive Office и менеджеров в целом. Давайте управлять комaндой и собой более эффективно и без выгорания. Узнать больше!...

15 09 2022 8:18:10

Корпоративная культура Blizzard: как выглядит офис гeйм-гиганта и зачем сотрудникам дарят мечи и перстни

Как Blizzard реализует тимбилдинг, мотивирует сотрудников и превращает офис в музей...

14 09 2022 13:34:51

Кейс: снижение (not set) трафика в Google ***ytics на 59,35%

Кейс: снижение (not set) трафика в Google ***ytics на 59,35% Сет по контекстной рекламе в тематике «разработка программного обеспечения»: снижение стоимости клика на 89%....

13 09 2022 1:49:48

Как настроить максимально объективную веб-аналитику и отладить работу отдела контекстной рекламы? Мануал не для чайников

Как настроить максимально объективную веб-аналитику и отладить работу отдела контекстной рекламы? Мануал не для чайников Почему бизнесу нужно настраивать мультикaнaльную модель атрибуции на основе воронки продаж и как это сделать....

12 09 2022 20:41:40

15 странных, но иногда полезных приложений

15 странных, но иногда полезных приложений Если на вашем смартфоне установлен только стандартный набор Uber, Glovo, 2ГИС и нескольких мессенджеров — смотрите подборку необычных и смешных приложений....

11 09 2022 21:37:27

Как загрузить статистику рекламных кампаний из API Facebook с помощью языка R

Как загрузить статистику рекламных кампаний из API Facebook с помощью языка R Хотите качественно руководить рекламной кампанией в Facebook? Как подключиться к API Facebook и получение статистики в R — рассказывает Алексей Селезнев....

10 09 2022 13:42:56

Гонитесь за гарантией и прозрачностью в SEO-услугах? А их нет!

Гарантии результата в SEO: миф или реальность. Спрос рождает предложение, поэтому не удивительно, что существует большое количество SEO-студий. Сразу возникает резонный вопрос, как могут существовать те компании, которые не дают гарантии вообще?...

09 09 2022 3:45:43

Запорожский козак на динозавре, реклама наркотиков в Instagram и «курка» вместо SPAM — мартовская реклама в соцсетях

Запорожский козак на динозавре, реклама наркотиков в Instagram и «курка» вместо SPAM — мартовская реклама в соцсетях Чем радовала, смущала и шокировала реклама в социальных сетях в марте 2021-го...

08 09 2022 2:18:13

Статистика и аналитика аккаунта в Twitter — полезные инструменты

Статистика и аналитика аккаунта в Twitter — полезные инструменты Твиты, реплаи, ретвиты - как сделать правильные выводы из активности в Twitter? Об этом читайте в нашем посте....

07 09 2022 17:28:40

SEO-продвижение для СМИ — рост органического трафика на 569%, аудитории — в пять раз

SEO-продвижение для СМИ — рост органического трафика на 569%, аудитории — в пять раз Продвижение казахстанского онлайн-издания, новостника informburo.kz....

06 09 2022 10:49:39

Чек-лист SMM-стратегии: готовимся к продвижению в соцсетях

Чек-лист SMM-стратегии: готовимся к продвижению в соцсетях 14 пунктов, которые помогут вам лучше изучить свой бизнес и подготовить эффективную SMM-стратегию...

05 09 2022 14:46:33

Запускаем блоги на орбиту — МКС от Netpeak

Запускаем блоги на орбиту — МКС от Netpeak Грамотный контент важен для всех, но особенно — для аутсорсов и стартапов в B2B. Если вы согласны с этим, давайте делать медиа....

04 09 2022 10:36:56

10 мощных советов по маркетингу WordPress

Лучшие плагины WordPress для SEO и продвижения сайта в поисковой системе Google и 10 советов для WordPress, которые помогут вам продвигать свой сайт...

03 09 2022 18:49:32

Как настроить умную кампанию в контекстно-медийной сети Google

Готовы ли вы доверить основные настройки кампании автоматическим алгоритмам?...

02 09 2022 18:27:23

Как масштабировать блог: успешный кейс роста блогов Serpstat до 300 000 ежемecячных сессий и $100 000 годового дохода

Как масштабировать блог: успешный кейс роста блогов Serpstat до 300 000 ежемecячных сессий и $100 000 годового дохода Личный опыт маркетинг-директора Serpstat. Внутренняя перелинковка, работа с контентом, настройка email-рассылок и построение качественного комьюнити помогли нам получить стабильный поток читателей и новых пользователей. Обо всем читайте дальше!...

01 09 2022 18:52:55

Как собрать ключевые запросы в Key Collector

Как собрать ключевые запросы в Key Collector Сбор ключевых запросов с помощью программы Кей Коллектор: показываем и рассказываем пошагово с демонстрацией процесса настройки с сервисом Яндекс.Вордстат. Читать дальше!...

31 08 2022 15:11:47

Что такое Alexa Rank и как в нем продвинуться

Что такое Alexa Rank и как в нем продвинуться Alexa Rank учитывает как число страниц, так и количество просмотров страниц. Alexa Rank 1, что означает, что все сайты и сервисы Google посещают больше всего посетителей в интернете....

29 08 2022 8:21:24

Обновление Firebase ***ytics: настраиваем аналитику мобильных приложений и применяем новые фишки

Обновление Firebase ***ytics: настраиваем аналитику мобильных приложений и применяем новые фишки Мониторинг мобильных просмотр статистики Firebase в отчетах Google ***ytics и связь Firebase ***ytics с Google Рекламой...

28 08 2022 12:53:29

Что такое сопли (Google Supplemental) и как проверить сайт на их наличие

Что такое сопли (Google Supplemental) и как проверить сайт на их наличие Supplemental results, они же «сопли» или дополнительные результаты — страницы и документы сайта, которые не находятся в основном индексе Google...

27 08 2022 21:58:47

Вебмастера заработают более $2 млн на Всемирном дне шопинга в 2021

Вебмастера заработают более $2 млн на Всемирном дне шопинга в 2021 С каждым годом китайские маркетплейсы увеличивают свое влияние, и покупатели всё активней заказывают товары из Поднебесной. Но не всё скидки да покупки — обладатели интернет-аудитории и маркетологи могут еще и хорошо заработать на этих площадках....

26 08 2022 20:13:45

Размеры картинок для социальных сетей: Facebook, ВК, Twitter, Instagram, YouTube, Pinterest, LinkedIn, Tumblr, OK

Пост постоянно обновляется актуальными данными о размерах картинок...

25 08 2022 20:55:31

Кейс по продвижению интернет-магазина чехлов и виниловых наклеек для телефонов: ROMI 43%

Кейс по продвижению интернет-магазина чехлов и виниловых наклеек для телефонов: ROMI 43% Кейс: как золотой корпоративный линкбилдинг помог в SEO-продвижении интернет-магазина, в котором можно заказать и купить чехлы и виниловые наклейки для смартфонов...

24 08 2022 20:45:31

Как выбрать трекер для мобильного приложения — часть вторая

Как выбрать трекер для мобильного приложения — часть вторая Трекеры теперь на любой вкус: за лидерство в сфере аналитики и трекинга в мире мобильных приложений все еще конкурируют более десяти различных систем. Как не растеряться в обилии инструментов?...

23 08 2022 1:21:45

Как повысить продажи брендовых украшений на 8-е марта. Кейс Pandora

Как повысить продажи брендовых украшений на 8-е марта. Кейс Pandora Стратегия продвижения, благодаря которой удалось снизить стоимость заявки от покупателей. Рассказываем об особенностях проведения акций в нише. Узнать больше!...

22 08 2022 4:24:24

Как объединять данные при создании отчета в Data Studio

Как объединять данные при создании отчета в Data Studio В статье коротко о способах объединения данных из разных источников для создания отчётов...

21 08 2022 1:31:17

Как определить ключевую метрику LTV перед запуском Apple Search Ads

Как определить ключевую метрику LTV перед запуском Apple Search Ads Расчет прогноза по LTV позволит более точно задать параметры рекламной кампании в Apple Search Ads на начальном этапе. Как это делают в RadASO, читайте в статье....

20 08 2022 23:53:27

Бесплатный SEO-аудит на примере AIN.ua

Обойдемся без теории, зато покажем пример SEO-аудита...

19 08 2022 20:49:39

Настраиваем Google Рекламу на мобильные приложения

Настраиваем Google Рекламу на мобильные приложения Реклама мобильных приложений. Хотите показывать рекламу в играх? Вам сюда. Узнайте как правильно настроить показ рекламы на мобильных устройствах....

18 08 2022 19:13:55

Как воспитать лояльного пользователя: нейромаркетинг в действии

Как воспитать лояльного пользователя: нейромаркетинг в действии Рецензия на книгу «Нейромаркетинг в действии» Дэвида Льюиса...

17 08 2022 6:29:14

Недостатки популярных CMS интернет-магазинов: 1C-Битрикс, Magento, OpenCart, WooCommerce, CS-Cart

Недостатки популярных CMS интернет-магазинов: 1C-Битрикс, Magento, OpenCart, WooCommerce, CS-Cart Как новичкам в ecommerce выбрать первую CMS. Преимущества и трудности работы для крупных и небольших интернет-магазинов, русскоязычные и мультиязычные, с активной техподдержкой и без нее. Узнать больше!...

16 08 2022 4:17:17

Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::