Как получить и обработать сырые данные из Яндекс.Метрики > NetPeak - Независимость и осознанность
NetPeak Biz Tech    


Как получить и обработать сырые данные из Яндекс.Метрики

Как получить и обработать сырые данные из Яндекс.Метрики

< >

Хотите качественно анализировать статистику из Яндекс.Метрики? Отследить сложные воронки продаж, объединить данные из разных систем аналитики, контролировать расхождения в статистике, — «сырые» данные помогут вам эффективно решить все эти сложные задачи.

В 2016 году Яндекс заявили о публичном релизе программного интерфейса Logs API, который позволяет получить сырые данные из Яндекс.Метрики в файле формата TSV.

Однако в работе с API Яндекс.Метрики у вас могут возникнуть сложности:

  • процедуру выгрузки придется повторять каждый раз, когда вы захотите получить новую статистику;
  • для визуализации данных нужно вручную загружать TSV-файл в оболочку, предназначенную для построения графиков и таблиц.

В этой статье я расскажу, как автоматизировать выгрузку сырых данных из Яндекс.Метрики и работать с полученной статистикой.

Как выгрузить сырые данные с помощью языка R?

Как настроить запуск R-скрипта по расписанию? Язык R был специально разработан для применения в таких областях, как разведочный анализ данных, классические статистические тесты и высокоуровневая графика. 

Для выгрузки данных из Яндекс.Метрики я создал программный пакет ryandexdirect, в который добавил функцию yadirGetLogsData — она упрощает работу с Logs API.

Опишу работу с пакетом поэтапно:

1. Скачайте, установите и запустите версию R, соответствующую операционной системе вашего компьютера.

2. Скопируйте код пакета ryandexdirect в консоль R:

if(!\"bitops\" %in% installed.packages()[,1]){install.packages(\"bitops\")} if(!\"devtools\" %in% installed.packages()[,1]) {install.packages(\"devtools\")}library(devtools)install_github (\\\'selesnow/ryandexdirect\\\')library(ryandexdirect)

Появится сообщение, которое подтвердит успешную установку пакета.

3. Далее необходимо получить токен доступа к API. Для этого в консоль R скопируйте следующий код:

my_token <- yadirGetToken()

В открывшемся окне браузера разрешите приложению «ryandexdirect» доступ к своему аккаунту.

4. Появится окно с кодом доступа к API: скопируйте его и вставьте в R-консоль после строки «Enter your token». Рекомендую также сохранить этот код в блокноте, потому что он еще понадобится вам для выгрузки данных в Power BI.

5. В работе с функцией yadirGetLogsData используются такие аргументы:

  • counter — номер счётчика Яндекс.Метрики;
  • date_from — начальная дата отчёта;
  • date_to — конечная дата отчёта;
  • fields — список полей, которые вы хотите получить;
  • source — источник записей (возможные значения для этого аргумента: «hits» — просмотры или «visits» — визиты) ;
  • token — API токен (ключ доступа к Logs API).

Смотрите в справке список доступных полей для источника записей «visits» и «hits».

Подставьте ваши значения аргументов и запустите код ниже в консоли R:

rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource, ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)

6. Появится сообщение об успешной загрузке данных:

Processing .......... processing time 53.22 secLoading .. done! loading time 0.33 secInformation:Request id: 6079Request status: cleaned_by_userTotal time: 54.11 secData size: 0.13 MbReturn rows: 1649Data load successful!

В сообщении можно увидеть:

  • время обработки запроса на сервере Яндекса (53 секунды) ;
  • время загрузки данных с сервера (0,33 секунды) ;
  • общее время процедуры (54 секунды) ;
  • размер обработанных данных (0.13 мегабайт) ;
  • количество вернувшихся строк (1649).

Как выгрузить данные из R в таблицу или базу данных?

1. В CSV-таблицу

Если вы предпочитаете работать со статистикой в редакторе таблиц, например Excel, выгрузите полученные данные в CSV-файл. Для этого вставьте и запустите код в R-консоли:

write.table(rawmetrikdata, \"rawdata.csv\", sep = \";\", dec = \",\", row.names = FALSE)


В рабочей директории появится файл «rawdata.csv» с нужными данными. Чтобы узнать расположение рабочей директории, запустите в консоли R этот код:

getwd()

2. В базу данных MySQL

Рассмотрим, как импортировать статистику в базу данных на примере популярной СУБД MySQL.

В представленном коде подставьте значения вашей базы данных в значения параметров «dbname», «user» «password»,«host» (указаны после знака «=»).

if(!\"RMySQL\" %in% installed.packages()[,1]){install.packages(\"RMySQL\")} library(RMySQL)conMySQL <- dbConnect(MySQL(), dbname = \"MySchema\", user = \"root\", password = \"password\", host = \"localhost\")dbWriteTable(conMySQL, \"raw_data\", rawmetrikdata, row.names = FALSE, append = TRUE)dbDisconnect(conMySQL)


Запустите код со своими значениями в консоли R.

Как импортировать сырые данные в Microsoft Power BI?

Как работать с Microsoft Power BI — подробное руководство Если ваших навыков работы в среде R недостаточно, чтобы визуализировать полученные данные, используйте Power BI — мощный бесплатный инструмент от Microsoft.

Рассмотрим два способа импорта данных:

  • с помощью сценария на языке R;
  • с помощью специального файла Power BI с коннектором к Яндекс.Метрике.

1. С помощью сценария на языке R

1.1. В Power BI на вкладке «Главная» выберите группу меню «Получить данные» — «Другое» — «R-скрипт». Нажмите кнопку «Подключить».


1.2. Укажите ваши значения в аргументах функции:

library(ryandexdirect)rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource,ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)

Вместо «my_token» нужно вставить значение вашего токена API.

В открывшемся окне вставьте код в поле «Выполните сценарий R».

1.3. В окне «Навигатор» поставьте галочку напротив таблицы «rawmetrikdata» и нажмите кнопку «Загрузить»:

1.4. Данные, загруженные в вашу модель, будут выглядеть следующим образом:

2. С помощью файла Power BI с коннектором к Яндекс.Метрике

Этот метод еще проще — вам не нужно изменять код, достаточно ввести пользовательские параметры в коннектор.

2.1. Скачайте файл Power BI.

2.2. На вкладке «Главная» выберите группу меню «Внешние данные», откройте выпадающий список «Изменить запросы» и кликните на поле «Изменить параметры».

2.3. Введите свои параметры и нажмите кнопку «ОК».

2.4. Появится сообщение, что в запросах есть ожидающие изменения — нажмите «Применить изменения».

2.5. В диалоговом окне «Собственный запрос к базе данных» кликните «Выполнить».

В Power BI загрузятся данные из указанного вами аккаунта Яндекс.Метрики.

Выводы

Сырые данные из Яндекс.Метрики — отличный источник информации для аналитических исследований, однако без навыков программирования работать с API сложно. Используя описанный в статье метод, вы сможете легко выгрузить статистику и обработать данные.

Алгоритм действий:

  1. Установите версию R, соответствующую операционной системе на вашем компьютере, и загрузите данные с помощью пакета ryandexdirect.
  2. С помощью R-консоли выгрузите сырые данные в удобную для вас среду:
  • файл формата CSV;
  • базу данных MySQL.
  • Настройте импорт статистики в Microsoft Power BI для дальнейшей визуализации данных.

В следующей статье я расскажу, как связать Яндекс.Директ с Power BI.



Комментарии:

Как превратиться в робота и повысить продуктивность — советы для CEO

Как превратиться в робота и повысить продуктивность — советы для CEO Нет прокрастинации! Советы для личной эффективности от руководителя двух стартапов...

01 03 2024 3:22:55

Как заказать эффективную рекламу у Instagram-блогеров за $15-30

Как заказать эффективную рекламу у Instagram-блогеров за $15-30 Обсуждаем, как попробовать инфлюенсер-маркетинг без особого бюджета...

29 02 2024 1:46:41

Как загрузить данные из API Google ***ytics в R: часть 2

Пример использования пакета google***yticsR от Марка Эдмондса...

28 02 2024 22:58:49

Самые «нелепые» идеи успешных стартапов

Самые «нелепые» идеи успешных стартапов 2 любопытные истории и 8 успешных стартапов, которые вас удивят....

27 02 2024 2:24:31

10 рабочих способов повторного использования контента

10 рабочих способов повторного использования контента В помощь контент-маркетологам, редакторам, авторам и бизнесу: идеи, которые учитывают фактор SEO. Переупакуйте статьи, заметки, любые другие посты — угодите читателям и поисковикам. Узнать больше!...

26 02 2024 3:52:31

Как настроить динамические объявления в Яндекс.Директ

Объясняем по пунктам, как создать и правильно настроить DSA c таргетингом на фид и содержание сайта...

25 02 2024 13:25:35

Покажи свою работу: рассказ SMM-специалиста

Покажи свою работу: рассказ SMM-специалиста Кто ведет соцсети Netpeak и заказывает мерч для всего агентства...

24 02 2024 7:40:15

NPS: что такое Net Promoter Score и как начать его считать

NPS: что такое Net Promoter Score и как начать его считать Цель этой статьи — предупредить от опасной ошибки в маркетинге: бездумного и неправильного внедрения NPS-опросника....

23 02 2024 19:29:46

Как всплывающие уведомления помогают повысить продажи — кейс интернет-магазина

Как всплывающие уведомления помогают повысить продажи — кейс интернет-магазина Пуш для рекламных кампаний накануне праздничных распродаж...

22 02 2024 7:53:19

Как настроить ремаркетинг в контекстной рекламе и социальных сетях? Пpaктика и кейсы

Как настроить ремаркетинг в контекстной рекламе и социальных сетях? Пpaктика и кейсы Спикер ОА Петр Аброськин рассказал всем читателям блога о фишках настройки ремаркетинга в контекстной рекламе и социальных сетях...

21 02 2024 3:14:59

Выбираем оффер правильно: инструкция для начинающего арбитражника

От того, что такое оффер до лучших стратегий и избежания ошибок...

20 02 2024 0:57:14

Как найти PBN конкурента

Как найти PBN конкурента Как найти сетку сайтов конкурентов — рассказываем о популярных методах и секретных фишках. Бонус — инструкция по выявлению PBN конкурентов. Читать дальше!...

19 02 2024 14:25:53

Как работает экосистема Netpeak Group — интервью каналу «Точка G»

Как работает экосистема Netpeak Group — интервью каналу «Точка G» Узнай, как бэкофис группы помогает развиваться компаниям, и выиграй iPhone — подбери крутое название для нашей группы....

18 02 2024 7:25:27

Исследование — сколько стоил клик в Google Ads в Казахстане во втором квартале 2021 года

Исследование — сколько стоил клик в Google Ads в Казахстане во втором квартале 2021 года Информация поможет вам в составлении медиапланов. Зная стоимость клика в вашей тематике или регионе, и коэффициент конверсии на вашем сайте, можно оценить объем необходимых инвестиций в рекламу и прогнозировать стоимость конверсии. Узнать больше!...

17 02 2024 18:59:20

Кейс по SEO-продвижению магазина сантехники, садовой техники, электроинструментов: ROMI 4157%

Изначально необходимо планировать продолжительное сотрудничество с агентством для достижения поставленных целей. В своей стратегии мы использовали сезонность, чтобы достичь максимальных результатов для клиента...

16 02 2024 14:56:47

План продвижения мобильного приложения — подробный чек-лист

План продвижения мобильного приложения — подробный чек-лист Уже сейчас в Google Play и App Store миллионы приложений. Как сделать так, чтобы приложение получило достаточное количество установок и приносило доход? Читайте об этом далее и изучайте наглядную инфографику!...

15 02 2024 6:29:11

Полный гайд по Reels в Instagram: что это, как создавать и что снимать

Полный гайд по Reels в Instagram: что это, как создавать и что снимать Как работать с новой функцией, чтобы набирать подписчиков и делать продажи. Подробное и актуальное руководство в 2021 году....

14 02 2024 2:31:10

30+ мясных Telegram-каналов по digital-маркетингу: что читать новичку и опытному бизнесмену

30+ мясных Telegram-каналов по digital-маркетингу: что читать новичку и опытному бизнесмену Мы собрали 30+ Телеграм-каналов, где вы найдете только полезную и актуальную информацию про маркетинг, SEO, SMM, веб-аналитику и развитие бизнеса...

13 02 2024 23:13:28

Продвижение на prom.ua — настраиваем аналитику, ремаркетинг, Google Merchant Center

Лафхаки для маркетологов и владельцев сайтов на Prom...

12 02 2024 18:42:19

Азы типографики — нескучно о шрифтах

Азы типографики — нескучно о шрифтах Нужно подобрать красивый шрифт? Готический или народный? Стандартный или фирменный? Как выбрать — рассказывает профессионал...

11 02 2024 22:12:33

Как проверить качество кампаний в Google Рекламе за 10 минут

Как быстро определить, что ваш подрядчик плохо работает с рекламной кампанией....

10 02 2024 23:34:24

Все, что вы боялись спросить о семантической разметке

Таблица общих для Google и Яндекс микроформатов инсайде...

09 02 2024 9:45:43

Как создать специальный отчет в Google ***ytics

Как создать специальный отчет в Google ***ytics Мануал, по которому вы создадите специальный отчет, чтобы применить его на своем сайте....

08 02 2024 0:56:12

Как мы увеличили ROMI на 433% в рентабельных рекламных кампаниях: кейс интернет-магазина ФК «Динамо» (Киев)

Как мы увеличили ROMI на 433% в рентабельных рекламных кампаниях: кейс интернет-магазина ФК «Динамо» (Киев) Фубольный клуб. Как увеличить ROMI (возврат маркетинговых инвестиций) в рекламных кампаниях — рассказываем на примере киевского интернет-магазина «Динамо»...

07 02 2024 3:39:15

Как отслеживать эффективность email-рассылки: главные метрики, которые нужно фиксировать

Как отслеживать эффективность email-рассылки: главные метрики, которые нужно фиксировать За какими метриками следует пристально следить в email-рассылках...

06 02 2024 7:57:42

Массовые изменения в Google Ads Editor

При работе с рекламным аккаунтом приходится вносить много однотипных изменений. Рассказываем, как сделать это быстро....

05 02 2024 21:46:51

Синдром самозванца. Откуда берется и как с ним можно справиться

Синдром самозванца. Откуда берется и как с ним можно справиться Все успешные люди немного сомневаются в своих достижениях и рефлексируют о большом количестве ошибок. Не ок, когда сомнения затягивают и разрушают самооценку, создают постоянное напряжение. Давайте разбираться с синдромом самозванца....

04 02 2024 5:43:14

Как работать с приложениями в Google Play Developers Console

Как работать с приложениями в Google Play Developers Console Как узнавать эффективность страницы мобильного приложения в Play Маркете? Учимся работать в Google Play Developers Console....

03 02 2024 6:52:56

Миллион сеансов в месяц на AMP-страницы в E-commerce

Миллион сеансов в месяц на AMP-страницы в E-commerce Как Bigl.ua внедрили AMP и остались очень довольны результатом....

02 02 2024 19:26:39

Первопроходцы в нише ремонта мобильных телефонов в Казахстане — история Satel.kz

Первопроходцы в нише ремонта мобильных телефонов в Казахстане — история Satel.kz Satel является одним из топовых игроков онлайн-маркета, но на старте интернет в качестве канала продаж не рассматривался. Когда онлайн запустили на полную? Узнать!...

01 02 2024 8:58:51

Как быстро найти ошибки на сайте — проверка важных тегов с помощью Google Tag Manager и таблиц Google

Как быстро найти ошибки на сайте — проверка важных тегов с помощью Google Tag Manager и таблиц Google Тестирования наличия важных тегов на целевых страница — бесплатный скрипт и алгоритм...

31 01 2024 14:38:35

Как настроить таргетинг для рекламы в Instagram и Facebook

Как настроить таргетинг для рекламы в Instagram и Facebook Запускаем первую таргетированную рекламу. Мы составили инструкцию для начинающих таргетолов, а также для SMM-специалистов, которым регулярно нужно рекламировать товары и услуги. Читайте подробнее!...

30 01 2024 17:46:12

Что выбрать: страницу или группу на Facebook?

Что выбрать: страницу или группу на Facebook? Сегодня стоит озвучить особенности страниц и групп в социальной сети Фейсбук...

29 01 2024 3:12:25

Как использовать холодную рассылку для поиска инвесторов — советы стартапам

Как владельцу стартапа пробиться сквозь сотни ежедневных сообщений, которые получает инвестор, создать эффективную цепочку писем и быть замеченным...

28 01 2024 19:57:50

Как добавить подписчиков в Facebook, Twitter и LinkedIn из базы рассылки

Как добавить подписчиков в Facebook, Twitter и LinkedIn из базы рассылки Как быстро увеличить количество заинтересованных подписчиков в facebook, twitter, google+ и linkedIn с помощью контактов из рассылки и аккаунтов Facebook....

27 01 2024 19:33:44

Пять вопросов для проверки софт-скиллз в IT

Пять вопросов для проверки софт-скиллз в IT Как узнать, что потенциальный сотрудник креативный, умеет убеждать, работать в комaнде, адаптироваться к быстрой смене условий, владеет эмоциональным интеллектом? Вопросы для проверки этих софт-скиллов здесь....

26 01 2024 9:58:27

Как поменялись рекламные кампании во время карантина — что делать бизнесу

Как поменялись рекламные кампании во время карантина — что делать бизнесу Инсайты от специалистов агентства Netpeak о популярных тематиках, тенденциях, особенностях продвижения в карантин и кризис, новых правилах для контекстной рекламы и других способов продвижения. Чтобы узнать больше, читайте далее!...

25 01 2024 11:41:39

Бизнес и экология. В компании Herman Miller наняли на работу пчёл

Бизнес и экология. В компании Herman Miller наняли на работу пчёл Сортировка мусора, использование велосипедов вместо автомобилей, озеленение города... В Украине, как правило, так представляют экофрендли бизнес. Зарубежные компании идут дальше....

24 01 2024 2:24:29

10 фишек облачной телефонии для удаленной работы отдела продаж и колл-центра

10 фишек облачной телефонии для удаленной работы отдела продаж и колл-центра Как связываться с клиентами и что делать, чтобы качество обслуживания не просело. Менеджер, который обpaбатывает звонки со своего мобильного, остается без контроля, поэтому АТС оказывается идеальным решением. Разбираемся в статье!...

22 01 2024 17:54:59

Как получать деньги из YouTube

Какие шаги стоит сделать, чтобы обойти ямы профессионального влогинга и как заработать на его вершинах...

21 01 2024 18:28:26

Главред блога Netpeak про управление задачами и собой

Главред блога Netpeak про управление задачами и собой Неля Серебро рассказывает про внутреннюю кухню блога Netpeak...

20 01 2024 21:28:50

Техноанархизм и chindogu как источник идей

Техноанархизм и chindogu как источник идей Чтобы сделать что-то лучше, иногда надо довести это до абсурда. Так думают приверженцы теории «странных изделий» — chindogu...

19 01 2024 10:49:12

Страница «о нас» — первое, что должно быть на сайте

Страница «о нас» — первое, что должно быть на сайте Красивое креативное описание страницы «о нас» — важная составляющая коммуникации с потенциальным клиентом. Покажите свою комaнду, опишите ценности и миссию. Сделайте эту страницу продающей. Узнать больше!...

18 01 2024 20:49:10

Как составить контент-план на год

Как составить контент-план на год Пример того, как составить маркетинговый контент-план, анализируя успешных конкурентов...

17 01 2024 23:27:42

Как написать follow up, чтобы от него был результат?

Памятка для всех, кому важно сохранить детали переговоров....

16 01 2024 2:56:24

Как покорить Бразилию — советы Depositphotos

Как покорить Бразилию — советы Depositphotos Идем в Бразилию: опыт Depositphotos + полезные факты....

15 01 2024 22:47:11

Как сделать разработчикам приятно — опыт Netpeak

Как сделать разработчикам приятно — опыт Netpeak Отличный способ мотивации, который мы попробовали и вам рекомендуем....

14 01 2024 16:59:42

Аналитический инструмент для сервиса заказа билетов — контролируем бюджеты сотен мероприятий в реальном времени

Аналитический инструмент для сервиса заказа билетов — контролируем бюджеты сотен мероприятий в реальном времени Как автоматизировать целый участок в работе комaнды специалистов по контекстной рекламе — кейс concert.ua...

13 01 2024 16:25:18

Как создать личный бренд в компании — кейс Алексея Селезнёва, руководителя отдела аналитики Netpeak

Как создать личный бренд в компании — кейс Алексея Селезнёва, руководителя отдела аналитики Netpeak Создание репутации крутого специалиста — дело рук крутого специалиста....

12 01 2024 5:32:29

Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::