Как получить и обработать сырые данные из Яндекс.Метрики > NetPeak - Независимость и осознанность
NetPeak Biz Tech    


Как получить и обработать сырые данные из Яндекс.Метрики

Как получить и обработать сырые данные из Яндекс.Метрики

< >

Хотите качественно анализировать статистику из Яндекс.Метрики? Отследить сложные воронки продаж, объединить данные из разных систем аналитики, контролировать расхождения в статистике, — «сырые» данные помогут вам эффективно решить все эти сложные задачи.

В 2016 году Яндекс заявили о публичном релизе программного интерфейса Logs API, который позволяет получить сырые данные из Яндекс.Метрики в файле формата TSV.

Однако в работе с API Яндекс.Метрики у вас могут возникнуть сложности:

  • процедуру выгрузки придется повторять каждый раз, когда вы захотите получить новую статистику;
  • для визуализации данных нужно вручную загружать TSV-файл в оболочку, предназначенную для построения графиков и таблиц.

В этой статье я расскажу, как автоматизировать выгрузку сырых данных из Яндекс.Метрики и работать с полученной статистикой.

Как выгрузить сырые данные с помощью языка R?

Как настроить запуск R-скрипта по расписанию? Язык R был специально разработан для применения в таких областях, как разведочный анализ данных, классические статистические тесты и высокоуровневая графика. 

Для выгрузки данных из Яндекс.Метрики я создал программный пакет ryandexdirect, в который добавил функцию yadirGetLogsData — она упрощает работу с Logs API.

Опишу работу с пакетом поэтапно:

1. Скачайте, установите и запустите версию R, соответствующую операционной системе вашего компьютера.

2. Скопируйте код пакета ryandexdirect в консоль R:

if(!\"bitops\" %in% installed.packages()[,1]){install.packages(\"bitops\")} if(!\"devtools\" %in% installed.packages()[,1]) {install.packages(\"devtools\")}library(devtools)install_github (\\\'selesnow/ryandexdirect\\\')library(ryandexdirect)

Появится сообщение, которое подтвердит успешную установку пакета.

3. Далее необходимо получить токен доступа к API. Для этого в консоль R скопируйте следующий код:

my_token <- yadirGetToken()

В открывшемся окне браузера разрешите приложению «ryandexdirect» доступ к своему аккаунту.

4. Появится окно с кодом доступа к API: скопируйте его и вставьте в R-консоль после строки «Enter your token». Рекомендую также сохранить этот код в блокноте, потому что он еще понадобится вам для выгрузки данных в Power BI.

5. В работе с функцией yadirGetLogsData используются такие аргументы:

  • counter — номер счётчика Яндекс.Метрики;
  • date_from — начальная дата отчёта;
  • date_to — конечная дата отчёта;
  • fields — список полей, которые вы хотите получить;
  • source — источник записей (возможные значения для этого аргумента: «hits» — просмотры или «visits» — визиты) ;
  • token — API токен (ключ доступа к Logs API).

Смотрите в справке список доступных полей для источника записей «visits» и «hits».

Подставьте ваши значения аргументов и запустите код ниже в консоли R:

rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource, ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)

6. Появится сообщение об успешной загрузке данных:

Processing .......... processing time 53.22 secLoading .. done! loading time 0.33 secInformation:Request id: 6079Request status: cleaned_by_userTotal time: 54.11 secData size: 0.13 MbReturn rows: 1649Data load successful!

В сообщении можно увидеть:

  • время обработки запроса на сервере Яндекса (53 секунды) ;
  • время загрузки данных с сервера (0,33 секунды) ;
  • общее время процедуры (54 секунды) ;
  • размер обработанных данных (0.13 мегабайт) ;
  • количество вернувшихся строк (1649).

Как выгрузить данные из R в таблицу или базу данных?

1. В CSV-таблицу

Если вы предпочитаете работать со статистикой в редакторе таблиц, например Excel, выгрузите полученные данные в CSV-файл. Для этого вставьте и запустите код в R-консоли:

write.table(rawmetrikdata, \"rawdata.csv\", sep = \";\", dec = \",\", row.names = FALSE)


В рабочей директории появится файл «rawdata.csv» с нужными данными. Чтобы узнать расположение рабочей директории, запустите в консоли R этот код:

getwd()

2. В базу данных MySQL

Рассмотрим, как импортировать статистику в базу данных на примере популярной СУБД MySQL.

В представленном коде подставьте значения вашей базы данных в значения параметров «dbname», «user» «password»,«host» (указаны после знака «=»).

if(!\"RMySQL\" %in% installed.packages()[,1]){install.packages(\"RMySQL\")} library(RMySQL)conMySQL <- dbConnect(MySQL(), dbname = \"MySchema\", user = \"root\", password = \"password\", host = \"localhost\")dbWriteTable(conMySQL, \"raw_data\", rawmetrikdata, row.names = FALSE, append = TRUE)dbDisconnect(conMySQL)


Запустите код со своими значениями в консоли R.

Как импортировать сырые данные в Microsoft Power BI?

Как работать с Microsoft Power BI — подробное руководство Если ваших навыков работы в среде R недостаточно, чтобы визуализировать полученные данные, используйте Power BI — мощный бесплатный инструмент от Microsoft.

Рассмотрим два способа импорта данных:

  • с помощью сценария на языке R;
  • с помощью специального файла Power BI с коннектором к Яндекс.Метрике.

1. С помощью сценария на языке R

1.1. В Power BI на вкладке «Главная» выберите группу меню «Получить данные» — «Другое» — «R-скрипт». Нажмите кнопку «Подключить».


1.2. Укажите ваши значения в аргументах функции:

library(ryandexdirect)rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource,ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)

Вместо «my_token» нужно вставить значение вашего токена API.

В открывшемся окне вставьте код в поле «Выполните сценарий R».

1.3. В окне «Навигатор» поставьте галочку напротив таблицы «rawmetrikdata» и нажмите кнопку «Загрузить»:

1.4. Данные, загруженные в вашу модель, будут выглядеть следующим образом:

2. С помощью файла Power BI с коннектором к Яндекс.Метрике

Этот метод еще проще — вам не нужно изменять код, достаточно ввести пользовательские параметры в коннектор.

2.1. Скачайте файл Power BI.

2.2. На вкладке «Главная» выберите группу меню «Внешние данные», откройте выпадающий список «Изменить запросы» и кликните на поле «Изменить параметры».

2.3. Введите свои параметры и нажмите кнопку «ОК».

2.4. Появится сообщение, что в запросах есть ожидающие изменения — нажмите «Применить изменения».

2.5. В диалоговом окне «Собственный запрос к базе данных» кликните «Выполнить».

В Power BI загрузятся данные из указанного вами аккаунта Яндекс.Метрики.

Выводы

Сырые данные из Яндекс.Метрики — отличный источник информации для аналитических исследований, однако без навыков программирования работать с API сложно. Используя описанный в статье метод, вы сможете легко выгрузить статистику и обработать данные.

Алгоритм действий:

  1. Установите версию R, соответствующую операционной системе на вашем компьютере, и загрузите данные с помощью пакета ryandexdirect.
  2. С помощью R-консоли выгрузите сырые данные в удобную для вас среду:
  • файл формата CSV;
  • базу данных MySQL.
  • Настройте импорт статистики в Microsoft Power BI для дальнейшей визуализации данных.

В следующей статье я расскажу, как связать Яндекс.Директ с Power BI.



Комментарии:

Pitch perfect: как получить публикации в топовых медиа

Pitch perfect: как получить публикации в топовых медиа Если у вас есть продукт, о котором миру стоит узнать, книга Pitch perfect придется вам очень кстати....

04 10 2022 2:59:36

Как привлечь на 174% больше звонков с помощью видеорекламы — кейс клиники лазерной косметологии Goldlaser.com.ua

Как привлечь на 174% больше звонков с помощью видеорекламы — кейс клиники лазерной косметологии Goldlaser.com.ua Клиникка использует лазеры и нуждается в продвижении. В специфических сферах привлечь потребителя впервые бывает сложнее и дороже, чем удержать его. Этот кейс о том, как повысить количество обращений новых клиентов с помощью видеорекламы...

03 10 2022 3:34:20

Как сделать интеграцию Google Tag Manager с Яндекс.Метрикой

Как сделать интеграцию Google Tag Manager с Яндекс.Метрикой Подружим GTM и Метрику с минимальным вовлечением программиста....

02 10 2022 18:52:24

Как получать данные от сторонних сервисов — создаем вебхук с помощью Google Apps Scripts

Как получать данные от сторонних сервисов — создаем вебхук с помощью Google Apps Scripts Всё о вебхуках. Как настроить механизм получения уведомлений о событиях с помощью функций обратных вызовов....

01 10 2022 16:42:24

К чему быть готовым продавцам одежды и обуви — пример тематической стратегии Netpeak

К чему быть готовым продавцам одежды и обуви — пример тематической стратегии Netpeak Советы специалистов по продвижению интернет-магазинов в сверхконкурентной нише одежды и обуви...

30 09 2022 23:38:40

Сколько стоил клик в Google Ads и Яндекс.Директ в Казахстане в первом квартале 2018 года

Сколько стоил клик в Google Ads и Яндекс.Директ в Казахстане в первом квартале 2018 года Какие регионы и тематики наиболее выгодно продвигать в каждом из представленных рекламных сервисов, где наибольшая доля мобильного трафика, и другая полезная статистика....

29 09 2022 0:37:17

Семь улучшений Netpeak: тематические стратегии продвижения одежды, ремонта, еды и финансовых услуг

А ещё Netpeak Cluster стал инструментом и у нас появился хаб знаний на YouTube....

28 09 2022 16:31:22

Какие посты заходят и почему торг уместен — итоги продвижения телеграм-канала «Артём Бородатюк» за 2021 год

Какие посты заходят и почему торг уместен — итоги продвижения телеграм-канала «Артём Бородатюк» за 2021 год Делимся итогами продвижения телеграм-канала «Артём Бородатюк» за 2021 год...

27 09 2022 1:53:32

Как улучшить показатель качества в Google Ads

Как улучшить показатель качества в Google Ads Раскрываем тайны показателя качества в рекламе гугл с помощью API...

26 09 2022 2:19:23

Как создать виртуальный офис

Как создать виртуальный офис Опыт удаленки стартапа lemlist. Как сотрудники работали онлайн в доковидные времена и совмещали профессиональную деятельность с тимбилдингом. Читайте в коротком посте Владимира Поло, основателя AcademyOcean....

25 09 2022 6:18:27

Кейс по контекстной рекламе в тематике «языковые курсы»

Кейс по контекстной рекламе в тематике «языковые курсы» Филиалы курсов в Таллине, Москве, Днепропетровске. Оказывается, нельзя так просто взять и посчитать ROMI (возврат маркетинговых инвестиций) в этой тематике....

24 09 2022 5:24:21

Как работать с Microsoft Power BI — подробное руководство

Как работать с Microsoft Power BI — подробное руководство Мануал по Microsoft Power BI — мощному инструменту для бизнес-аналитики. Освоив эту платформу, вы сможете с легкостью создавать понятные отчеты и обновлять их в режиме реального времени....

23 09 2022 20:35:35

Денис Довгаль — интервью о видеоконтенте и удаленке до пандемии

Денис Довгаль — интервью о видеоконтенте и удаленке до пандемии Создатель студии рисованных видео Денис Довгаль — о тактике видеомаркетинга и жизни в стиле «цифровых кочевников»....

22 09 2022 16:41:38

Девять неочевидных и пpaктически применимых SEO-фишек — круглый стол 8P 2018

Девять неочевидных и пpaктически применимых SEO-фишек — круглый стол 8P 2018 Нет новых идей для развития рекламной компании? Одобренные рекомендации по поисковому продвижению от экспертов: спикеров и участников 8P 2018...

21 09 2022 15:13:17

Семь улучшений Netpeak: итоги года и цели на 2017

Netpeak подводит итоги 2016 года и делится планами на будущее....

20 09 2022 11:58:11

Что такое SEO и зачем нужна поисковая оптимизация

Что такое SEO и зачем нужна поисковая оптимизация Основные этапы раскрутки сайта. Что такое и как работает поисковая оптимизация, ее виды, особенности, преимущества...

19 09 2022 0:37:10

Как бизнесу сэкономить на digital-услугах в кризис: 6 рабочих способов

Как бизнесу сэкономить на digital-услугах в кризис: 6 рабочих способов Разбираем на примерах коллабораций, подрядчиков из регионов и тендендерных площадок...

18 09 2022 19:18:10

Как провести анализ юзабилити сайта онлайн

Как провести анализ юзабилити сайта онлайн Аудит юзабилити способствует следованию современным тенденциям, пониманию целевого посетителя и увеличению конверсии....

17 09 2022 2:24:56

Первый рабочий день в Netpeak

Первый рабочий день в Netpeak Что ждет новичка в его первый день работы в Netpeak — подарки, первые задачи и традиции компании. Все, что нужно знать, чтобы меньше волноваться и влиться в коллектив. Узнать больше!...

16 09 2022 7:20:36

200 лучших минус-слов в Google Рекламе

200 лучших минус-слов в Google Рекламе Список минус-слов для Google Рекламы для B2B сайтов....

15 09 2022 7:34:56

Cемь улучшений Netpeak: бизнес-кластер, производство баннеров и более 20 разовых услуг

Cемь улучшений Netpeak: бизнес-кластер, производство баннеров и более 20 разовых услуг Решили составить список из семи улучшений. Что нового, Netpeak?...

14 09 2022 21:17:26

10 неочевидных функций приложения для скриншотов KISS

10 неочевидных функций приложения для скриншотов KISS Опции скриншутера, которые упростят вам жизнь....

13 09 2022 7:49:55

Как составить техзадание и донести суть исполнителю

Как составить техзадание и донести суть исполнителю Если вы не можете разработать технические задания для себя в виде структурированного текста, вы, скорее всего, плохо понимаете, что хотите от исполнителя...

12 09 2022 11:59:38

Стратегия, позиционирование и бюджетирование: основные маркетинговые боли малого бизнеса Украины

Мы собрали и проанализировали ответы 270 владельцев и маркетологов...

11 09 2022 9:42:56

Как анализировать внешнюю ссылочную массу: обзор сервисов и программ

Как анализировать внешнюю ссылочную массу: обзор сервисов и программ Делайте анализ ссылочной массы хотя бы раз в месяц — и будет вам счастье....

10 09 2022 15:24:49

«Социальная сеть»: бой гения и плагиата

«Социальная сеть»: бой гения и плагиата Наш обзор кинофильма «Социальная сеть» про Facebook и Марка Цукерберга....

09 09 2022 17:35:35

«Лучший питч — продукт, клиенты и доходы». Интервью с Виталием Гончаруком о маркетинге Augmented Pixels

«Лучший питч — продукт, клиенты и доходы». Интервью с Виталием Гончаруком о маркетинге Augmented Pixels СЕО of Augmented Pixels рассказал нам о принципах ведения бизнеса в Украине и США, о ненужности бизнес-планов и креативных питчей, а также о способе стать лучшим программистом...

08 09 2022 11:59:36

Как сделать разработчикам приятно — опыт Netpeak

Как сделать разработчикам приятно — опыт Netpeak Отличный способ мотивации, который мы попробовали и вам рекомендуем....

06 09 2022 12:44:37

Партнерство с Amazon — всё? Что делать после уменьшения партнерских выплат

Партнерство с Amazon — всё? Что делать после уменьшения партнерских выплат Amazon сократил комиссию для сайтов партнеров от 30% до 80% — что делать дальше? Мнение эксперта....

05 09 2022 20:57:34

Продвинутые способы аналитики кампаний на Facebook — Инспектор и внутренние диаграммы

Узнайте, как пользоваться Инспектором и внутренними диаграммами Facebook, чтобы быть в лидерах своей ниши!...

04 09 2022 18:21:50

Первопроходцы в нише ремонта мобильных телефонов в Казахстане — история Satel.kz

Первопроходцы в нише ремонта мобильных телефонов в Казахстане — история Satel.kz Satel является одним из топовых игроков онлайн-маркета, но на старте интернет в качестве канала продаж не рассматривался. Когда онлайн запустили на полную? Узнать!...

03 09 2022 11:26:27

Личный кабинет клиента Netpeak 2.0

Личный кабинет клиента Netpeak 2.0 Личный кабинет на сайте: что нового во внешнем виде, внутренностях и отчетах, функционале и юзабилити, автоматизации работы с оплатами, интернет-представительстве клиента и для специалистов. Узнайте больше!...

02 09 2022 8:39:43

Зачем нужен видеомаркетинг: инфографика

Зачем нужен видеомаркетинг: инфографика Видеомаркетинг должен стать обязательной частью рекламной онлайн-стратегии, и мы собрали несколько подтверждений этому в нашей инфографике....

01 09 2022 6:26:43

Кейс по SMM в тематике «алкогольные напитки»: «Пригласи 10 друзей — получи бутылку шампанского»

Кейс по SMM в тематике «алкогольные напитки»: «Пригласи 10 друзей — получи бутылку шампанского» Оживший бар. О том, как один украинский бренд за полтора месяца получил более 4 000 фанов!...

31 08 2022 10:10:13

Google Колибри — все, что вы хотели знать о новом алгоритме

Мы решили определить и раскрыть самые популярные вопросы по работе нового алгоритма Google Колибри...

30 08 2022 1:40:22

Белое и черное SEO, алгоритм Google и будущее интернета — простые ответы от Артема Бородатюка

Белое и черное SEO, алгоритм Google и будущее интернета — простые ответы от Артема Бородатюка Как работают SEO-специалисты, что нужно знать о принципах работы алгоритмов Гугл, как продвигать мобильные приложения и каким образом может монетизироваться Телеграм. Узнать больше!...

29 08 2022 8:28:45

13 фишек маркетинга и продвижения проектов за рубежом — круглый стол 8P 2017

13 фишек маркетинга и продвижения проектов за рубежом — круглый стол 8P 2017 «Нет, нам нужна раскрутка и точка!» Список маркетинговых пpaктически применимых фишек....

28 08 2022 8:13:30

Что нужно понимать в SEO-отчетах, чтобы оценить эффективность продвижения

Что нужно понимать в SEO-отчетах, чтобы оценить эффективность продвижения Всё об оценке эффективности SEO-продвижения с инструментами и рекомендациями...

27 08 2022 12:44:53

Зрители Big Money и Артем Бородатюк предложили свои советы по ведению бизнеса

Зрители Big Money и Артем Бородатюк предложили свои советы по ведению бизнеса Советы бизнесу от зрителей Big Money и Артема Бородатюка. Предлагаем 11 универсальных, но простых и понятных идей....

26 08 2022 5:52:21

Креативное SEO: нестандартные методы продвижения для всех типов сайтов

Креативное SEO: нестандартные методы продвижения для всех типов сайтов Правильное продвижение сайта и нестандартные предложения по привлечению трафика...

25 08 2022 14:41:48

Что такое умные торговые кампании и как они работают

Спойлер: чтобы получить наилучший результат с наименьшими усилиями и затратами времени....

24 08 2022 8:52:43

Эффективна ли стратегия «Целевая цена за конверсию»? Исследование Netpeak

Эффективна ли стратегия «Целевая цена за конверсию»? Исследование Netpeak Стоит ли подключать автоматические стратегии управления ставками? Мы проверили, как работает «Целевая цена за конверсию» в разных тематиках....

23 08 2022 8:30:10

Кто есть кто в комaнде проекта?

Кто есть кто в комaнде проекта? Всё, что нужно знать заказчикам услуг о внутренней кухне PM-специалистов...

22 08 2022 16:15:43

SMM-кейс в тематике «кухонная бытовая техника»

SMM-кейс в тематике «кухонная бытовая техника» Продвижение бытовой техники в социальных сетях: кейс с целями и задачами, механикой конкурса, выбором целевой аудитории, концепции и условий, а также итогами акции с цифрами по количеству постов, участников и ростом узнаваемости бренда...

21 08 2022 18:43:54

Как правильно «закрывать» свой сайт

Как правильно «закрывать» свой сайт Сотрудник Google расскажет о том, как присоединиться к протесту, не навредив сайту....

20 08 2022 19:36:27

Как вести Instagram в B2B во время локдayна — кейс агентства Netpeak

Как вести Instagram в B2B во время локдayна — кейс агентства Netpeak SMM для агентства перформанс-маркетинга. Как уйти от сухих текстов и стандартных баннеров для бизнес-страницы....

19 08 2022 6:20:14

Как digital-специалистам сохранить конкурентоспособность в 2021 году: 5 важных навыков и рекомендации по самопрезентации

Как digital-специалистам сохранить конкурентоспособность в 2021 году: 5 важных навыков и рекомендации по самопрезентации Digital-маркетинг развивается и модернизируется: новые методы работы, инструменты и технологии. И стабильно растут требования к digital-специалистам. Чтобы оставаться в профессии, нужно мониторить тренды, отслеживать тенденции и повышать знания....

18 08 2022 10:56:37

Анна Романишина о школе английского, тайм-менеджменте и продвижении

Анна Романишина о школе английского, тайм-менеджменте и продвижении Интервью с основателем школы английского языка Progress...

17 08 2022 10:35:10

Фандрайзинг — руководство по привлечению инвестиций в стартап

Фандрайзинг — руководство по привлечению инвестиций в стартап Процесс привлечения сторонних ресурсов отнимает основную часть времени у большинства основателей стартапов. Читайте руководство, которое поможет сделать этот процесс во время серии А более эффективным....

16 08 2022 15:13:10

Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::