Как получить и обработать сырые данные из Яндекс.Метрики
Хотите качественно анализировать статистику из Яндекс.Метрики? Отследить сложные воронки продаж, объединить данные из разных систем аналитики, контролировать расхождения в статистике, — «сырые» данные помогут вам эффективно решить все эти сложные задачи.
В 2016 году Яндекс заявили о публичном релизе программного интерфейса Logs API, который позволяет получить сырые данные из Яндекс.Метрики в файле формата TSV.
Однако в работе с API Яндекс.Метрики у вас могут возникнуть сложности:
- процедуру выгрузки придется повторять каждый раз, когда вы захотите получить новую статистику;
- для визуализации данных нужно вручную загружать TSV-файл в оболочку, предназначенную для построения графиков и таблиц.
В этой статье я расскажу, как автоматизировать выгрузку сырых данных из Яндекс.Метрики и работать с полученной статистикой.
Как выгрузить сырые данные с помощью языка R?
Как настроить запуск R-скрипта по расписанию?
Для выгрузки данных из Яндекс.Метрики я создал программный пакет ryandexdirect, в который добавил функцию yadirGetLogsData — она упрощает работу с Logs API.
Опишу работу с пакетом поэтапно:
1. Скачайте, установите и запустите версию R, соответствующую операционной системе вашего компьютера.
2. Скопируйте код пакета ryandexdirect в консоль R:
if(!\"bitops\" %in% installed.packages()[,1]){install.packages(\"bitops\")} if(!\"devtools\" %in% installed.packages()[,1]) {install.packages(\"devtools\")}library(devtools)install_github (\\\'selesnow/ryandexdirect\\\')library(ryandexdirect)Появится сообщение, которое подтвердит успешную установку пакета.
3. Далее необходимо получить токен доступа к API. Для этого в консоль R скопируйте следующий код:
my_token <- yadirGetToken()В открывшемся окне браузера разрешите приложению «ryandexdirect» доступ к своему аккаунту.
4. Появится окно с кодом доступа к API: скопируйте его и вставьте в R-консоль после строки «Enter your token». Рекомендую также сохранить этот код в блокноте, потому что он еще понадобится вам для выгрузки данных в Power BI.
5. В работе с функцией yadirGetLogsData используются такие аргументы:
- counter — номер счётчика Яндекс.Метрики;
- date_from — начальная дата отчёта;
- date_to — конечная дата отчёта;
- fields — список полей, которые вы хотите получить;
- source — источник записей (возможные значения для этого аргумента: «hits» — просмотры или «visits» — визиты) ;
- token — API токен (ключ доступа к Logs API).
Смотрите в справке список доступных полей для источника записей «visits» и «hits».
Подставьте ваши значения аргументов и запустите код ниже в консоли R:
rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource, ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)6. Появится сообщение об успешной загрузке данных:
Processing .......... processing time 53.22 secLoading .. done! loading time 0.33 secInformation:Request id: 6079Request status: cleaned_by_userTotal time: 54.11 secData size: 0.13 MbReturn rows: 1649Data load successful!В сообщении можно увидеть:
- время обработки запроса на сервере Яндекса (53 секунды) ;
- время загрузки данных с сервера (0,33 секунды) ;
- общее время процедуры (54 секунды) ;
- размер обработанных данных (0.13 мегабайт) ;
- количество вернувшихся строк (1649).
Как выгрузить данные из R в таблицу или базу данных?
1. В CSV-таблицу
Если вы предпочитаете работать со статистикой в редакторе таблиц, например Excel, выгрузите полученные данные в CSV-файл. Для этого вставьте и запустите код в R-консоли:
write.table(rawmetrikdata, \"rawdata.csv\", sep = \";\", dec = \",\", row.names = FALSE)
В рабочей директории появится файл «rawdata.csv» с нужными данными. Чтобы узнать расположение рабочей директории, запустите в консоли R этот код:
getwd()2. В базу данных MySQL
Рассмотрим, как импортировать статистику в базу данных на примере популярной СУБД MySQL.
В представленном коде подставьте значения вашей базы данных в значения параметров «dbname», «user» «password»,«host» (указаны после знака «=»).
if(!\"RMySQL\" %in% installed.packages()[,1]){install.packages(\"RMySQL\")} library(RMySQL)conMySQL <- dbConnect(MySQL(), dbname = \"MySchema\", user = \"root\", password = \"password\", host = \"localhost\")dbWriteTable(conMySQL, \"raw_data\", rawmetrikdata, row.names = FALSE, append = TRUE)dbDisconnect(conMySQL)
Запустите код со своими значениями в консоли R.
Как импортировать сырые данные в Microsoft Power BI?
Как работать с Microsoft Power BI — подробное руководство Если ваших навыков работы в среде R недостаточно, чтобы визуализировать полученные данные, используйте
Рассмотрим два способа импорта данных:
- с помощью сценария на языке R;
- с помощью специального файла Power BI с коннектором к Яндекс.Метрике.
1. С помощью сценария на языке R
1.1. В Power BI на вкладке «Главная» выберите группу меню «Получить данные» — «Другое» — «R-скрипт». Нажмите кнопку «Подключить».
1.2. Укажите ваши значения в аргументах функции:
library(ryandexdirect)rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource,ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)Вместо «my_token» нужно вставить значение вашего токена API.
В открывшемся окне вставьте код в поле «Выполните сценарий R».
1.3. В окне «Навигатор» поставьте галочку напротив таблицы «rawmetrikdata» и нажмите кнопку «Загрузить»:
1.4. Данные, загруженные в вашу модель, будут выглядеть следующим образом:
2. С помощью файла Power BI с коннектором к Яндекс.Метрике
Этот метод еще проще — вам не нужно изменять код, достаточно ввести пользовательские параметры в коннектор.
2.1. Скачайте файл Power BI.
2.2. На вкладке «Главная» выберите группу меню «Внешние данные», откройте выпадающий список «Изменить запросы» и кликните на поле «Изменить параметры».
2.3. Введите свои параметры и нажмите кнопку «ОК».
2.4. Появится сообщение, что в запросах есть ожидающие изменения — нажмите «Применить изменения».
2.5. В диалоговом окне «Собственный запрос к базе данных» кликните «Выполнить».
В Power BI загрузятся данные из указанного вами аккаунта Яндекс.Метрики.
Выводы
Сырые данные из Яндекс.Метрики — отличный источник информации для аналитических исследований, однако без навыков программирования работать с API сложно. Используя описанный в статье метод, вы сможете легко выгрузить статистику и обработать данные.
Алгоритм действий:
- Установите версию R, соответствующую операционной системе на вашем компьютере, и загрузите данные с помощью пакета ryandexdirect.
- С помощью R-консоли выгрузите сырые данные в удобную для вас среду:
- файл формата CSV;
- базу данных MySQL.
- Настройте импорт статистики в Microsoft Power BI для дальнейшей визуализации данных.
В следующей статье я расскажу, как связать Яндекс.Директ с Power BI.
Комментарии:
Парсинг сайтов: как избавиться от головной боли и сэкономить сотни часов рутинного труда...
26 04 2024 11:31:57
Тестируем новый инструмент Яндекс.Директ — динамические объявления....
25 04 2024 12:21:54
Поиск крутых авторов и качественные тексты для блога об email-рассылке...
24 04 2024 11:55:34
Как начать продавать и увеличить продажи, наращивая бесплатные ссылки...
23 04 2024 12:13:49
Пост постоянно обновляется актуальными данными о размерах картинок...
22 04 2024 7:13:24
Direct сделал подарок всем, кто уже давно хотел увеличить привлекательность своих объявлений — добавил возможность включения видеодополнений к текстово-графическим кампаниям. Как включить новую фишку от Директа и достаточно ли она эффективна?...
21 04 2024 13:28:50
Инструкция для новичков по одновременной работе с кампаниями, а также объявлениями и группами в Яндекс.Директ...
20 04 2024 19:58:58
Как сделать креативный мобильный баннер. Зачем нужны особенные баннеры для мобильных? Что делать с картинкой? Что делать с текстом? Что делать с другими рекламными форматами? Дополнительные элементы. Обо всем этом детально и спримерами...
19 04 2024 13:53:52
Алексей Селезнев, руководитель отдела аналитики Netpeak делится статистикой по самым дорогим и самым дешевым тематикам, регионам размещения рекламы, каналам и устройствам. Узнать больше!...
18 04 2024 11:52:21
О важных для разметки сайта тегах — alternate, hreflang, media, — и как их грамотно использовать при продвижении....
17 04 2024 22:32:47
Как заинтересовать инвесторов, сколько времени это займет, а также стратегии поиска....
16 04 2024 16:30:14
Всё об оценке эффективности SEO-продвижения с инструментами и рекомендациями...
15 04 2024 2:37:56
Пуш для рекламных кампаний накануне праздничных распродаж...
14 04 2024 6:45:32
Возможности для специалистов по рекламе в Facebook, о которых знают далеко не все. Подробности — тут....
13 04 2024 12:57:45
Про работу мозга и запоминание из книги Торкеля Клинберга «Информационный поток и пределы рабочей памяти» и обзор игр Lumosity....
12 04 2024 5:22:48
От идеи для стартапа до плана развития и масштабирования бизнеса. Познавательные, полезные каналы, которые помогут реализовать смелые бизнес-цели. Узнать больше!...
11 04 2024 10:45:59
Разбор типичных ошибок в рекламе Google Shopping как обязательного инструмента рекламы в Google. О минус-словах, геолокации, структуре сайта и обновлении объявлений. Что именно важно? Читайте дальше!...
10 04 2024 8:44:56
Основатель сервиса мобилографии EyeEm Рамзи Ризк рассказал об особенностях своего сервиса и будущем мобильных приложений....
09 04 2024 19:22:58
Аналитик Netpeak Алексей Селезнев рассказал, как составить и пользоваться сводными таблицами онлайн в excel и за считанные секунды выделить нужные для анализа данные из десятков тысяч строк в отчетах Google ***ytics...
08 04 2024 12:48:24
Создание, установка и оптимизация title и мета-тегов keywords, description у сайта, построенного на системе Drupal...
07 04 2024 9:24:34
Как надолго завоевать доверие покупателя с помощью грамотного email-маркетинга? Примеры обращений к клиенту в рассылках, текст писем для привлечения и благодарности за покупку....
06 04 2024 1:20:32
Как стать востребованным сео оптимизатором: 35+ ссылок для обучения и совершенствования своих знаний, а также советы...
05 04 2024 15:33:48
Будьте полезны, будьте удобны и будьте везде. Далее подробно — 18 способов собрать базу для email-рассылок. О пользе бесплатного, привлечении внимания, возможных активностях для аудитории, социальных доказательствах, предсказуемости, работе с Facebook и многом другом...
04 04 2024 22:28:52
Наибольшее количество онлайн транзакций было получено по брендовым запросам женского белья...
03 04 2024 0:22:20
Лучшие маркетинговые ориентиры тем, кто захочет познакомиться с SEO и контекстной рекламе...
02 04 2024 9:13:48
Читать только интернет-маркетологам, SMM, PPC и SEO-специалистам....
01 04 2024 22:12:23
Клиентоориентированный бизнес должен знать, чего хотят покупатели. И лучше понять это еще на этапе идеи. Как — читайте чек-лист от Влада Ноздрачева....
31 03 2024 9:16:58
Новости, доработки и обновления в услугах, блоге, Академии блога и Кластере....
30 03 2024 5:47:40
Выдержка из интервью Дэнни Салливаном с представителями компаний Google и Bing...
29 03 2024 7:39:30
Как не нужно делать, запуская свой профиль и таргетированную рекламу в Instagram...
28 03 2024 5:33:55
Лучшие фишки от спикеров конференции 8P 2020. В конце каждой конференции спикеры 8P собираются за круглым столом, чтобы поделиться пpaктически применимыми советами, которые можно внедрить в свой проект и сразу почувствовать отдачу...
27 03 2024 1:56:20
Как настроить автоматическое обновление данных о товарах с помощью таблиц Google....
26 03 2024 7:50:50
Как упростить знакомство клиента с компанией, продуктом или услугами....
25 03 2024 17:14:52
Nommi — сокращение от nomadic MiFi: роутер для современных цифровых кочевников...
24 03 2024 11:25:41
Какие возможности дает Chrome DevTools для SEO-оптимизации...
23 03 2024 10:47:39
При создании рекламы на украинском мы завоевываем большую долю рынка без повышения цены за клик....
22 03 2024 6:12:22
Пора сделать так, чтобы мобильная версия сайта приносила прибыль....
21 03 2024 23:38:50
Языковой закон требует, чтобы общение бизнеса с клиентами шло на украинском языке, если нет просьбы о другом приемлемом варианте. Что это означает для РРС, читайте дальше....
20 03 2024 19:22:38
Amazon сократил комиссию для сайтов партнеров от 30% до 80% — что делать дальше? Мнение эксперта....
19 03 2024 16:21:24
Альтернатива классическому SQL — обработка запросов из множества таблиц с помощью функций подстановки в Google BigQuery....
18 03 2024 16:37:59
Рецензия на книгу «Нейромаркетинг в действии» Дэвида Льюиса...
17 03 2024 13:56:15
SEOmoz создал систему, которая определяет релевантность страницы поисковому запросу....
16 03 2024 14:59:19
Информация поможет вам в составлении медиапланов. Зная стоимость клика в вашей тематике или регионе, и коэффициент конверсии на вашем сайте, можно оценить объем необходимых инвестиций в рекламу и прогнозировать стоимость конверсии. Узнать больше!...
15 03 2024 16:35:21
Образец товарного фида можно использовать при запуске динамических объявлений в поисковой сети Яндекса и Google, в кампаниях со смарт-баннерами в Яндекс.Директ, в динамических медийных кампаниях Google Рекламы, в товарной рекламе — с помощью Google Merchant Center....
14 03 2024 4:56:18
Как бесплатно пользоваться преимуществами, особенностями и дополнительными инструментами сервиса...
13 03 2024 15:59:38
Facebook + Instagram, Business Manager + основная бизнес-страница на Facebook, BM + рекламный аккаунт и так далее....
12 03 2024 17:20:12
Как вывести в индекс страницы сайта на Ajax: от необходимости их создания, роли SEO, ускорении индексации и реальные рекомендации всего в трех пунктах, чтобы основное преимущество таких сайтов работало безотказно...
11 03 2024 11:50:54
Мы хотим найти и купить локальную комaнду SEO или PPC-специалистов. Как обычно, делаем предложение нестандартно — в блоге...
10 03 2024 14:19:30
Почему в рекламе недвижимости стоит запускать динамический ремаркетинг...
09 03 2024 19:22:31
О неправильных тpaктовках отчета по времени загрузки страниц сайта в ***ytics...
08 03 2024 5:20:26
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
