Как получить и обработать сырые данные из Яндекс.Метрики
Хотите качественно анализировать статистику из Яндекс.Метрики? Отследить сложные воронки продаж, объединить данные из разных систем аналитики, контролировать расхождения в статистике, — «сырые» данные помогут вам эффективно решить все эти сложные задачи.
В 2016 году Яндекс заявили о публичном релизе программного интерфейса Logs API, который позволяет получить сырые данные из Яндекс.Метрики в файле формата TSV.
Однако в работе с API Яндекс.Метрики у вас могут возникнуть сложности:
- процедуру выгрузки придется повторять каждый раз, когда вы захотите получить новую статистику;
- для визуализации данных нужно вручную загружать TSV-файл в оболочку, предназначенную для построения графиков и таблиц.
В этой статье я расскажу, как автоматизировать выгрузку сырых данных из Яндекс.Метрики и работать с полученной статистикой.
Как выгрузить сырые данные с помощью языка R?
Как настроить запуск R-скрипта по расписанию?
Для выгрузки данных из Яндекс.Метрики я создал программный пакет ryandexdirect, в который добавил функцию yadirGetLogsData — она упрощает работу с Logs API.
Опишу работу с пакетом поэтапно:
1. Скачайте, установите и запустите версию R, соответствующую операционной системе вашего компьютера.
2. Скопируйте код пакета ryandexdirect в консоль R:
if(!\"bitops\" %in% installed.packages()[,1]){install.packages(\"bitops\")} if(!\"devtools\" %in% installed.packages()[,1]) {install.packages(\"devtools\")}library(devtools)install_github (\\\'selesnow/ryandexdirect\\\')library(ryandexdirect)Появится сообщение, которое подтвердит успешную установку пакета.
3. Далее необходимо получить токен доступа к API. Для этого в консоль R скопируйте следующий код:
my_token <- yadirGetToken()В открывшемся окне браузера разрешите приложению «ryandexdirect» доступ к своему аккаунту.
4. Появится окно с кодом доступа к API: скопируйте его и вставьте в R-консоль после строки «Enter your token». Рекомендую также сохранить этот код в блокноте, потому что он еще понадобится вам для выгрузки данных в Power BI.
5. В работе с функцией yadirGetLogsData используются такие аргументы:
- counter — номер счётчика Яндекс.Метрики;
- date_from — начальная дата отчёта;
- date_to — конечная дата отчёта;
- fields — список полей, которые вы хотите получить;
- source — источник записей (возможные значения для этого аргумента: «hits» — просмотры или «visits» — визиты) ;
- token — API токен (ключ доступа к Logs API).
Смотрите в справке список доступных полей для источника записей «visits» и «hits».
Подставьте ваши значения аргументов и запустите код ниже в консоли R:
rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource, ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)6. Появится сообщение об успешной загрузке данных:
Processing .......... processing time 53.22 secLoading .. done! loading time 0.33 secInformation:Request id: 6079Request status: cleaned_by_userTotal time: 54.11 secData size: 0.13 MbReturn rows: 1649Data load successful!В сообщении можно увидеть:
- время обработки запроса на сервере Яндекса (53 секунды) ;
- время загрузки данных с сервера (0,33 секунды) ;
- общее время процедуры (54 секунды) ;
- размер обработанных данных (0.13 мегабайт) ;
- количество вернувшихся строк (1649).
Как выгрузить данные из R в таблицу или базу данных?
1. В CSV-таблицу
Если вы предпочитаете работать со статистикой в редакторе таблиц, например Excel, выгрузите полученные данные в CSV-файл. Для этого вставьте и запустите код в R-консоли:
write.table(rawmetrikdata, \"rawdata.csv\", sep = \";\", dec = \",\", row.names = FALSE)
В рабочей директории появится файл «rawdata.csv» с нужными данными. Чтобы узнать расположение рабочей директории, запустите в консоли R этот код:
getwd()2. В базу данных MySQL
Рассмотрим, как импортировать статистику в базу данных на примере популярной СУБД MySQL.
В представленном коде подставьте значения вашей базы данных в значения параметров «dbname», «user» «password»,«host» (указаны после знака «=»).
if(!\"RMySQL\" %in% installed.packages()[,1]){install.packages(\"RMySQL\")} library(RMySQL)conMySQL <- dbConnect(MySQL(), dbname = \"MySchema\", user = \"root\", password = \"password\", host = \"localhost\")dbWriteTable(conMySQL, \"raw_data\", rawmetrikdata, row.names = FALSE, append = TRUE)dbDisconnect(conMySQL)
Запустите код со своими значениями в консоли R.
Как импортировать сырые данные в Microsoft Power BI?
Как работать с Microsoft Power BI — подробное руководство Если ваших навыков работы в среде R недостаточно, чтобы визуализировать полученные данные, используйте
Рассмотрим два способа импорта данных:
- с помощью сценария на языке R;
- с помощью специального файла Power BI с коннектором к Яндекс.Метрике.
1. С помощью сценария на языке R
1.1. В Power BI на вкладке «Главная» выберите группу меню «Получить данные» — «Другое» — «R-скрипт». Нажмите кнопку «Подключить».
1.2. Укажите ваши значения в аргументах функции:
library(ryandexdirect)rawmetrikdata <- yadirGetLogsData(counter = \"00000\", date_from = \"2016-12-01\", date_to = \"2016-12-20\", fields = \"ym:s:visitID,ym:s:date,ym:s:bounce,ym:s:clientID,ym:s:lastTrafficSource,ym:s:lastAdvEngine,ym:s:regionCity\", source = \"visits\", token = my_token)Вместо «my_token» нужно вставить значение вашего токена API.
В открывшемся окне вставьте код в поле «Выполните сценарий R».
1.3. В окне «Навигатор» поставьте галочку напротив таблицы «rawmetrikdata» и нажмите кнопку «Загрузить»:
1.4. Данные, загруженные в вашу модель, будут выглядеть следующим образом:
2. С помощью файла Power BI с коннектором к Яндекс.Метрике
Этот метод еще проще — вам не нужно изменять код, достаточно ввести пользовательские параметры в коннектор.
2.1. Скачайте файл Power BI.
2.2. На вкладке «Главная» выберите группу меню «Внешние данные», откройте выпадающий список «Изменить запросы» и кликните на поле «Изменить параметры».
2.3. Введите свои параметры и нажмите кнопку «ОК».
2.4. Появится сообщение, что в запросах есть ожидающие изменения — нажмите «Применить изменения».
2.5. В диалоговом окне «Собственный запрос к базе данных» кликните «Выполнить».
В Power BI загрузятся данные из указанного вами аккаунта Яндекс.Метрики.
Выводы
Сырые данные из Яндекс.Метрики — отличный источник информации для аналитических исследований, однако без навыков программирования работать с API сложно. Используя описанный в статье метод, вы сможете легко выгрузить статистику и обработать данные.
Алгоритм действий:
- Установите версию R, соответствующую операционной системе на вашем компьютере, и загрузите данные с помощью пакета ryandexdirect.
- С помощью R-консоли выгрузите сырые данные в удобную для вас среду:
- файл формата CSV;
- базу данных MySQL.
- Настройте импорт статистики в Microsoft Power BI для дальнейшей визуализации данных.
В следующей статье я расскажу, как связать Яндекс.Директ с Power BI.
Комментарии:
О феномене Баадера-Майнхофа — как на самом деле работают системы баннерной рекламы в интернете...
21 09 2023 10:27:30
Подробно о преимуществах и особенностях двух сервисов контекстной рекламы....
20 09 2023 2:25:40
Сколько страниц на самом деле показывает и может перевести поисковик Google?...
19 09 2023 19:58:16
Case по продвижению в Instagram. В любой непонятной ситуации — масштабируйте рекламные инструменты...
18 09 2023 10:36:53
Сотрудник не справляется? Значит с ним пора прощаться. Эмоции в сторону, действуем по алгоритму....
17 09 2023 20:41:25
Когда и зачем я начал учить R, с какими сложностями столкнулся, как появилась и реализовывалась идея создания курса...
16 09 2023 20:10:53
Digital-маркетинг развивается и модернизируется: новые методы работы, инструменты и технологии. И стабильно растут требования к digital-специалистам. Чтобы оставаться в профессии, нужно мониторить тренды, отслеживать тенденции и повышать знания....
15 09 2023 23:56:59
Результаты, которых мы достигли за 2 месяца работы....
14 09 2023 14:54:23
Настроить контекстную рекламу для сети гипермаркетов бытовой техники и электроники Mechta.kz...
13 09 2023 23:10:32
Чтобы перенаправить рекламу не на свой домен, арбитражники используют редирект в Яндексе при работе с партнерскими ссылками...
12 09 2023 8:17:58
Пошагово подключаем скрипт проверки бюджета аккаунтов Google Ads. Скрипт отправляет уведомление на почту и в Telegram — это поможет вовремя пополнить счет. Узнать больше!...
11 09 2023 17:43:39
Расчет вероятности конверсии, быстрое и эффективное создание дашбордов, строение моделей KPI. Примеры аналитики кампаний с помощью Excel и Power BI от спикера 8P 2016 Максима Уварова....
10 09 2023 10:27:15
Примерно 70% конверсий происходит за счет дополнительных источников, их ценность отражается в GA. Разбираемся, какие отчеты использовать для анализа и оценки таких источников. Читайте далее!...
09 09 2023 18:20:54
Результаты грамотного внедрения технического SEO-аудита...
08 09 2023 19:49:25
Опрос экспертов. Как правильно искать подрядчиков, которые станут партнерами для вашего бизнеса? Как долго работать с партнерами и не испортить отношения? На что обращать внимание в первую очередь, а на что можно закрыть глаза?...
07 09 2023 15:17:37
Как продавать новую и б/у технику, ювелирные изделия в интернете. Эксперимент показал, что в Google Shopping можно продавать не только новые товары. Узнать больше!...
06 09 2023 16:14:33
Решение вопроса о получении корректной информации о конверсиях — вполне посильная задача...
05 09 2023 15:32:26
Психологический бестселлер. Как достичь гармонии во всех делах и начать получать удовольствие от жизни, — об этом читайте в новой рецензии Константина Рябенко на книгу Михая Чиксентмихайи «Поток»....
04 09 2023 11:24:35
Стив Рейсон назвал 20 уроков, которые BuzzSumo усвоил на пути к топу самых популярных сервисов для контент-маркетологов....
03 09 2023 12:23:38
Метод не для всех, но увлеченным веб-аналитикой точно понравится!...
02 09 2023 3:13:55
Как Blizzard реализует тимбилдинг, мотивирует сотрудников и превращает офис в музей...
01 09 2023 6:53:40
Все дело в формате объявлений Instant Experience с подключенным каталогом товаров. Нет, не только в нем. Узнать больше!...
31 08 2023 14:49:58
Как делать мгновенный мониторинг изменений на сайтах? Марина Демьяненко предложила простое решение вопроса с помощью Kimono и таблиц Google....
30 08 2023 3:52:12
Почему синергия штатных специалистов и рекламное дело агентства SEO/PPC выгодна бизнесу...
29 08 2023 1:16:32
Определение и настройка главного зеркала сайта в поисковых системах — первое, что нужно сделать перед раскруткой сайта...
28 08 2023 9:47:28
Давайте разбираться, в чем именно обвиняют техногиганта разработчики и действительно ли такую рекламу считают циничной....
27 08 2023 2:52:29
Об особенностях реализации интернет-проектов в Великобритании, России и Казахстане и фишках успешного ведения бизнеса онлайн мы побеседовали с Владимиром Меркушевым — руководителем интернет-проектов успешной казахстанской компании Kolesa.kz....
26 08 2023 6:13:22
Если в сетке сайтов есть интересный домен, его можно использовать для дополнительной монетизации, а не только для ссылок. В таком случае важно знать, как правильно отслеживать трафик таких доменов....
25 08 2023 18:52:53
Темная сторона лайков или правда о продвижении постов в Facebook...
24 08 2023 12:37:50
Будь мобильным — заливай видео на Youtube с телефона...
23 08 2023 23:31:57
Киев, Одесса, Харьков, Днепр и другие города — в офис и обратно IT-специалисты добираются от 10 минут до более чем полутора часа. В дороге они слушают музыку, подкасты, читают книги. Узнать больше!...
22 08 2023 16:37:21
Часто в распоряжении клиента только интерфейс конструктора сайтов, весьма ограниченный в функциональности. Тогда на помощь интернет-маркетологу приходит сервис Tag Manager, благодаря которому можно настроить необходимый код расширенной электронной торговли....
21 08 2023 13:52:29
Айти эксперт Женя Розинский о том, почему нацию айти развивают продуктовые бизнесы, а не outsourcing сервисы...
20 08 2023 11:42:26
Тестирования наличия важных тегов на целевых страница — бесплатный скрипт и алгоритм...
19 08 2023 2:19:44
Алгоритм E-A-T теперь следит за экспертностью, авторитетностью и достоверностью контента. Что это значит?...
18 08 2023 17:39:26
Проверка позиций: бесценный онлайн софт для SEO-специалистов :)...
17 08 2023 13:50:25
Находим пользователей, которые не знали, что им нужен ваш товар или услуга....
16 08 2023 18:19:57
Хасан Исламов о развитии Chocofamily, крупнейшего интернет-холдинга Казахстана....
15 08 2023 1:47:31
Импорт из Google ***ytics в Excel — manual по ***ytics Edge....
14 08 2023 4:39:24
Правила, требования, особенности. А ещё примеры, которые помогут создать правильную, с точки зрения поисковиков, рекламу. Читать!...
13 08 2023 4:10:49
Как избежать скликивания — инструкция...
12 08 2023 19:53:38
Атрибут rel="canonical" помогает бороться с дублированием контента и обезопасить сайт от дублирования и копирования...
11 08 2023 17:25:13
Какая интересная и трэшовая реклама встречалась в соцсетях в январе 2021-го? Давайте смотреть...
10 08 2023 5:56:20
Как зарегистрироваться в приложении Facebook Business Manager и грамотно сделать и настроить аккаунт...
09 08 2023 3:46:17
Ошибки, которые допускают новички и теряют деньги, трафик, клиентов....
08 08 2023 0:32:27
Данные по более 26 млн кликов в 23 тематиках и 402 городах Украины...
07 08 2023 13:17:55
Агентство Netpeak закрыло сделку по покупке агентства мобильного маркетинга Радомира Новковича RadASO....
06 08 2023 9:41:36
Опыт сотрудника отдела маркетинга Netpeak. Дочке Маше — 10 лет, сыну Егору — почти 4 года. Мы по-прежнему не очень продуктивны в таких условиях, но все же накопили больше опыта, чем те люди, которые сейчас внезапно столкнулись с удаленной работой...
05 08 2023 22:57:25
Устраняем причины, по которым пользователи покидают сайт без покупки....
04 08 2023 6:38:16
RFM — это аббревиатура слов Recency, Frequency, Money — новизна, частота, деньги. То есть считаем, как давно клиент купил товар в последний раз, сколько всего покупок он сделал и сколько денег принес нам за все время заказов....
03 08 2023 18:51:32
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
