Как связать Microsoft Power BI и Google BigQuery
Если вы храните данные в Google BigQuery, то наверняка захотите визуализировать их. В этой статье я расскажу, как загрузить данные из Google BigQuery в Microsoft Power BI с помощью скрипта на языке R.
Интеграция Google BigQuery c BI-платформами и электронными таблицами Ранее я уже рассказывал, как
Оба сервиса динамично развиваются, их возможности регулярно улучшаются, благодаря чему BigQuery и Power BI так популярны. При этом Google и Microsoft во многом конкурируют, поэтому, как правило, интеграции между их продуктами нет, и в ближайшем будущем не стоит ждать появления коннектора к Google BigQuery в программном интерфейсе Microsoft Power BI.
Как начать работу с BigData — загружаем данные в Google BigQuery На самом деле есть несколько вариантов решения этой проблемы, в данной статье мы рассмотрим два способа загрузить данные из
- с помощью ODBC драйвера для Google BigQuery;
- с помощью R коннектора.
Как связать Google BigQuery и Microsoft Power BI с помощью ODBC драйвера?
Первый способ стал доступен в ноябре 2016 года вместе с выходом ODBC драйвера для Google BigQuery.
1. Скачайте и установите версию ODBC драйвера, соответствующую вашей операционной системе. Найти нужную версию можно, перейдя по этой ссылке.
2. Создайте источник данных ODBC.
2.1. Перейдите в Панель управления / Все элементы панели управления / Администрирование / Источники данных ODBC (нужной разрядности).
2.2. В окне «Администратор источника данных ODBC» перейдите на вкладку «Пользовательский DSN» и нажмите «Добавить».
2.3. В окне «Создание нового источника данных» выбираете драйвер «Simba ODBC Driver for Google BigQuery» и нажимаете «Готово».
2.4. Далее откроется окно настройки ODBC подключения. Необходимо заполнить поле Data Source Name, выбрать из выпадающего списка OAuth mechanism и нажать Sign in для прохождения процесса аутентификации.
2.5. Выбираете Google аккаунт, у которого есть доступ к нужному проекту в Google BigQuery, и подтверждаете разрешение на получение автономного доступа.
2.6. Далее вам будет предоставлен токен доступа, который необходимо скопировать и вставить в поле Confirmation code, после чего просто кликните по полю Refresh token для генерации токена обновления.
2.7. Из выпадающего списка Catalog (Project) выберите нужный проект и нажмите Test.
2.8. Драйвер сообщит, что тест соединения пройден успешно. После этого нажмите ОК в окне Test Result и повторно — в окне настройки драйвера.
3. Перейдите в Power BI и настройте подключение к созданному источнику данных.
3.1. На вкладке «Главная» основного меню Power BI нажмите «Получить данные», а в группе «Другое» выберите пункт ODBC.
3.2. В выпадающем списке «Имя источника данных (DSN)» выберите созданный в пункте 2 источник. В данном случае я его назвал BQ ODBC.
3.3. В окне «Драйвер ODBC» выберите тип подключения «По умолчанию или пользовательский» и нажмите «Подключение».
3.4. В окне «Навигатор» выбирайте нужные проекты, наборы данных и таблицы. Нажмите «Загрузить», после этого данные из Google BigQuery будут загружены в Power BI.
Как связать Google BigQuery и Microsoft Power BI с помощью R коннектора?
В марте 2016 года Microsoft объявил, что поддержка R-скриптов для загрузки данных в Power BI вышла из бета-тестирования. Безусловно, это одно из наиболее значимых обновлений Power BI, так как с помощью языка R можно подгружать данные пpaктически из любого источника, включая Google BigQuery.
1. Установите пакет «bigrquery»
1.1. Первое, что необходимо сделать, — скачать и установить последнюю версию R. При установке не требуется задавать какие-то дополнительные параметры или настройки, в связи с чем затруднений возникнуть не должно.
1.2. Для более удобной работы Google BigQuery из R установите пакет «bigrquery». Для этого перейдите в папку «C:\Program Files\R\R-3.3.0\bin» и запустите файл «R.exe». Далее откроется консоль для работы с R.
В консоли установите нужный пакет с помощью комaнды «install.packages(\"bigrquery\")».
1.3. На диске C создайте папку «BQ_Integration», в ней мы будем сохранять учетные данные для доступа к API Google BigQuery.
1.4. Далее в консоли R с помощью комaнды «setwd(\"C:/BQ_Integration\")» укажите, что созданную папку будем использовать в качестве рабочей директории. Если вы все сделали правильно, можете проверить установленную рабочую директорию с помощью комaнды «getwd()».
1.5. Далее подключаем пакет «bigrquery», установленный ранее с помощью «library(bigrquery)».
2. Предоставьте доступ к данным BigQuery
2.1. Для прохождения первой аутентификации запустите запрос к любой таблице BigQuery из консоли. Для этого воспользуйтесь следующим кодом:
projectID <- \"XXXXXXX\" #Название проекта, получить его можно из URLdataSetID <- \"XXXXXXX\" #Название набора данных, смотреть в интерфейсе BigQuerytableID <- \"XXXXXXX\" #Название таблицыbqTable <- get_table(project = projectID, dataset = dataSetID , table = tableID)
2.2. Далее в консоли на вопрос «Use a local file .httr-oauth to cache OAuth access credentials between R sessions?» ответьте «Yes». К этому моменту в консоли должен быть следующий код:
2.3. Далее выберите аккаунт Google и подтвердите разрешение на просмотр данных и управление ими в Google BigQuery, а также просмотр и изменение данных в сервисах Google облачной платформы.
2.4. После этого вы получите подтверждение, что аутентификация прошла удачно.
2.5. На этом этапе работа с консолью R завершена. В папке «BQ_Integration», созданной на шаге 3, должен появится файл «.httr-oauth», который содержит ваши учётные данные.
3. Интеграция с Power BI
3.1. Перейдите в интерфейс Power BI и нажмите кнопку для получения данных. В группе «Другое» выберите коннектор «R-скрипт».
Скачать бесплатно последнюю версию Power BI можно по этой ссылке.
Как обpaбатывать данные из множества таблиц в Google BigQuery 3.2. Далее появится диалоговое окно «Выполнение сценария R». Подставьте в следующий код свои значения ID проекта, набора данных и
library(bigrquery)setwd(\"C:/BQ_Integration\")projectID <- \"XXXXXXX\"dataSetID <- \"XXXXXXXXX\"tableID <- \"XXXXXXXX\"qry <- paste0(\"SELECT * FROM \", dataSetID,\".\",tableID)bqTable <- query_exec(query = qry , project = projectID)
Если вы знакомы с SQL, то в кавычках вместо «qry <- paste0(\"SELECT * FROM \", dataSetID, \".\", tableID» можете написать любой запрос.
Как работать с оконными функциями в Google BigQuery — подробное руководство Читайте
3.3. По нажатию кнопки «ОК» начнется процесс загрузки данных, после чего появится окно «Навигатор» с загруженной таблицей и ее полями.
3.4. После нажатия кнопки «Загрузить», вы сможете строить визуализацию данных на основе загруженной таблицы в Microsoft Power BI.
Данные будут обновляться каждый раз при нажатии кнопки «Обновить».
Как работать с Microsoft Power BI — подробное руководство Подробно узнать методы построения визуализации на основе загруженных в Power BI данных можно в статье
Выводы
Три шага для связки Microsoft Power BI и Google BigQuery с помощью ODBC драйвера:
- Скачайте и установите ODBC драйвер.
- Создайте источник данных ODBC.
- Перейдите в Power BI и настройте подключение к созданному источнику данных.
Три шага для связки Microsoft Power BI и Google BigQuery с помощью R коннектора:
- Установить язык R и подключить пакет «bigrquery».
- Предоставить доступ к данным BigQuery.
- Загрузить данные в Power BI и построить визуализацию.
В следующих постах поделюсь фишками загрузки данных в Power BI из других источников, к которым нет встроенных коннекторов.
Комментарии:
Важно: понимания стоимость конверсии и необходимое количество конверсий, вы можете прогнозировать, сколько денег на рекламу нужно выделить. Вот почему вам может быть полезно это исследование. Читать....
26 04 2024 6:51:39
Делаем первые шаги к созданию системы email-коммуникаций бренда....
25 04 2024 9:56:38
Как найти сетку сайтов конкурентов — рассказываем о популярных методах и секретных фишках. Бонус — инструкция по выявлению PBN конкурентов. Читать дальше!...
24 04 2024 7:14:18
Рост дохода в шесть раз, ROMI +500% за пять месяцев....
23 04 2024 19:30:56
Изучаем на примере тестирования товарных кампаний в момент смены логотипа и ренейминга...
22 04 2024 18:31:15
Заработок в четверть миллиона. Как многофункциональная SEO-платформа Serpstat из Netpeak Group стала самым продаваемым продуктом на AppSumo — пошаговая история-инструкция...
21 04 2024 8:29:58
K-pop заpaбатывает деньги: как и сколько...
20 04 2024 21:23:41
Для одной компании смена description это что-то пустяковое. Здесь же — настоящий бренд-менеджмент....
19 04 2024 22:46:24
«Нет, нам нужна раскрутка и точка!» Список маркетинговых пpaктически применимых фишек....
18 04 2024 18:45:46
Казахстанские реалии: данные по более 1 млн кликов в 23 тематиках и 15 городах....
17 04 2024 8:25:23
Как понравиться поисковым системам и пользователям....
16 04 2024 22:42:27
О ловушке медиа, Стивене Пинкере и почему в любой ситуации важно оставаться оптимистом....
15 04 2024 21:45:54
При создании проекта и выбора доменного имени важно взвесить плюсы и минусы использования домена с историей...
14 04 2024 23:23:49
Почему бизнесу нужно настраивать мультикaнaльную модель атрибуции на основе воронки продаж и как это сделать....
13 04 2024 22:50:34
Как изменить геовыдачу с помощью настроек Google, Яндекс или специальных дополнений...
12 04 2024 15:42:39
Цель этой статьи — предупредить от опасной ошибки в маркетинге: бездумного и неправильного внедрения NPS-опросника....
11 04 2024 23:52:30
Пост по мотивам видео Мэтта Каттса из Google. Из первых рук, как говорится....
10 04 2024 17:28:26
Подборка онлайн-платформ и программ для работы с текстом и изображениями....
09 04 2024 4:23:17
Если ваш товар или услуга будут хорошо выглядеть на фото или целевая аудитория точно находится в Инстаграм, площадка для будущего блога определена. Узнать больше!...
08 04 2024 21:32:44
Проверяем, есть ли разница в ранжировании при наличии/отсутствии этих слов в метаданных. Эксперимент....
07 04 2024 0:35:40
Эти советы будут полезны вебмастерам, которые хотят сделать шаблон сайта самостоятельно...
06 04 2024 11:24:42
Топ-8 ошибок новичков в Google Рекламе: как сэкономить деньги при планировании рекламной кампании....
05 04 2024 7:20:30
У нас на руках оказались все карты для создания собственного мини-рейтинга популярных сервисов email-рассылок....
04 04 2024 10:17:22
Представление — это уровень доступа в аккаунте Google ***ytics. На уровне представления можно предоставить или ограничить доступ пользователей к отчетам и аналитическим инструментам...
03 04 2024 20:55:42
Данные по 42,5 млн кликов в 25 тематиках и 391 городу...
02 04 2024 3:23:10
Google «выкатил» алгоритм Панда 2.2, как пару недель назад обещал Мэтт Каттс....
01 04 2024 15:48:22
Четкий мануал для настройки Яндекс.Аудиторий от создания сегмента, работы с геолокацией, пикселем аудитории, похожими аудиториями, ретаргетингом и до корректировки ставок...
31 03 2024 17:33:34
Если ваш сайт не приносит желаемых продаж, задумайтесь о смене формата. Этот кейс о том, как с качественным лендингом можно достигнуть желаемой цены за конверсию....
30 03 2024 12:43:41
Звук телефонного звонка важен и для пользователя интернета. Как точно рассчитать полученную прибыль и рентабельность инвестиций в рекламу...
29 03 2024 18:39:58
Look-alike аудитории, таргетинг на участников групп, ограничение стоимости установки и другие вкусные фишки myTarget...
28 03 2024 5:27:41
Мы попросили спикеров ответить на острые для многих онлайн-проектов вопросы о развитии мобайла как канала, программатике и строительстве инхаус комaнд...
27 03 2024 12:12:14
Не все события удобно отслеживать в Google ***ytics, иногда удобнее сделать связку с таблицами Google. А поможет в этом Google Tag Manager...
26 03 2024 18:13:55
Устраняем причины, по которым пользователи покидают сайт без покупки....
25 03 2024 1:39:14
Почти 4,5 млрд людей имеют аккаунты в соцсетях. Огромная и активная аудитория. Но как среди нее найти своего клиента? Поможет таргетированная реклама....
24 03 2024 16:39:14
Личный кабинет на сайте: что нового во внешнем виде, внутренностях и отчетах, функционале и юзабилити, автоматизации работы с оплатами, интернет-представительстве клиента и для специалистов. Узнайте больше!...
23 03 2024 20:45:56
Главная задача крауд-маркетинга — помочь, дать пользователю экспертный ответ и уже в последнюю очередь — оставить ссылку...
22 03 2024 22:29:27
Первая часть иллюстрированного руководства, в котором мы взяли 20 самых важных фактора ранжирования представлены с краткими иллюстрированными примерами. В этом тексте вы найдете первые 10. Узнать больше!...
21 03 2024 18:48:48
Обсуждаем, как попробовать инфлюенсер-маркетинг без особого бюджета...
20 03 2024 15:27:43
Как правильно мотивировать и демотивировать себя — теория и кейсы. Как бросить курить, начать бегать и наконец-то приступить к изучению английского. Читать!...
19 03 2024 9:43:55
Спикер ОА Петр Аброськин рассказал всем читателям блога о фишках настройки ремаркетинга в контекстной рекламе и социальных сетях...
18 03 2024 18:57:45
Как настроить передачу категории и бренда товара в Google Data Studio....
17 03 2024 19:58:16
Правила Facebook позволяют пользоваться автоматизированным контролем над эффективностью рекламы. Читайте, как уменьшить количество ручной работы с помощью автоматических правил...
16 03 2024 20:53:52
Результаты рейтинга зарплат интернет-маркетологов....
15 03 2024 20:20:43
Что нужно делать на старте работ с интернет-магазином и как минимизировать риски для бизнеса онлайн, используя такие инструмента как SEO, PPC и Email-маркетинг — советы от эксперта. Читать дальше!...
14 03 2024 13:51:17
А сейчас про конференцию Netpeak Friends Day для друзей Netpeak Group...
13 03 2024 19:43:50
Google Adwords: типы рекламных кампаний и объявлений, тонкостях настройки... Все, о чем вы боялись спросить... Или не боялись, а просто не знали, о чем спрашивать....
12 03 2024 8:49:15
Убираем человеческий фактор при сборе отчетов по контекстной рекламе...
11 03 2024 3:53:32
Анализируя поведение аудитории, вы сможете понять, почему клиенты приходят на сайт, почему уходят, и почему не делают заказы....
10 03 2024 8:37:35
SMM для агентства перформанс-маркетинга. Как уйти от сухих текстов и стандартных баннеров для бизнес-страницы....
09 03 2024 19:13:39
Исследование Ringostat о самых востребованных CRM-системах в США...
08 03 2024 3:47:59
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::