Как связать Microsoft Power BI и Google BigQuery > NetPeak - Независимость и осознанность
NetPeak Biz Tech    


Как связать Microsoft Power BI и Google BigQuery

Как связать Microsoft Power BI и Google BigQuery

< >

Если вы храните данные в Google BigQuery, то наверняка захотите визуализировать их. В этой статье я расскажу, как загрузить данные из Google BigQuery в Microsoft Power BI с помощью скрипта на языке R.

Интеграция Google BigQuery c BI-платформами и электронными таблицами Ранее я уже рассказывал, как связывать Google BigQuery с различными инструментами визуализации, но интеграция Google BigQuery с Microsoft Power BI — отдельная тема.

Оба сервиса динамично развиваются, их возможности регулярно улучшаются, благодаря чему BigQuery и Power BI так популярны. При этом Google и Microsoft во многом конкурируют, поэтому, как правило, интеграции между их продуктами нет, и в ближайшем будущем не стоит ждать появления коннектора к Google BigQuery в программном интерфейсе Microsoft Power BI.

Как начать работу с BigData — загружаем данные в Google BigQuery На самом деле есть несколько вариантов решения этой проблемы, в данной статье мы рассмотрим два способа загрузить данные из Google BigQuery в Microsoft Power BI:

  • с помощью ODBC драйвера для Google BigQuery;
  • с помощью R коннектора.

Как связать Google BigQuery и Microsoft Power BI с помощью ODBC драйвера?

Первый способ стал доступен в ноябре 2016 года вместе с выходом ODBC драйвера для Google BigQuery.

1. Скачайте и установите версию ODBC драйвера, соответствующую вашей операционной системе. Найти нужную версию можно, перейдя по этой ссылке.

2. Создайте источник данных ODBC.

2.1. Перейдите в Панель управления / Все элементы панели управления / Администрирование / Источники данных ODBC (нужной разрядности).

2.2. В окне «Администратор источника данных ODBC» перейдите на вкладку «Пользовательский DSN» и нажмите «Добавить».

2.3. В окне «Создание нового источника данных» выбираете драйвер «Simba ODBC Driver for Google BigQuery» и нажимаете «Готово».

2.4. Далее откроется окно настройки ODBC подключения. Необходимо заполнить поле Data Source Name, выбрать из выпадающего списка OAuth mechanism и нажать Sign in для прохождения процесса аутентификации.

2.5. Выбираете Google аккаунт, у которого есть доступ к нужному проекту в Google BigQuery, и подтверждаете разрешение на получение автономного доступа.

2.6. Далее вам будет предоставлен токен доступа, который необходимо скопировать и вставить в поле Confirmation code, после чего просто кликните по полю Refresh token для генерации токена обновления.

2.7. Из выпадающего списка Catalog (Project) выберите нужный проект и нажмите Test.

2.8. Драйвер сообщит, что тест соединения пройден успешно. После этого нажмите ОК в окне Test Result и повторно — в окне настройки драйвера.

3. Перейдите в Power BI и настройте подключение к созданному источнику данных.

3.1. На вкладке «Главная» основного меню Power BI нажмите «Получить данные», а в группе «Другое» выберите пункт ODBC.

3.2. В выпадающем списке «Имя источника данных (DSN)» выберите созданный в пункте 2 источник. В данном случае я его назвал BQ ODBC.

3.3. В окне «Драйвер ODBC» выберите тип подключения «По умолчанию или пользовательский» и нажмите «Подключение».

3.4. В окне «Навигатор» выбирайте нужные проекты, наборы данных и таблицы. Нажмите «Загрузить», после этого данные из Google BigQuery будут загружены в Power BI.

Как связать Google BigQuery и Microsoft Power BI с помощью R коннектора?

В марте 2016 года Microsoft объявил, что поддержка R-скриптов для загрузки данных в Power BI вышла из бета-тестирования. Безусловно, это одно из наиболее значимых обновлений Power BI, так как с помощью языка R можно подгружать данные пpaктически из любого источника, включая Google BigQuery.

1. Установите пакет «bigrquery»

1.1. Первое, что необходимо сделать, — скачать и установить последнюю версию R. При установке не требуется задавать какие-то дополнительные параметры или настройки, в связи с чем затруднений возникнуть не должно.

1.2. Для более удобной работы Google BigQuery из R установите пакет «bigrquery». Для этого перейдите в папку «C:\Program Files\R\R-3.3.0\bin» и запустите файл «R.exe». Далее откроется консоль для работы с R.


В консоли установите нужный пакет с помощью комaнды «install.packages(\"bigrquery\")».

1.3. На диске C создайте папку «BQ_Integration», в ней мы будем сохранять учетные данные для доступа к API Google BigQuery.

1.4. Далее в консоли R с помощью комaнды «setwd(\"C:/BQ_Integration\")» укажите, что созданную папку будем использовать в качестве рабочей директории. Если вы все сделали правильно, можете проверить установленную рабочую директорию с помощью комaнды «getwd()».

1.5. Далее подключаем пакет «bigrquery», установленный ранее с помощью «library(bigrquery)».

2. Предоставьте доступ к данным BigQuery

2.1. Для прохождения первой аутентификации запустите запрос к любой таблице BigQuery из консоли. Для этого воспользуйтесь следующим кодом:

projectID <- \"XXXXXXX\" #Название проекта, получить его можно из URLdataSetID <- \"XXXXXXX\" #Название набора данных, смотреть в интерфейсе BigQuerytableID <- \"XXXXXXX\" #Название таблицыbqTable <- get_table(project = projectID, dataset = dataSetID , table = tableID)

2.2. Далее в консоли на вопрос «Use a local file .httr-oauth to cache OAuth access credentials between R sessions?» ответьте «Yes». К этому моменту в консоли должен быть следующий код:

2.3. Далее выберите аккаунт Google и подтвердите разрешение на просмотр данных и управление ими в Google BigQuery, а также просмотр и изменение данных в сервисах Google облачной платформы.

2.4. После этого вы получите подтверждение, что аутентификация прошла удачно.


2.5. На этом этапе работа с консолью R завершена. В папке «BQ_Integration», созданной на шаге 3, должен появится файл «.httr-oauth», который содержит ваши учётные данные.

3. Интеграция с Power BI

3.1. Перейдите в интерфейс Power BI и нажмите кнопку для получения данных. В группе «Другое» выберите коннектор «R-скрипт».

Скачать бесплатно последнюю версию Power BI можно по этой ссылке.

Как обpaбатывать данные из множества таблиц в Google BigQuery 3.2. Далее появится диалоговое окно «Выполнение сценария R». Подставьте в следующий код свои значения ID проекта, набора данных и таблицы и введите его в диалоговое окно.

library(bigrquery)setwd(\"C:/BQ_Integration\")projectID <- \"XXXXXXX\"dataSetID <- \"XXXXXXXXX\"tableID <- \"XXXXXXXX\"qry <- paste0(\"SELECT * FROM \", dataSetID,\".\",tableID)bqTable <- query_exec(query = qry , project = projectID)

Если вы знакомы с SQL, то в кавычках вместо «qry <- paste0(\"SELECT * FROM \", dataSetID, \".\", tableID» можете написать любой запрос.

Как работать с оконными функциями в Google BigQuery — подробное руководство Читайте об оконных функциях и принципах их работы в Google BigQuery.

3.3. По нажатию кнопки «ОК» начнется процесс загрузки данных, после чего появится окно «Навигатор» с загруженной таблицей и ее полями.

3.4. После нажатия кнопки «Загрузить», вы сможете строить визуализацию данных на основе загруженной таблицы в Microsoft Power BI.
Данные будут обновляться каждый раз при нажатии кнопки «Обновить».

Как работать с Microsoft Power BI — подробное руководство Подробно узнать методы построения визуализации на основе загруженных в Power BI данных можно в статье «Как работать с Microsoft Power BI — подробное руководство».

Выводы

Три шага для связки Microsoft Power BI и Google BigQuery с помощью ODBC драйвера:

  1. Скачайте и установите ODBC драйвер.
  2. Создайте источник данных ODBC.
  3.  Перейдите в Power BI и настройте подключение к созданному источнику данных.

Три шага для связки Microsoft Power BI и Google BigQuery с помощью R коннектора:

  1. Установить язык R и подключить пакет «bigrquery».
  2. Предоставить доступ к данным BigQuery.
  3. Загрузить данные в Power BI и построить визуализацию.

В следующих постах поделюсь фишками загрузки данных в Power BI из других источников, к которым нет встроенных коннекторов.



Комментарии:

Что такое логическая структура сайта и зачем она нужна

Что такое логическая структура сайта и зачем она нужна Базовые знания, которые нужны, чтобы ресурс понравился поисковикам и пользователям....

09 02 2025 3:46:23

15 странных, но иногда полезных приложений

15 странных, но иногда полезных приложений Если на вашем смартфоне установлен только стандартный набор Uber, Glovo, 2ГИС и нескольких мессенджеров — смотрите подборку необычных и смешных приложений....

08 02 2025 20:58:32

5 инструментов для проверки юзабилити интернет-магазина

5 инструментов для проверки юзабилити интернет-магазина Несложные рекомендации, как увеличить продажи с сайта и его мобильной версии с помощью инструментов Google: ***ytics, Tag Manager, Optimizer и форм-опросов. UX-специалисты Турум-бурум рекомендуют их для проверки сайта и используют в своей работе....

07 02 2025 9:12:10

Что такое медиаплан в контекстной рекламе и как его составлять

Что такое медиаплан в контекстной рекламе и как его составлять Медиаплан для контекстной рекламы малого и среднего бизнеса — как составить медиаплан мечты для рекламных кампаний без ложного понимания, что автоматические сервисы могут корректно обработать сырые данные и выдать результат...

06 02 2025 7:50:50

Подмена текста с помощью GTM — как быстро изменить контент на сайте

Подмена текста с помощью GTM — как быстро изменить контент на сайте Если вам нужно быстро изменить небольшой объем контента на сайте без доступа к CMS, можно воспользоваться GTM. Как именно, читайте дальше....

05 02 2025 23:57:42

Как построить сводные таблицы в Excel, LibreOffice, OpenOffice и таблицах Google

Как построить сводные таблицы в Excel, LibreOffice, OpenOffice и таблицах Google Аналитик Netpeak Алексей Селезнев рассказал, как составить и пользоваться сводными таблицами онлайн в excel и за считанные секунды выделить нужные для анализа данные из десятков тысяч строк в отчетах Google ***ytics...

04 02 2025 22:47:31

LSI-текст или SEO-текст — выживет только один

LSI-текст или SEO-текст — выживет только один Специалисты, занимающиеся seo копирайтингом, рассказывают об использовании LSI: определение текста, кол во символов, подсчет слов онлайн...

03 02 2025 23:47:42

Ежемecячная подписка в Telegram — что это значит и кому может быть полезна

Ежемecячная подписка в Telegram — что это значит и кому может быть полезна Субъективный рейтинг новых функций мессенджера от Head of Telegram Network в Netpeak....

02 02 2025 13:22:31

Мониторинг ошибок 404 с помощью специальных отчетов в Google ***ytics

Мониторинг ошибок 404 с помощью специальных отчетов в Google ***ytics Простой способ отслеживания как внутренних, так и внешних битых ссылок. Узнать больше!...

01 02 2025 13:29:19

Про social insight, как один из базовых пунктов брифа

Про social insight, как один из базовых пунктов брифа Важный вопрос, если вы рассчитываете на вирусный эффект своих рекламных идей....

31 01 2025 22:52:32

Как я работаю: рассказ тимлида комaнды управления онлайн-репутацией

Как я работаю: рассказ тимлида комaнды управления онлайн-репутацией Как настроить работу удаленной комaнды сотрудников и успевать выполнить все задачи...

30 01 2025 9:16:52

Почему Google Merchant Center может заблокировать аккаунт

Почему Google Merchant Center может заблокировать аккаунт На что обращает внимание система и менеджеры Google при проверке сайта и аккаунта....

29 01 2025 10:25:17

Теги alternate, hreflang, media, type — зачем и как их использовать

Теги alternate, hreflang, media, type — зачем и как их использовать О важных для разметки сайта тегах — alternate, hreflang, media, — и как их грамотно использовать при продвижении....

28 01 2025 4:44:57

Авторские права на веб-сайт — как защитить свой ресурс

Авторские права на веб-сайт — как защитить свой ресурс Надежный сайт позволит вести успешную деятельность, защитить плоды собственного труда и результаты работы исполнителей, с которыми вы сотрудничали. Для реализации задумки вам понадобятся авторские права....

27 01 2025 19:12:42

Почему мертвецы ставят «лайки» в Facebook?

Почему мертвецы ставят «лайки» в Facebook? Темная сторона лайков или правда о продвижении постов в Facebook...

26 01 2025 18:30:29

Как сделать в Google Web Designer анимированные баннеры для рекламных кампаний

Как сделать в Google Web Designer анимированные баннеры для рекламных кампаний Простая инструкция для новичков, как легко создать анимированные баннеры для рекламных кампаний с помощью бесплатного инструмента Google Web Designer. При создании баннера сервис предложит создать файл с нуля либо использовать шаблон. Узнайте обо всех возможностях!...

25 01 2025 20:49:11

Как продвигать каршеринг — обзор кейсов

Как продвигать каршеринг — обзор кейсов Особенности продвижения в нише аренды автомобилей по материалам кейсов наших коллег...

24 01 2025 5:59:27

Главред блога Netpeak про управление задачами и собой

Главред блога Netpeak про управление задачами и собой Неля Серебро рассказывает про внутреннюю кухню блога Netpeak...

23 01 2025 18:29:54

Как разработать графический интерфейс для скриптов R

Как упростить работу со скриптами на языке R? Программирование удобного интерфейса с помощью пакета «gWidgets»...

22 01 2025 17:23:41

Как настроить расширенную электронную торговлю с помощью Google Tag Manager

Как настроить расширенную электронную торговлю с помощью Google Tag Manager Как GTM помогает настроить расширенную электронную торговлю (enhanced ecommerce)....

21 01 2025 20:36:24

Кликбейт-заголовки — всё: почему лента Facebook станет лучше

Кликбейт-заголовки — всё: почему лента Facebook станет лучше Кликбейтинг в опасности. Если хочешь узнать методы работы антикликбейт-комaнды Facebook, просто нажми на этот заголовок...

20 01 2025 12:28:51

Как поисковые системы индексируют сайт

Как поисковые системы индексируют сайт Система индексирования страниц — как поисковик и его роботы разбирают перечень контента по полочкам...

19 01 2025 16:55:42

Контекстная реклама для салона вечерних и свадебных платьев — ROMI 109% за два месяца

Одесские магазины, где продают вечерние и свадебные платья нуждаются в особом внимании интернет-маркетинга. Как настроить контекстную рекламу для малого и среднего бизнеса со скромными маркетинговыми бюджетами...

18 01 2025 0:46:20

Дропшиппинг: как за два месяца снизить стоимость привлечения лида на 25%

Дропшиппинг: как за два месяца снизить стоимость привлечения лида на 25% Дропшип предполагает минимум затрат со стороны предпринимателя. Например, не нужно думать о логистике, держать склад. Можно минимизировать и траты на рекламу. Узнать как!...

17 01 2025 16:47:49

Партнерские программы SaaS — как на них заработать, какими бывают партнерки

Партнерские программы SaaS — как на них заработать, какими бывают партнерки Партнерская программа — это когда сервис дает партнеру вознаграждение за приведенных клиентов. Получить деньги и/или другие плюшки можно также по реферальной программе. Как это работает? Разбираемся на примерах....

16 01 2025 17:30:29

Как составить и анализировать KPI для PR-менеджера

Как составить и анализировать KPI для PR-менеджера PR должен решать задачи бизнеса и для этого мало мониторить упоминания компании или бренда, нужно анализировать. С появлением соцсетей пиар изменился. Узнать больше!...

15 01 2025 16:52:10

Как бизнесу бороться с финансовыми мошенниками

Как бизнесу бороться с финансовыми мошенниками Чтобы обезопасить себя и своих клиентов, используйте технологию 3D Secure. Больше рекомендаций — в статье....

14 01 2025 8:10:58

Что такое водяной знак и как его используют

Необходимый элемент для защиты контента от копирования и в то же время — шанс стать популярным автором. Тем не менее, от водяных знаков отказываются. Узнать больше!...

13 01 2025 13:43:14

Что нужно понять перед запуском онлайн-рекламы — девять самых важных вопросов к себе и PPC-специалисту

Что нужно понять перед запуском онлайн-рекламы — девять самых важных вопросов к себе и PPC-специалисту Читайте, если не хотите «слить» бюджет. Определите конкретные цели и УТП, соберите аналитику, идите к специалисту без опыта работы в конкретной нише и другие рекомендации эксперта. Читайте подробнее в статье!...

12 01 2025 11:47:47

Баннерная реклама vs. Таргетированная реклама в социальных сетях

Не существует универсальных решений - есть эффективные инструменты и удачные их сочетания....

11 01 2025 1:20:57

Как настроить A/B тест с помощью Google Optimize — пошаговый мануал

Как настроить A/B тест с помощью Google Optimize — пошаговый мануал Как настроить эксперимент на сайте без сторонней помощи...

10 01 2025 23:16:26

Самые распространенные SEO-ошибки

Самые распространенные SEO-ошибки В ТОПе ошибок — метатеги, разметка, заголовки h1-h6 и внутренние ссылочные факторы....

09 01 2025 21:26:45

Как восстановить трафик на важные страницы интернет-магазина с помощью Web Archive

Как восстановить трафик на важные страницы интернет-магазина с помощью Web Archive Часто трафик проседает из-за удаления важных страниц или изменения URL-адресов. Анализ данных веб-архива позволит сохранить или восстановить посещаемость...

08 01 2025 13:53:25

Списки в Twitter: зачем составлять и как вынести пользу

Списки в Twitter: зачем составлять и как вынести пользу В Twitter удобно собрать список потенциальных клиентов, чтобы время от времени посматривать за их новостями...

07 01 2025 7:34:16

Интервью с Дмитрием Гончаренко, руководителем SaaS-системы управления проектами «ПланФикс»

Интервью с Дмитрием Гончаренко, руководителем SaaS-системы управления проектами «ПланФикс» За каждым проектом стоят прежде всего люди. Как часто мы пользуемся сложными системами и не думаем о том, кто их создал и продолжает развивать? Интересно о том, кто и что стоит за «ПланФиксом». Читайте далее!...

06 01 2025 20:18:48

Как перейти на украинскую версию сайта по умолчанию и не потерять трафик

Как перейти на украинскую версию сайта по умолчанию и не потерять трафик Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....

05 01 2025 20:57:37

Продвинутые способы аналитики кампаний на Facebook — Инспектор и внутренние диаграммы

Узнайте, как пользоваться Инспектором и внутренними диаграммами Facebook, чтобы быть в лидерах своей ниши!...

04 01 2025 7:18:32

Как получать деньги из YouTube

Какие шаги стоит сделать, чтобы обойти ямы профессионального влогинга и как заработать на его вершинах...

03 01 2025 20:55:46

Советы от Google для бизнеса — как вести себя в период неопределенности

Рекомендации от Google для бизнеса о поведении в период распространения коронавируса....

02 01 2025 13:49:40

Как создать и запустить тысячи объявлений с помощью файла Excel

Как создать и запустить тысячи объявлений с помощью файла Excel Как быстро создавать и запускать объявления, а также массово вносить правки в кампании с помощью файла Excel...

01 01 2025 10:50:34

Продвижение с PBN - кейсы и антикейсы. Без успешного успеха

Продвижение с PBN - кейсы и антикейсы. Без успешного успеха Private Blog Network для ниши безопасности, доставки цветов, товаров сантехники, туризма и выпекания. Сетки сайтов работают не всегда и это нормально. Узнать больше!...

31 12 2024 10:32:29

Что такое вес страниц и на что он влияет

Что такое вес страниц и на что он влияет Вес страниц — один из факторов ранжирования в поисковых системах Google и Яндекс....

30 12 2024 19:11:34

Как обpaбатывать данные из множества таблиц в Google BigQuery

Как обpaбатывать данные из множества таблиц в Google BigQuery Альтернатива классическому SQL — обработка запросов из множества таблиц с помощью функций подстановки в Google BigQuery....

29 12 2024 15:35:12

Антикейс: продвижение Endorphone.com.ua с помощью видеоблогеров

Как избежать ошибок при продвижении интернет-магазина с помощью видеоблогеров....

28 12 2024 3:11:29

Анализ ссылочной массы с помощью Ahrefs и Serpstat

Краткое сравнение двух инструментов и третьего на закуску....

27 12 2024 4:52:50

Энн Смарти: о правилах эффективного блоггинга и сюрпризах от Google

Энн Смарти: о правилах эффективного блоггинга и сюрпризах от Google Энн Смарти (Ann Smarty), пожалуй, самая известная публичная личность в мире контент-маркетинга и поискового продвижения. За несколько лет она прошла путь от SEO-блогера до главного редактора авторитетного Search Engine Journal и CEO одного из самых популя...

26 12 2024 9:17:54

Десять часто задаваемых вопросов о лендингах

Десять часто задаваемых вопросов о лендингах Десять вопросов, которые чаще всего задают люди, столкнувшиеся с необходимостью создания landing page....

25 12 2024 10:31:31

Типы людей: желтые, красные, синие и зеленые

Типы людей: желтые, красные, синие и зеленые Как говорится, люди делятся на тех, кто делит других на типы и тех, кто не делит. В этом посте — про желтых, синих, красных и зеленых людей....

24 12 2024 0:37:55

Бизнес в Китае: история и реалии мирового лидера Tencent

Бизнес в Китае: история и реалии мирового лидера Tencent Tencent — китайская компания, мировой лидер в сфере игр. Все о создании компании, доходах, прибыли, инвестициях. Особенности ведения бизнеса в Китае — в пересказе статьи Паки Маккормик. Читать дальше!...

23 12 2024 12:39:55

Universal App Campaign 2.0 в Google Рекламе — как выжать максимум пользы

Universal App Campaign 2.0 в Google Рекламе — как выжать максимум пользы Как сделать рекламу в Universal App Campaign 2.0 максимально эффективной...

22 12 2024 3:39:24

Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::