Как связать Microsoft Power BI и Google BigQuery
Если вы храните данные в Google BigQuery, то наверняка захотите визуализировать их. В этой статье я расскажу, как загрузить данные из Google BigQuery в Microsoft Power BI с помощью скрипта на языке R.
Интеграция Google BigQuery c BI-платформами и электронными таблицами Ранее я уже рассказывал, как
Оба сервиса динамично развиваются, их возможности регулярно улучшаются, благодаря чему BigQuery и Power BI так популярны. При этом Google и Microsoft во многом конкурируют, поэтому, как правило, интеграции между их продуктами нет, и в ближайшем будущем не стоит ждать появления коннектора к Google BigQuery в программном интерфейсе Microsoft Power BI.
Как начать работу с BigData — загружаем данные в Google BigQuery На самом деле есть несколько вариантов решения этой проблемы, в данной статье мы рассмотрим два способа загрузить данные из
- с помощью ODBC драйвера для Google BigQuery;
- с помощью R коннектора.
Как связать Google BigQuery и Microsoft Power BI с помощью ODBC драйвера?
Первый способ стал доступен в ноябре 2016 года вместе с выходом ODBC драйвера для Google BigQuery.
1. Скачайте и установите версию ODBC драйвера, соответствующую вашей операционной системе. Найти нужную версию можно, перейдя по этой ссылке.
2. Создайте источник данных ODBC.
2.1. Перейдите в Панель управления / Все элементы панели управления / Администрирование / Источники данных ODBC (нужной разрядности).
2.2. В окне «Администратор источника данных ODBC» перейдите на вкладку «Пользовательский DSN» и нажмите «Добавить».
2.3. В окне «Создание нового источника данных» выбираете драйвер «Simba ODBC Driver for Google BigQuery» и нажимаете «Готово».
2.4. Далее откроется окно настройки ODBC подключения. Необходимо заполнить поле Data Source Name, выбрать из выпадающего списка OAuth mechanism и нажать Sign in для прохождения процесса аутентификации.
2.5. Выбираете Google аккаунт, у которого есть доступ к нужному проекту в Google BigQuery, и подтверждаете разрешение на получение автономного доступа.
2.6. Далее вам будет предоставлен токен доступа, который необходимо скопировать и вставить в поле Confirmation code, после чего просто кликните по полю Refresh token для генерации токена обновления.
2.7. Из выпадающего списка Catalog (Project) выберите нужный проект и нажмите Test.
2.8. Драйвер сообщит, что тест соединения пройден успешно. После этого нажмите ОК в окне Test Result и повторно — в окне настройки драйвера.
3. Перейдите в Power BI и настройте подключение к созданному источнику данных.
3.1. На вкладке «Главная» основного меню Power BI нажмите «Получить данные», а в группе «Другое» выберите пункт ODBC.
3.2. В выпадающем списке «Имя источника данных (DSN)» выберите созданный в пункте 2 источник. В данном случае я его назвал BQ ODBC.
3.3. В окне «Драйвер ODBC» выберите тип подключения «По умолчанию или пользовательский» и нажмите «Подключение».
3.4. В окне «Навигатор» выбирайте нужные проекты, наборы данных и таблицы. Нажмите «Загрузить», после этого данные из Google BigQuery будут загружены в Power BI.
Как связать Google BigQuery и Microsoft Power BI с помощью R коннектора?
В марте 2016 года Microsoft объявил, что поддержка R-скриптов для загрузки данных в Power BI вышла из бета-тестирования. Безусловно, это одно из наиболее значимых обновлений Power BI, так как с помощью языка R можно подгружать данные пpaктически из любого источника, включая Google BigQuery.
1. Установите пакет «bigrquery»
1.1. Первое, что необходимо сделать, — скачать и установить последнюю версию R. При установке не требуется задавать какие-то дополнительные параметры или настройки, в связи с чем затруднений возникнуть не должно.
1.2. Для более удобной работы Google BigQuery из R установите пакет «bigrquery». Для этого перейдите в папку «C:\Program Files\R\R-3.3.0\bin» и запустите файл «R.exe». Далее откроется консоль для работы с R.
В консоли установите нужный пакет с помощью комaнды «install.packages(\"bigrquery\")».
1.3. На диске C создайте папку «BQ_Integration», в ней мы будем сохранять учетные данные для доступа к API Google BigQuery.
1.4. Далее в консоли R с помощью комaнды «setwd(\"C:/BQ_Integration\")» укажите, что созданную папку будем использовать в качестве рабочей директории. Если вы все сделали правильно, можете проверить установленную рабочую директорию с помощью комaнды «getwd()».
1.5. Далее подключаем пакет «bigrquery», установленный ранее с помощью «library(bigrquery)».
2. Предоставьте доступ к данным BigQuery
2.1. Для прохождения первой аутентификации запустите запрос к любой таблице BigQuery из консоли. Для этого воспользуйтесь следующим кодом:
projectID <- \"XXXXXXX\" #Название проекта, получить его можно из URLdataSetID <- \"XXXXXXX\" #Название набора данных, смотреть в интерфейсе BigQuerytableID <- \"XXXXXXX\" #Название таблицыbqTable <- get_table(project = projectID, dataset = dataSetID , table = tableID)
2.2. Далее в консоли на вопрос «Use a local file .httr-oauth to cache OAuth access credentials between R sessions?» ответьте «Yes». К этому моменту в консоли должен быть следующий код:
2.3. Далее выберите аккаунт Google и подтвердите разрешение на просмотр данных и управление ими в Google BigQuery, а также просмотр и изменение данных в сервисах Google облачной платформы.
2.4. После этого вы получите подтверждение, что аутентификация прошла удачно.
2.5. На этом этапе работа с консолью R завершена. В папке «BQ_Integration», созданной на шаге 3, должен появится файл «.httr-oauth», который содержит ваши учётные данные.
3. Интеграция с Power BI
3.1. Перейдите в интерфейс Power BI и нажмите кнопку для получения данных. В группе «Другое» выберите коннектор «R-скрипт».
Скачать бесплатно последнюю версию Power BI можно по этой ссылке.
Как обpaбатывать данные из множества таблиц в Google BigQuery 3.2. Далее появится диалоговое окно «Выполнение сценария R». Подставьте в следующий код свои значения ID проекта, набора данных и
library(bigrquery)setwd(\"C:/BQ_Integration\")projectID <- \"XXXXXXX\"dataSetID <- \"XXXXXXXXX\"tableID <- \"XXXXXXXX\"qry <- paste0(\"SELECT * FROM \", dataSetID,\".\",tableID)bqTable <- query_exec(query = qry , project = projectID)
Если вы знакомы с SQL, то в кавычках вместо «qry <- paste0(\"SELECT * FROM \", dataSetID, \".\", tableID» можете написать любой запрос.
Как работать с оконными функциями в Google BigQuery — подробное руководство Читайте
3.3. По нажатию кнопки «ОК» начнется процесс загрузки данных, после чего появится окно «Навигатор» с загруженной таблицей и ее полями.
3.4. После нажатия кнопки «Загрузить», вы сможете строить визуализацию данных на основе загруженной таблицы в Microsoft Power BI.
Данные будут обновляться каждый раз при нажатии кнопки «Обновить».
Как работать с Microsoft Power BI — подробное руководство Подробно узнать методы построения визуализации на основе загруженных в Power BI данных можно в статье
Выводы
Три шага для связки Microsoft Power BI и Google BigQuery с помощью ODBC драйвера:
- Скачайте и установите ODBC драйвер.
- Создайте источник данных ODBC.
- Перейдите в Power BI и настройте подключение к созданному источнику данных.
Три шага для связки Microsoft Power BI и Google BigQuery с помощью R коннектора:
- Установить язык R и подключить пакет «bigrquery».
- Предоставить доступ к данным BigQuery.
- Загрузить данные в Power BI и построить визуализацию.
В следующих постах поделюсь фишками загрузки данных в Power BI из других источников, к которым нет встроенных коннекторов.
Комментарии:
Базовые знания, которые нужны, чтобы ресурс понравился поисковикам и пользователям....
09 02 2025 3:46:23
Если на вашем смартфоне установлен только стандартный набор Uber, Glovo, 2ГИС и нескольких мессенджеров — смотрите подборку необычных и смешных приложений....
08 02 2025 20:58:32
Несложные рекомендации, как увеличить продажи с сайта и его мобильной версии с помощью инструментов Google: ***ytics, Tag Manager, Optimizer и форм-опросов. UX-специалисты Турум-бурум рекомендуют их для проверки сайта и используют в своей работе....
07 02 2025 9:12:10
Медиаплан для контекстной рекламы малого и среднего бизнеса — как составить медиаплан мечты для рекламных кампаний без ложного понимания, что автоматические сервисы могут корректно обработать сырые данные и выдать результат...
06 02 2025 7:50:50
Если вам нужно быстро изменить небольшой объем контента на сайте без доступа к CMS, можно воспользоваться GTM. Как именно, читайте дальше....
05 02 2025 23:57:42
Аналитик Netpeak Алексей Селезнев рассказал, как составить и пользоваться сводными таблицами онлайн в excel и за считанные секунды выделить нужные для анализа данные из десятков тысяч строк в отчетах Google ***ytics...
04 02 2025 22:47:31
Специалисты, занимающиеся seo копирайтингом, рассказывают об использовании LSI: определение текста, кол во символов, подсчет слов онлайн...
03 02 2025 23:47:42
Субъективный рейтинг новых функций мессенджера от Head of Telegram Network в Netpeak....
02 02 2025 13:22:31
Простой способ отслеживания как внутренних, так и внешних битых ссылок. Узнать больше!...
01 02 2025 13:29:19
Важный вопрос, если вы рассчитываете на вирусный эффект своих рекламных идей....
31 01 2025 22:52:32
Как настроить работу удаленной комaнды сотрудников и успевать выполнить все задачи...
30 01 2025 9:16:52
На что обращает внимание система и менеджеры Google при проверке сайта и аккаунта....
29 01 2025 10:25:17
О важных для разметки сайта тегах — alternate, hreflang, media, — и как их грамотно использовать при продвижении....
28 01 2025 4:44:57
Надежный сайт позволит вести успешную деятельность, защитить плоды собственного труда и результаты работы исполнителей, с которыми вы сотрудничали. Для реализации задумки вам понадобятся авторские права....
27 01 2025 19:12:42
Темная сторона лайков или правда о продвижении постов в Facebook...
26 01 2025 18:30:29
Простая инструкция для новичков, как легко создать анимированные баннеры для рекламных кампаний с помощью бесплатного инструмента Google Web Designer. При создании баннера сервис предложит создать файл с нуля либо использовать шаблон. Узнайте обо всех возможностях!...
25 01 2025 20:49:11
Особенности продвижения в нише аренды автомобилей по материалам кейсов наших коллег...
24 01 2025 5:59:27
Неля Серебро рассказывает про внутреннюю кухню блога Netpeak...
23 01 2025 18:29:54
Как упростить работу со скриптами на языке R? Программирование удобного интерфейса с помощью пакета «gWidgets»...
22 01 2025 17:23:41
Как GTM помогает настроить расширенную электронную торговлю (enhanced ecommerce)....
21 01 2025 20:36:24
Кликбейтинг в опасности. Если хочешь узнать методы работы антикликбейт-комaнды Facebook, просто нажми на этот заголовок...
20 01 2025 12:28:51
Система индексирования страниц — как поисковик и его роботы разбирают перечень контента по полочкам...
19 01 2025 16:55:42
Одесские магазины, где продают вечерние и свадебные платья нуждаются в особом внимании интернет-маркетинга. Как настроить контекстную рекламу для малого и среднего бизнеса со скромными маркетинговыми бюджетами...
18 01 2025 0:46:20
Дропшип предполагает минимум затрат со стороны предпринимателя. Например, не нужно думать о логистике, держать склад. Можно минимизировать и траты на рекламу. Узнать как!...
17 01 2025 16:47:49
Партнерская программа — это когда сервис дает партнеру вознаграждение за приведенных клиентов. Получить деньги и/или другие плюшки можно также по реферальной программе. Как это работает? Разбираемся на примерах....
16 01 2025 17:30:29
PR должен решать задачи бизнеса и для этого мало мониторить упоминания компании или бренда, нужно анализировать. С появлением соцсетей пиар изменился. Узнать больше!...
15 01 2025 16:52:10
Чтобы обезопасить себя и своих клиентов, используйте технологию 3D Secure. Больше рекомендаций — в статье....
14 01 2025 8:10:58
Необходимый элемент для защиты контента от копирования и в то же время — шанс стать популярным автором. Тем не менее, от водяных знаков отказываются. Узнать больше!...
13 01 2025 13:43:14
Читайте, если не хотите «слить» бюджет. Определите конкретные цели и УТП, соберите аналитику, идите к специалисту без опыта работы в конкретной нише и другие рекомендации эксперта. Читайте подробнее в статье!...
12 01 2025 11:47:47
Не существует универсальных решений - есть эффективные инструменты и удачные их сочетания....
11 01 2025 1:20:57
Как настроить эксперимент на сайте без сторонней помощи...
10 01 2025 23:16:26
В ТОПе ошибок — метатеги, разметка, заголовки h1-h6 и внутренние ссылочные факторы....
09 01 2025 21:26:45
Часто трафик проседает из-за удаления важных страниц или изменения URL-адресов. Анализ данных веб-архива позволит сохранить или восстановить посещаемость...
08 01 2025 13:53:25
В Twitter удобно собрать список потенциальных клиентов, чтобы время от времени посматривать за их новостями...
07 01 2025 7:34:16
За каждым проектом стоят прежде всего люди. Как часто мы пользуемся сложными системами и не думаем о том, кто их создал и продолжает развивать? Интересно о том, кто и что стоит за «ПланФиксом». Читайте далее!...
06 01 2025 20:18:48
Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....
05 01 2025 20:57:37
Узнайте, как пользоваться Инспектором и внутренними диаграммами Facebook, чтобы быть в лидерах своей ниши!...
04 01 2025 7:18:32
Какие шаги стоит сделать, чтобы обойти ямы профессионального влогинга и как заработать на его вершинах...
03 01 2025 20:55:46
Рекомендации от Google для бизнеса о поведении в период распространения коронавируса....
02 01 2025 13:49:40
Как быстро создавать и запускать объявления, а также массово вносить правки в кампании с помощью файла Excel...
01 01 2025 10:50:34
Private Blog Network для ниши безопасности, доставки цветов, товаров сантехники, туризма и выпекания. Сетки сайтов работают не всегда и это нормально. Узнать больше!...
31 12 2024 10:32:29
Вес страниц — один из факторов ранжирования в поисковых системах Google и Яндекс....
30 12 2024 19:11:34
Альтернатива классическому SQL — обработка запросов из множества таблиц с помощью функций подстановки в Google BigQuery....
29 12 2024 15:35:12
Как избежать ошибок при продвижении интернет-магазина с помощью видеоблогеров....
28 12 2024 3:11:29
Краткое сравнение двух инструментов и третьего на закуску....
27 12 2024 4:52:50
Энн Смарти (Ann Smarty), пожалуй, самая известная публичная личность в мире контент-маркетинга и поискового продвижения. За несколько лет она прошла путь от SEO-блогера до главного редактора авторитетного Search Engine Journal и CEO одного из самых популя...
26 12 2024 9:17:54
Десять вопросов, которые чаще всего задают люди, столкнувшиеся с необходимостью создания landing page....
25 12 2024 10:31:31
Как говорится, люди делятся на тех, кто делит других на типы и тех, кто не делит. В этом посте — про желтых, синих, красных и зеленых людей....
24 12 2024 0:37:55
Tencent — китайская компания, мировой лидер в сфере игр. Все о создании компании, доходах, прибыли, инвестициях. Особенности ведения бизнеса в Китае — в пересказе статьи Паки Маккормик. Читать дальше!...
23 12 2024 12:39:55
Как сделать рекламу в Universal App Campaign 2.0 максимально эффективной...
22 12 2024 3:39:24
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::