Как связать Microsoft Power BI и Google BigQuery
Если вы храните данные в Google BigQuery, то наверняка захотите визуализировать их. В этой статье я расскажу, как загрузить данные из Google BigQuery в Microsoft Power BI с помощью скрипта на языке R.
Интеграция Google BigQuery c BI-платформами и электронными таблицами Ранее я уже рассказывал, как
Оба сервиса динамично развиваются, их возможности регулярно улучшаются, благодаря чему BigQuery и Power BI так популярны. При этом Google и Microsoft во многом конкурируют, поэтому, как правило, интеграции между их продуктами нет, и в ближайшем будущем не стоит ждать появления коннектора к Google BigQuery в программном интерфейсе Microsoft Power BI.
Как начать работу с BigData — загружаем данные в Google BigQuery На самом деле есть несколько вариантов решения этой проблемы, в данной статье мы рассмотрим два способа загрузить данные из
- с помощью ODBC драйвера для Google BigQuery;
- с помощью R коннектора.
Как связать Google BigQuery и Microsoft Power BI с помощью ODBC драйвера?
Первый способ стал доступен в ноябре 2016 года вместе с выходом ODBC драйвера для Google BigQuery.
1. Скачайте и установите версию ODBC драйвера, соответствующую вашей операционной системе. Найти нужную версию можно, перейдя по этой ссылке.
2. Создайте источник данных ODBC.
2.1. Перейдите в Панель управления / Все элементы панели управления / Администрирование / Источники данных ODBC (нужной разрядности).
2.2. В окне «Администратор источника данных ODBC» перейдите на вкладку «Пользовательский DSN» и нажмите «Добавить».
2.3. В окне «Создание нового источника данных» выбираете драйвер «Simba ODBC Driver for Google BigQuery» и нажимаете «Готово».
2.4. Далее откроется окно настройки ODBC подключения. Необходимо заполнить поле Data Source Name, выбрать из выпадающего списка OAuth mechanism и нажать Sign in для прохождения процесса аутентификации.
2.5. Выбираете Google аккаунт, у которого есть доступ к нужному проекту в Google BigQuery, и подтверждаете разрешение на получение автономного доступа.
2.6. Далее вам будет предоставлен токен доступа, который необходимо скопировать и вставить в поле Confirmation code, после чего просто кликните по полю Refresh token для генерации токена обновления.
2.7. Из выпадающего списка Catalog (Project) выберите нужный проект и нажмите Test.
2.8. Драйвер сообщит, что тест соединения пройден успешно. После этого нажмите ОК в окне Test Result и повторно — в окне настройки драйвера.
3. Перейдите в Power BI и настройте подключение к созданному источнику данных.
3.1. На вкладке «Главная» основного меню Power BI нажмите «Получить данные», а в группе «Другое» выберите пункт ODBC.
3.2. В выпадающем списке «Имя источника данных (DSN)» выберите созданный в пункте 2 источник. В данном случае я его назвал BQ ODBC.
3.3. В окне «Драйвер ODBC» выберите тип подключения «По умолчанию или пользовательский» и нажмите «Подключение».
3.4. В окне «Навигатор» выбирайте нужные проекты, наборы данных и таблицы. Нажмите «Загрузить», после этого данные из Google BigQuery будут загружены в Power BI.
Как связать Google BigQuery и Microsoft Power BI с помощью R коннектора?
В марте 2016 года Microsoft объявил, что поддержка R-скриптов для загрузки данных в Power BI вышла из бета-тестирования. Безусловно, это одно из наиболее значимых обновлений Power BI, так как с помощью языка R можно подгружать данные пpaктически из любого источника, включая Google BigQuery.
1. Установите пакет «bigrquery»
1.1. Первое, что необходимо сделать, — скачать и установить последнюю версию R. При установке не требуется задавать какие-то дополнительные параметры или настройки, в связи с чем затруднений возникнуть не должно.
1.2. Для более удобной работы Google BigQuery из R установите пакет «bigrquery». Для этого перейдите в папку «C:\Program Files\R\R-3.3.0\bin» и запустите файл «R.exe». Далее откроется консоль для работы с R.
В консоли установите нужный пакет с помощью комaнды «install.packages(\"bigrquery\")».
1.3. На диске C создайте папку «BQ_Integration», в ней мы будем сохранять учетные данные для доступа к API Google BigQuery.
1.4. Далее в консоли R с помощью комaнды «setwd(\"C:/BQ_Integration\")» укажите, что созданную папку будем использовать в качестве рабочей директории. Если вы все сделали правильно, можете проверить установленную рабочую директорию с помощью комaнды «getwd()».
1.5. Далее подключаем пакет «bigrquery», установленный ранее с помощью «library(bigrquery)».
2. Предоставьте доступ к данным BigQuery
2.1. Для прохождения первой аутентификации запустите запрос к любой таблице BigQuery из консоли. Для этого воспользуйтесь следующим кодом:
projectID <- \"XXXXXXX\" #Название проекта, получить его можно из URLdataSetID <- \"XXXXXXX\" #Название набора данных, смотреть в интерфейсе BigQuerytableID <- \"XXXXXXX\" #Название таблицыbqTable <- get_table(project = projectID, dataset = dataSetID , table = tableID)
2.2. Далее в консоли на вопрос «Use a local file .httr-oauth to cache OAuth access credentials between R sessions?» ответьте «Yes». К этому моменту в консоли должен быть следующий код:
2.3. Далее выберите аккаунт Google и подтвердите разрешение на просмотр данных и управление ими в Google BigQuery, а также просмотр и изменение данных в сервисах Google облачной платформы.
2.4. После этого вы получите подтверждение, что аутентификация прошла удачно.
2.5. На этом этапе работа с консолью R завершена. В папке «BQ_Integration», созданной на шаге 3, должен появится файл «.httr-oauth», который содержит ваши учётные данные.
3. Интеграция с Power BI
3.1. Перейдите в интерфейс Power BI и нажмите кнопку для получения данных. В группе «Другое» выберите коннектор «R-скрипт».
Скачать бесплатно последнюю версию Power BI можно по этой ссылке.
Как обpaбатывать данные из множества таблиц в Google BigQuery 3.2. Далее появится диалоговое окно «Выполнение сценария R». Подставьте в следующий код свои значения ID проекта, набора данных и
library(bigrquery)setwd(\"C:/BQ_Integration\")projectID <- \"XXXXXXX\"dataSetID <- \"XXXXXXXXX\"tableID <- \"XXXXXXXX\"qry <- paste0(\"SELECT * FROM \", dataSetID,\".\",tableID)bqTable <- query_exec(query = qry , project = projectID)
Если вы знакомы с SQL, то в кавычках вместо «qry <- paste0(\"SELECT * FROM \", dataSetID, \".\", tableID» можете написать любой запрос.
Как работать с оконными функциями в Google BigQuery — подробное руководство Читайте
3.3. По нажатию кнопки «ОК» начнется процесс загрузки данных, после чего появится окно «Навигатор» с загруженной таблицей и ее полями.
3.4. После нажатия кнопки «Загрузить», вы сможете строить визуализацию данных на основе загруженной таблицы в Microsoft Power BI.
Данные будут обновляться каждый раз при нажатии кнопки «Обновить».
Как работать с Microsoft Power BI — подробное руководство Подробно узнать методы построения визуализации на основе загруженных в Power BI данных можно в статье
Выводы
Три шага для связки Microsoft Power BI и Google BigQuery с помощью ODBC драйвера:
- Скачайте и установите ODBC драйвер.
- Создайте источник данных ODBC.
- Перейдите в Power BI и настройте подключение к созданному источнику данных.
Три шага для связки Microsoft Power BI и Google BigQuery с помощью R коннектора:
- Установить язык R и подключить пакет «bigrquery».
- Предоставить доступ к данным BigQuery.
- Загрузить данные в Power BI и построить визуализацию.
В следующих постах поделюсь фишками загрузки данных в Power BI из других источников, к которым нет встроенных коннекторов.
Комментарии:
Apple, Google и Samsung — давайте вспомним новинки месяца....
26 04 2024 5:17:17
14 пунктов, которые помогут вам лучше изучить свой бизнес и подготовить эффективную SMM-стратегию...
25 04 2024 0:20:20
Человеку стало плохо, он теряет сознание. Те, кто рядом, хотят помочь, но не знают, как это сделать. Давайте разбираться....
24 04 2024 4:24:57
Как настроить многокaнaльную модель атрибуции для своего бизнеса....
23 04 2024 11:20:55
Как подготовиться и сделать из интервью полноценную историю, которая будет интересна аудитории...
22 04 2024 13:10:12
Недавно у меня закончилась видеокампания на ютуб, по которой удалось собрать исследование Brand Lift. Хочу поделиться инсайтами...
21 04 2024 7:28:26
Как настроить автоматическое обновление данных о товарах с помощью таблиц Google....
20 04 2024 13:58:26
Как распредляются зарплаты по грейдам и специализации: ежегодное исследование Serpstat....
19 04 2024 17:48:55
Интерфейс прикладного программирования для работы с аккаунтами десятка сайтов....
18 04 2024 3:42:32
Подробно об оплате аккаунтов и налогообложении рекламы в Украине, России, Казахстане....
17 04 2024 21:15:29
10 заданий, которые заставят пошевелить мозгами и придумать нестандартные решения. Используйте их (видоизмените, адаптируйте) под свой продукт или услугу. Создайте крутую кампанию, креатив или предложите это своей комaнде....
16 04 2024 6:56:44
Как нарисовать круговую или столбчатую диаграмму. Избавляемся от популярных ошибок при оформлении...
15 04 2024 4:50:48
Google Adwords: типы рекламных кампаний и объявлений, тонкостях настройки... Все, о чем вы боялись спросить... Или не боялись, а просто не знали, о чем спрашивать....
14 04 2024 13:13:24
Темная сторона лайков или правда о продвижении постов в Facebook...
13 04 2024 16:41:26
По следам «Игры в кальмара». Небольшая подборка ностальгических комaндных игр, которые могут прижиться в вашем офисе....
12 04 2024 17:58:18
Комaнда Serpstat проанализировала стратегии продвижения лидеров ниши онлайн-образования. Читайте о главных инсайтах в посте....
11 04 2024 14:35:51
Более строгие требования к таким ресурсам обуславливают свои подходы....
10 04 2024 12:55:17
К чему стоит относиться с особенным вниманием при отправке рассылок. Грамматические ошибки, тема, прехедер и другие стратегически важные составляющие письма. Узнать больше!...
09 04 2024 4:28:25
Инсайты Диви Конф 2021, онлайн-конференции о видеомаркетинге....
08 04 2024 8:29:59
Если маркетер хочет привлечь к бренд-контенту дополнительное внимание, стоит воспользоваться опцией Promote post....
07 04 2024 6:41:24
Чем радовала, смущала и шокировала реклама в социальных сетях в марте 2021-го...
06 04 2024 6:26:29
Не только netpeak spider. Главные детали о новой версии инструмента Netpeak Checker 3.0: парсер гугла, массовый анализ сайтов, антибан-алгоритм для прокси, шаблоны параметров и фильтров...
05 04 2024 0:41:40
Отслеживание конверсий: покупка, подписка на рассылку, отправка контактных данных и другое....
04 04 2024 6:39:12
Функционал для специалистов и новичков: как настраивать особые правила. Знания, которые помогают предотвратить грубые ошибки в рекламе товаров и услуг. Читать дальше!...
03 04 2024 13:42:29
Участники бизнес-клуба netpeak получают бесплатные консультации по вопросам ведения контекстной рекламы в Google Ads...
02 04 2024 4:57:48
За что, по мнению рекламодателей, готовы платить пользователи в России и Украине? Рейтинг самых дорогих ключевых слов Google Рекламы по версии Serpstat....
01 04 2024 2:58:22
SEO-продвижение интернет-сайта, где можно заказать доставку цветов. Оплатой за трафик под Россию, Украину, Казахстан, Армению, Грузию...
31 03 2024 21:24:32
Почему нельзя просто взять и перевести. В худшем случае специализированный текст на иностранном языке должен стать для переводчика дорожной картой, в лучшем — источником вдохновения. Почему? Читайте об этом!...
30 03 2024 21:26:46
Понятный алгоритм анализа поисковых запросов с экономией времени на чистку по специальному шаблону модерации...
29 03 2024 18:24:11
Краткая инструкция для новичков. Структура сайта, внутренняя перелинковка, юзабилити, контент, оптимизация тегов и заголовков, HTTPS, скорость загрузки сайта, mobile friendly и другие. Узнать больше!...
28 03 2024 22:28:46
Обучение SEO, PPC, курс по изучению языка R, академии Netpeak Software, Serpstat и другие. Список обновляется....
27 03 2024 10:59:26
Что делать, если вы специально или нет попали под фильтр: руководство от выявления до спасения...
26 03 2024 21:38:19
Как получить больше конверсионного трафика из поиска и не выйти за рамки KPI? Запустите SNDS-кампании...
25 03 2024 6:59:25
Какие фишки влияют на видимость сайтов? Советы по юзабилити от SEO-специалиста....
24 03 2024 22:35:27
Как борьба с зарплатным неравенством становится трендом...
23 03 2024 17:17:23
Список минус-слов для Google Рекламы для B2B сайтов....
22 03 2024 0:14:57
Главные вопросы при запуске и настройке любых кампаний: «чего я хочу достичь?», «помогает ли текущая кампания достичь желаемых результатов?», «влияет ли кампания на эффективность других кампаний и источников?». Узнать больше....
21 03 2024 10:34:43
Чтобы перенаправить рекламу не на свой домен, арбитражники используют редирект в Яндексе при работе с партнерскими ссылками...
20 03 2024 19:34:26
Знаете, как доменная зона Германии связана с криптовалютой, или почему в доменной зоне маленького острова площадью 10 квадратных километров зарегистрировано 20 млн доменов? Сейчас расскажем!...
19 03 2024 10:40:11
Всё об оценке эффективности SEO-продвижения с инструментами и рекомендациями...
18 03 2024 14:31:46
Вести бизнес в интернете с помощью развлекательного сайта, СМИ, узкоспециализированного портала вполне реально. Правда, нужно знать, как на них заpaбатывать....
17 03 2024 15:51:59
Как грамотно раскрутить пиццерию. Сняли фильтр и достигли хороших результатов....
16 03 2024 7:41:23
Как эффективно распределять бюджет и ресурсы на обучение сотрудников. Статья будет полезной для собственников бизнеса и HR-специалистов....
15 03 2024 22:37:53
Консультант по маркетингу в зоне ru Екатерина Решетило написала пост о том, как правильно настроить стратегический контент-маркетинг для долгосрочных продаж...
14 03 2024 17:57:58
Поиск крутых авторов и качественные тексты для блога об email-рассылке...
13 03 2024 0:18:49
Положительная динамика с первых месяцев работы....
12 03 2024 1:55:18
Короткий кейс и рекомендации по защите аккаунта от взлома....
11 03 2024 6:27:48
Facebook + Instagram, Business Manager + основная бизнес-страница на Facebook, BM + рекламный аккаунт и так далее....
10 03 2024 19:53:55
Заработок в четверть миллиона. Как многофункциональная SEO-платформа Serpstat из Netpeak Group стала самым продаваемым продуктом на AppSumo — пошаговая история-инструкция...
09 03 2024 21:26:12
Cтоимость просмотра в Google Ads дешевле как минимум в два раза по сравнению со Smart TV...
08 03 2024 10:40:58
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::