Интеграция Google BigQuery c BI-платформами и электронными таблицами
С каждым годом количество данных в различных базах растет в геометрической прогрессии — этот фактор определяет интенсивный рост интереса к Big Data. Сегодня облачная база данных Google BigQuery — один из наиболее востребованных инструментов, решающих проблему хранения и быстрой обработки больших массивов данных. Мы выяснили способы соединения хранящихся в Google BigQuery данных с различными инструментами визуализации и составили подробный мануал по настройке их интеграции.
Как интегрировать BigQuery с Google Таблицами
Сначала необходимо установить дополнение к Google Таблицам OWOX BI BigQuery Reports. В меню «Дополнения» выбираем пункт «Установить дополнение». В поиске вводим название «OWOX BI BigQuery Reports», затем нажимаем кнопку «+ Бесплатно». Даем все необходимые разрешения установленному дополнению — кнопка «Разрешить». В списке установленных дополнений появится «OWOX BI BigQuery Reports»: Выбираем пункт «Add a new report», затем — нужный проект в появившемся SideBar. После чего выбираем пункт «Add new query». В появившемся диалоговом окне «Add new query» вводим текст SQL запроса и жмем на кнопку «Save & Run». В вашей Google Таблице будет создан новый лист, название которого будет совпадать с названием запроса. На этот лист импортируется результат работы вашего запроса. С помощью пункта меню «Schedule reports» описанного дополнения можно задать настройки автоматического обновления результатов запроса через определенный интервал времени.
Как интегрировать BigQuery с Excel
Для начала необходимо скачать IQY файл, который и является коннектором между BigQuery и Excel. Затем указываете аккаунт Google, к которому привязан нужный вам проект в BigQuery. Перейдя по указанной ссылке, нажмите на «Click here to download IQY file». Далее вам необходимо создать ключ доступа. Переместитесь вниз по странице загрузки IQY файла к пункту «Creating a new key», установите время действия созданного ключа доступа. Максимально возможное время — 30 дней. Далее следует опять подняться к началу страницы и скопировать сгенерированный ключ в буфер обмена. После этого открываем Excel и подписываем ячейки на новом листе:
- ProjectID;
- Key;
- Query.
Напротив ячейки ProjectID требуется указать ID нужного вам проекта. Его можно вытянуть из URL проекта в BigQuery. Напротив ячейки «Key» вводим скопированный раннее в буфер обмена ключ доступа. Напротив ячейки «Query» вводим текст SQL запроса, но в 1 ячейку можно ввести не более 256 символов. Для ввода более длинного запроса вы можете просто разместить разные части запроса в разных ячейках. В результате созданный вами лист будет выглядеть так: Как видно на скриншоте, текст запроса растянут на четыре ячейки в диапазоне B3:E3 (потому что в одной ячейке можно вместить не более 256 символов).
То, как вы разделите запрос, никакой роли не играет — он в любом случае будет работать.
Переходим на вкладку «Данные» и в группе «Получение внешних данных» выбираем пункт «Существующие подключения». В открывшемся диалоговом окне жмем кнопку «Найти другие». Далее выбираем скачанный ранее IQY файл и жмем «Открыть». Теперь необходимо указать, куда следует поместить результат выполнения SQL запроса. Далее указываем ячейки, в которых расположен текст SQL запроса. В нашем случае он располагается в четырех ячейках B3:E3. Указываем ячейку, в которой введен ID проекта. Указываем ячейку, в которой хранится ключ доступа. После нажатия ОК результат SQL вашего запроса будет загружен на новый лист.
К сожалению, на момент написания статьи нет коннектора, который мог бы импортировать данные из BigQuery напрямую в модель данных Excel.
Как интегрировать BigQuery с QlikView
Для интеграции между Google BigQuery и QlikView нам необходим специальный коннектор. Сам коннектор бесплатный, но доступ предоставляется только пользователям, которые пользуются платными лицензиями QlikView. После скачивания и установки коннектора необходимо создать ClientID. Для этого заходим в левое меню консоли Google Cloud, выбираем пункт «Credentials» из группы «APIs & auth». Жмем «Add credential» и выбираем «OAuth 2.0 client ID». Потом выбираем тип приложения «Other», задаем имя «ClientID» и нажимаем кнопку «Create». Создаем ClientID и ключ доступа к нему. Теперь можно открыть редактор скриптов в QlikView и настроить подключение. В списке возможных коннекторов теперь есть «BigQuery». Выбираем его и жмем кнопку «Соед...». Вводим необходимую для подключения информацию. Заполняем поля Client ID и Client secret и жмем Authorize. Даем разрешение на доступ коннектора к данным, хранящимся в BigQuery. После авторизации будет заполнена информация по существующим в аккаунте проектам и наборам данных, вам остается выбрать нужный набор данных и нажать ОК. В редакторе скриптов будет сгенерирована строка подключения к Google BigQuery. Остается только добавить текст нужного SQL запроса под строкой подключения и загрузить данные. После этого вы получите подтверждение загрузки в модель данных QlikView.
Как интегрировать Google BigQuery с Tableau
В Tableau существует встроенный коннектор к BigQuery, поэтому дополнительно скачивать ничего не потребуется.
На данный момент коннектор, соединяющий Tableau и Google BigQuery, доступен только в версии Tableau Desktop Professional Edition.
Чтобы загрузить данные из Google BigQuery, выберите в группе «To a server» пункт «More Servers». В меню появится «Google BigQuery». Заходим в аккаунт Google. Выбираем нужный проект и набор данных из выпадающего списка. Далее можем выбрать любую таблицу, либо ввести текст нужного нам SQL запроса, нажав кнопку «New Custom SQL». После нажатия OK ваш запрос появится в рабочей области. Теперь вы можете строить любую визуализацию, создав новый рабочий лист.
Как интегрировать Google BigQuery с BIME ***ytics
При первом запуске BIME сразу предлагает выбрать нужный коннектор. Для интеграции выбираем из списка Google BigQuery. Жмем «Аутентификация через Google». Даем разрешение BIME на автономный доступ к данным, хранящимся в BigQuery. Теперь у нас есть возможность выбрать нужный проект и набор данных, а также выбрать один из трех возможных способов интеграции:
- Single — выбор одной конкретной таблицы из набора данных.
- Union — выбор ряда таблиц из набора данных, все таблицы должны иметь одинаковую структуру.
- Custom дает возможность ввести текст SQL запроса к данным.
В данном случае нас интересует загрузка результата запроса. Вводим текст нашего SQL запроса и жмем «Test». Если тестирование запроса не выявило никаких ошибок, нажимаем «Next». Начнется процесс загрузки данных в BIME для дальнейшего построения нужной вам визуализации.
Подведем итог
Теперь вы знаете, как подключать различные инструменты, начиная от бесплатных (Google таблицы) и заканчивая довольно дорогими (Tableau) к облачной базе данных Google BigQuery. Честно говоря, Google BigQuery хороша всем, кроме одного: новичку понадобятся недели, а может, и месяцы, чтобы разобраться в ней. Например, в Украине тех, кто умеет работать с QlikView, Tableau и BIME можно пересчитать на пальцах. Небольшое сравнение, насколько хорошо и удобно работать с данными из BigQuery в упомянутых BI-платформах.
Таблица баллов основывается только на моем субъективном мнении.
BI-платформы / электронные таблицы | Удобство интеграции с BigQuery | Удобство работы с данными | Стоимость |
Google Spreadsheets | Легко подключаемый и довольно простой в понимании коннектор от OWOX. 4 балла | В Google Таблицах неудобно работать с загруженными данными в связи с тем, что в принципе отсутствует понятие модели данных.Поэтому данные можно загрузить только непосредственно на рабочий лист.При этом в Google SpreadSheets имеется ограничение в 2 млн. ячеек на один документ, то есть загрузить данные можно в рамках этого предела.2 балла | Бесплатно |
Microsoft Excel | Не очень удобный коннектор, ключ доступа предоставляется максимум на 30 дней.Из-за этого придется часто генерировать новый ключ для обновления данных. 3 балла | Сама по себе работа с данными в Excel очень удобна, но коннектор, написанный для интеграции Excel с Google BigQuery, оставляет желать лучшего и не имеет возможности загрузить данные непосредственно в модель данных а не на рабочий лист.В связи с чем при интеграции с BigQuery вы сталкиваетесь с ограничением в 1048576 строк, при этом размер файла будет очень большим. <4 балла | ~100 USD |
QlikView | Достаточно простой в обращении коннектор, но, к сожалению, идет отдельно от самой платформы и для интеграции необходимо создавать в Google аккаунте Client ID. 3 балла | QlikView очень удобен в работе с загруженными из BigQuery данными, доступен весь инструментарий визуализации данных. 5 баллов | Бесплатная персональная версия, полный функционал от 1010 EUR |
Tableau | Встроенные и интуитивно понятный коннектор. 5 баллов | Работа по визуализация в Tableau уступает по удобству Microsoft Excel и QlikView, но тем не менее имеет достаточно мощный функционал.Что касается данных, загруженных из BigQuery, никаких ограничений в работе нет, доступен весь функционал. 4 балла | Работа с BigQuery доступна только в Professional Edition стоимостью 1999 USD |
BIME | Встроенный и интуитивно понятный понятный коннектор к BigQuery. 5 баллов | BIME имеет довольно обширный инструментарий в работе с визуализацией данных, интуитивно понятный интерфейс позволяет быстро и удобно строить дашборды любой сложности, никаких ограничений при работе с данными загруженными из BigQuery нет. 5 баллов | Работа с BigQuery доступна в тарифном плане «Big data» стоимостью 690 USD / месяц. |
Также я сравнил перечисленные BI-платформы по удобству интеграции и работы с Google BigQuery:
BI-платформы / электронные таблицы | Удобство интеграции с BigQuery | Удобство работы с данными |
Google Spreadsheets | 4 | 2 |
Microsoft Excel | 3 | 4 |
QlikView | 3 | 5 |
Tableau | 5 | 4 |
BIME | 5 | 5 |
Надеюсь, эта инструкция сделает работу с облачными базами данных проще. Но если до сих пор непонятно, готов разъяснить сложные моменты в комментариях. А за комплексной помощью в настройке визуализации данных обращайтесь к нам в Netpeak — мы поможем.
Как мы сделали инструмент веб-аналитики для сайта Ecommerce Например, узнайте
Комментарии:
Как найти сетку сайтов конкурентов — рассказываем о популярных методах и секретных фишках. Бонус — инструкция по выявлению PBN конкурентов. Читать дальше!...
26 04 2024 11:47:31
Лучшие маркетинговые и бизнес-фишки от Давида Брауна (Weblium), Владислава Флакса (OWOX), Александра Галкина (Competera), Люси Литерадо (Reply.io), Вадима Нехая (Depositphotos), Валерия Грабко (PromoRepublic), Игоря Дебатура (Uploadcare), Руслана Савчишин...
25 04 2024 16:19:10
Готовые коробочные решения — отличная идея, которая решает много задач, а ещё это относительно недорого. Но такой вариант подойдет далеко не всем. Узнать больше!...
24 04 2024 19:30:14
Мы решили внедрить товарные рекомендации на сайте. Они приносят дополнительно до 10% дохода....
23 04 2024 11:14:49
Андреас Рётль о продвижении Journi: как трое выпускников Стэнфордского университета создали приложение для сторителлинга с 25 000 пользователями в 100 странах....
22 04 2024 3:45:28
2013, 2014, 2015 — годы, когда конференция 8p радовала все сео-сообщество СНГ. Прошла она и в 2016 году. Мы собрали лучшие советы интернет-магазинам от экспертов и участников круглого стола на конференции 8P 2016....
21 04 2024 21:23:56
Инструкция для новичков по одновременной работе с кампаниями, а также объявлениями и группами в Яндекс.Директ...
20 04 2024 10:33:18
Руководство к действию от основателя Netpeak Group....
19 04 2024 9:17:38
Иногда даже замена блока с промокодом или обновление хедера и футера способны освежить рассылки и принести продажи, заявки, повысить лояльность клиентов. Узнать больше!...
18 04 2024 17:30:32
Контекстная реклама и ее эффективность: как долго длится, как измерить, что бывает, как заканчиваются деньги....
17 04 2024 14:52:33
Как Blizzard реализует тимбилдинг, мотивирует сотрудников и превращает офис в музей...
16 04 2024 3:46:13
Причины, по которым имеет смысл работать в офисе хотя бы несколько дней в неделю, а может и больше. Конечно, только если эпидемиологическая ситуация не заставляет оставаться дома. Берегите себя....
15 04 2024 1:24:35
Дизайнер, в частности технический дизайнер баннеров, — человек, который оформляет конкретную идею, текст и логотип в приемлемую визуальную форму. Все делают это по-разному, но конечный результат всегда зависит от четкости поставленной задачи...
14 04 2024 20:33:45
Лихие девяностые и самые ужасные сайты интернета: образцы, примеры, оформление....
13 04 2024 3:56:57
Как создать популярный и удобный магазин в интернете, какой должна быть его раскрутка и многое другое, прозвучавшее на круглом столе 8P 2017...
12 04 2024 14:44:33
Старт любых активностей в сфере email-маркетинга — разработка стратегии...
11 04 2024 3:43:41
На отклонение исходящих ссылок после загрузки файла может уйти достаточно много времени: от нескольких недель до нескольких месяцев...
10 04 2024 11:19:18
Основные этапы раскрутки сайта. Что такое и как работает поисковая оптимизация, ее виды, особенности, преимущества...
09 04 2024 13:42:52
Это исследование для тех, кто хочет выяснить, эффективно ли работать с лидами, если им год и больше...
08 04 2024 3:13:41
Новое исследование стоимости клика в Казахстане в четвертом квартале 2018 года...
07 04 2024 15:46:27
Современные платформы телефонии и коллтрекинга — это не только про звонки. С Ringostat вы узнаете, откуда пришел клиент, как менеджер ему ответил и какая реклама «принесла» деньги....
06 04 2024 10:43:47
Ещё один проект, который продвигался во время карантина....
05 04 2024 10:13:47
Где искать информацию, как составить контент-план, писать тексты быстро и легко, а затем продвигать их. Собрали для вас подборку постов о разных этапах работы с контентом....
04 04 2024 10:39:38
Всё что нужно знать про SMM...
03 04 2024 5:17:54
При работе с рекламным аккаунтом приходится вносить много однотипных изменений. Рассказываем, как сделать это быстро....
02 04 2024 14:55:46
После того, как мы разобрали виды мобильных версий сайтов, их плюсы и минусы — стоит поговорить о сервисах, которые облегчают аудит....
01 04 2024 10:49:16
Собирательный опыт сотрудников Netpeak. Мы изучали много всего в стиле «купить парковку в аэропорту Гатвика в Лондоне» и тому подобное. Но все, кроме описанного ниже, показалось сложным и ненадежным. Поэтому рассказываем про спокойные варианты....
31 03 2024 9:57:56
Private Blog Network для ниши безопасности, доставки цветов, товаров сантехники, туризма и выпекания. Сетки сайтов работают не всегда и это нормально. Узнать больше!...
30 03 2024 0:24:22
Мы запустили email с нуля и стали получать стабильный ежемecячный доход....
29 03 2024 21:47:55
Топ doodle games от Google — от менее достойных к самым крутым....
28 03 2024 22:36:23
Новая инструкция, которую можно применять к любым задачам в Google Таблицах....
27 03 2024 0:36:58
Данные о стоимости клика в наиболее популярных рекламных интернет-площадках страны....
26 03 2024 11:41:27
Создание, установка и оптимизация title и мета-тегов keywords, description у сайта, построенного на системе Drupal...
25 03 2024 16:15:38
Узнаем расширенную информацию о посещениях сайта с помощью языка R — кейс Netpeak...
24 03 2024 17:44:30
Вам нужно приложение или мобильная версия сайта? Как вы собираетесь монетизировать приложение? И другие важные вопросы, на которые нужно ответить до разработки....
23 03 2024 18:18:56
Активно юзая Google Tag Manager, узнали много нового о dataLayer и методах отслеживания статистики в Google ***ytics для SPA-сайтов и лендингов. Об этом и расскажем...
22 03 2024 12:37:11
Интеграция видео в маркетинговую кампанию – решение, которое повысит ценность каждого посетителя сайта....
21 03 2024 8:24:30
Советы бизнесу от зрителей Big Money и Артема Бородатюка. Предлагаем 11 универсальных, но простых и понятных идей....
20 03 2024 9:10:52
Семинар с примерами юзабилити решений от Twitter, Airbnb, Amazon и других компаний....
19 03 2024 23:26:14
Интересные факты про Google Рекламу перевел Сергeй Бахарь для читателей нашего блога....
18 03 2024 5:46:10
Что делать, когда код электронной торговли в одной валюте, а аккаунты Google ***ytics/Google Ads — в другой. И нужной валюты нет в списке возможных....
17 03 2024 17:42:43
Как вернуть клиентов с помощью реактивационных email-рассылок. Внутри идеи таких брендов: Bershka, Wildberries, LinguaLeo, Facebook, Mail.ru, Coub, BlaBlaCar, Repka.ua и другие. Узнайте принципы красивой реактивации!...
16 03 2024 8:43:11
Используем маску ввода для оптимизации сбора телефонных номеров в формах на сайте: кейсы агентства Netpeak...
15 03 2024 7:36:36
Организаторам мероприятий, коллегам из PR-сферы и невестам о том, как делегировать важные мероприятия внешнему подрядчику...
14 03 2024 9:47:25
Начинаем серию постов в режиме реалити-шоу о подробностях продвижения крупного игрока бизнеса email- и sms-рассылок — компании UniSender....
13 03 2024 15:54:23
Как автоматизировать целый участок в работе комaнды специалистов по контекстной рекламе — кейс concert.ua...
12 03 2024 9:13:22
Прайс-менеджерам: покупаем и моделируем недостающие данные с помощью алгоритмов машинного обучения...
11 03 2024 20:45:33
Денис Бигус, Bihus.info: с 13 до 457 000 подписчиков на YouTube за четыре года....
10 03 2024 13:47:17
Пошагово подключаем скрипт проверки бюджета аккаунтов Google Ads. Скрипт отправляет уведомление на почту и в Telegram — это поможет вовремя пополнить счет. Узнать больше!...
09 03 2024 5:29:58
Крауд-маркетинг предполагает взаимодействие с целевой аудиторией с помощью рекомендательных комментариев на форумах, сайтах вопросов и ответов, в блогах, на других площадках...
08 03 2024 0:36:23
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::