Интеграция Google BigQuery c BI-платформами и электронными таблицами
С каждым годом количество данных в различных базах растет в геометрической прогрессии — этот фактор определяет интенсивный рост интереса к Big Data. Сегодня облачная база данных Google BigQuery — один из наиболее востребованных инструментов, решающих проблему хранения и быстрой обработки больших массивов данных. Мы выяснили способы соединения хранящихся в Google BigQuery данных с различными инструментами визуализации и составили подробный мануал по настройке их интеграции.
Как интегрировать BigQuery с Google Таблицами
Сначала необходимо установить дополнение к Google Таблицам OWOX BI BigQuery Reports. В меню «Дополнения» выбираем пункт «Установить дополнение». В поиске вводим название «OWOX BI BigQuery Reports», затем нажимаем кнопку «+ Бесплатно». Даем все необходимые разрешения установленному дополнению — кнопка «Разрешить». В списке установленных дополнений появится «OWOX BI BigQuery Reports»: Выбираем пункт «Add a new report», затем — нужный проект в появившемся SideBar. После чего выбираем пункт «Add new query». В появившемся диалоговом окне «Add new query» вводим текст SQL запроса и жмем на кнопку «Save & Run». В вашей Google Таблице будет создан новый лист, название которого будет совпадать с названием запроса. На этот лист импортируется результат работы вашего запроса. С помощью пункта меню «Schedule reports» описанного дополнения можно задать настройки автоматического обновления результатов запроса через определенный интервал времени.
Как интегрировать BigQuery с Excel
Для начала необходимо скачать IQY файл, который и является коннектором между BigQuery и Excel. Затем указываете аккаунт Google, к которому привязан нужный вам проект в BigQuery. Перейдя по указанной ссылке, нажмите на «Click here to download IQY file». Далее вам необходимо создать ключ доступа. Переместитесь вниз по странице загрузки IQY файла к пункту «Creating a new key», установите время действия созданного ключа доступа. Максимально возможное время — 30 дней. Далее следует опять подняться к началу страницы и скопировать сгенерированный ключ в буфер обмена. После этого открываем Excel и подписываем ячейки на новом листе:
- ProjectID;
- Key;
- Query.
Напротив ячейки ProjectID требуется указать ID нужного вам проекта. Его можно вытянуть из URL проекта в BigQuery. Напротив ячейки «Key» вводим скопированный раннее в буфер обмена ключ доступа. Напротив ячейки «Query» вводим текст SQL запроса, но в 1 ячейку можно ввести не более 256 символов. Для ввода более длинного запроса вы можете просто разместить разные части запроса в разных ячейках. В результате созданный вами лист будет выглядеть так: Как видно на скриншоте, текст запроса растянут на четыре ячейки в диапазоне B3:E3 (потому что в одной ячейке можно вместить не более 256 символов).
То, как вы разделите запрос, никакой роли не играет — он в любом случае будет работать.
Переходим на вкладку «Данные» и в группе «Получение внешних данных» выбираем пункт «Существующие подключения». В открывшемся диалоговом окне жмем кнопку «Найти другие». Далее выбираем скачанный ранее IQY файл и жмем «Открыть». Теперь необходимо указать, куда следует поместить результат выполнения SQL запроса. Далее указываем ячейки, в которых расположен текст SQL запроса. В нашем случае он располагается в четырех ячейках B3:E3. Указываем ячейку, в которой введен ID проекта. Указываем ячейку, в которой хранится ключ доступа. После нажатия ОК результат SQL вашего запроса будет загружен на новый лист.
К сожалению, на момент написания статьи нет коннектора, который мог бы импортировать данные из BigQuery напрямую в модель данных Excel.
Как интегрировать BigQuery с QlikView
Для интеграции между Google BigQuery и QlikView нам необходим специальный коннектор. Сам коннектор бесплатный, но доступ предоставляется только пользователям, которые пользуются платными лицензиями QlikView. После скачивания и установки коннектора необходимо создать ClientID. Для этого заходим в левое меню консоли Google Cloud, выбираем пункт «Credentials» из группы «APIs & auth». Жмем «Add credential» и выбираем «OAuth 2.0 client ID». Потом выбираем тип приложения «Other», задаем имя «ClientID» и нажимаем кнопку «Create». Создаем ClientID и ключ доступа к нему. Теперь можно открыть редактор скриптов в QlikView и настроить подключение. В списке возможных коннекторов теперь есть «BigQuery». Выбираем его и жмем кнопку «Соед...». Вводим необходимую для подключения информацию. Заполняем поля Client ID и Client secret и жмем Authorize. Даем разрешение на доступ коннектора к данным, хранящимся в BigQuery. После авторизации будет заполнена информация по существующим в аккаунте проектам и наборам данных, вам остается выбрать нужный набор данных и нажать ОК. В редакторе скриптов будет сгенерирована строка подключения к Google BigQuery. Остается только добавить текст нужного SQL запроса под строкой подключения и загрузить данные. После этого вы получите подтверждение загрузки в модель данных QlikView.
Как интегрировать Google BigQuery с Tableau
В Tableau существует встроенный коннектор к BigQuery, поэтому дополнительно скачивать ничего не потребуется.
На данный момент коннектор, соединяющий Tableau и Google BigQuery, доступен только в версии Tableau Desktop Professional Edition.
Чтобы загрузить данные из Google BigQuery, выберите в группе «To a server» пункт «More Servers». В меню появится «Google BigQuery». Заходим в аккаунт Google. Выбираем нужный проект и набор данных из выпадающего списка. Далее можем выбрать любую таблицу, либо ввести текст нужного нам SQL запроса, нажав кнопку «New Custom SQL». После нажатия OK ваш запрос появится в рабочей области. Теперь вы можете строить любую визуализацию, создав новый рабочий лист.
Как интегрировать Google BigQuery с BIME ***ytics
При первом запуске BIME сразу предлагает выбрать нужный коннектор. Для интеграции выбираем из списка Google BigQuery. Жмем «Аутентификация через Google». Даем разрешение BIME на автономный доступ к данным, хранящимся в BigQuery. Теперь у нас есть возможность выбрать нужный проект и набор данных, а также выбрать один из трех возможных способов интеграции:
- Single — выбор одной конкретной таблицы из набора данных.
- Union — выбор ряда таблиц из набора данных, все таблицы должны иметь одинаковую структуру.
- Custom дает возможность ввести текст SQL запроса к данным.
В данном случае нас интересует загрузка результата запроса. Вводим текст нашего SQL запроса и жмем «Test». Если тестирование запроса не выявило никаких ошибок, нажимаем «Next». Начнется процесс загрузки данных в BIME для дальнейшего построения нужной вам визуализации.
Подведем итог
Теперь вы знаете, как подключать различные инструменты, начиная от бесплатных (Google таблицы) и заканчивая довольно дорогими (Tableau) к облачной базе данных Google BigQuery. Честно говоря, Google BigQuery хороша всем, кроме одного: новичку понадобятся недели, а может, и месяцы, чтобы разобраться в ней. Например, в Украине тех, кто умеет работать с QlikView, Tableau и BIME можно пересчитать на пальцах. Небольшое сравнение, насколько хорошо и удобно работать с данными из BigQuery в упомянутых BI-платформах.
Таблица баллов основывается только на моем субъективном мнении.
BI-платформы / электронные таблицы | Удобство интеграции с BigQuery | Удобство работы с данными | Стоимость |
Google Spreadsheets | Легко подключаемый и довольно простой в понимании коннектор от OWOX. 4 балла | В Google Таблицах неудобно работать с загруженными данными в связи с тем, что в принципе отсутствует понятие модели данных.Поэтому данные можно загрузить только непосредственно на рабочий лист.При этом в Google SpreadSheets имеется ограничение в 2 млн. ячеек на один документ, то есть загрузить данные можно в рамках этого предела.2 балла | Бесплатно |
Microsoft Excel | Не очень удобный коннектор, ключ доступа предоставляется максимум на 30 дней.Из-за этого придется часто генерировать новый ключ для обновления данных. 3 балла | Сама по себе работа с данными в Excel очень удобна, но коннектор, написанный для интеграции Excel с Google BigQuery, оставляет желать лучшего и не имеет возможности загрузить данные непосредственно в модель данных а не на рабочий лист.В связи с чем при интеграции с BigQuery вы сталкиваетесь с ограничением в 1048576 строк, при этом размер файла будет очень большим. <4 балла | ~100 USD |
QlikView | Достаточно простой в обращении коннектор, но, к сожалению, идет отдельно от самой платформы и для интеграции необходимо создавать в Google аккаунте Client ID. 3 балла | QlikView очень удобен в работе с загруженными из BigQuery данными, доступен весь инструментарий визуализации данных. 5 баллов | Бесплатная персональная версия, полный функционал от 1010 EUR |
Tableau | Встроенные и интуитивно понятный коннектор. 5 баллов | Работа по визуализация в Tableau уступает по удобству Microsoft Excel и QlikView, но тем не менее имеет достаточно мощный функционал.Что касается данных, загруженных из BigQuery, никаких ограничений в работе нет, доступен весь функционал. 4 балла | Работа с BigQuery доступна только в Professional Edition стоимостью 1999 USD |
BIME | Встроенный и интуитивно понятный понятный коннектор к BigQuery. 5 баллов | BIME имеет довольно обширный инструментарий в работе с визуализацией данных, интуитивно понятный интерфейс позволяет быстро и удобно строить дашборды любой сложности, никаких ограничений при работе с данными загруженными из BigQuery нет. 5 баллов | Работа с BigQuery доступна в тарифном плане «Big data» стоимостью 690 USD / месяц. |
Также я сравнил перечисленные BI-платформы по удобству интеграции и работы с Google BigQuery:
BI-платформы / электронные таблицы | Удобство интеграции с BigQuery | Удобство работы с данными |
Google Spreadsheets | 4 | 2 |
Microsoft Excel | 3 | 4 |
QlikView | 3 | 5 |
Tableau | 5 | 4 |
BIME | 5 | 5 |
Надеюсь, эта инструкция сделает работу с облачными базами данных проще. Но если до сих пор непонятно, готов разъяснить сложные моменты в комментариях. А за комплексной помощью в настройке визуализации данных обращайтесь к нам в Netpeak — мы поможем.
Как мы сделали инструмент веб-аналитики для сайта Ecommerce Например, узнайте
Комментарии:
Лихие девяностые и самые ужасные сайты интернета: образцы, примеры, оформление....
22 06 2025 2:41:12
Виктория Игнатьева опубликовала новый кейс по продвижению интернет-магазина детской одежды, обуви и товаров: ROMI (возврат маркетинговых инвестиций) 319%....
21 06 2025 14:52:55
Подробно о преимуществах и особенностях двух сервисов контекстной рекламы....
20 06 2025 7:57:15
Как найти и быстро исправить причины падения трафика? Совет номер один — не паниковать....
19 06 2025 2:37:13
Не стучитесь к Алексею на ФБ с предложением что-то придумать для бренда. У Ломоносова целый тред таких непрочитанных сообщений. Узнать больше....
18 06 2025 5:57:29
Анализ содержимого сайта показывает: Url разные, а контент страниц одинаковый. Думаете, ничего страшного? Но одинаковый контент может попасть под фильтры поисковых систем. Чтобы этого не произошло, надо знать, как избавляться от внутренних дублей...
17 06 2025 13:52:53
Как научиться продвигать мобильные приложения и заpaбатывать на этом....
16 06 2025 6:48:32
Бизнесу следует позаботиться о том, чтобы представить отзывы на всех площадках (как минимум на тех, которые есть на трех страницах выдачи), где только может искать информацию пользователь. Узнать больше!...
15 06 2025 18:27:27
5 кейсов отлично иллюстрируют правила юзабилити и находки веб-аналитиков....
14 06 2025 2:27:15
Какие типы кампаний и ключевых слов стоит первыми запускать в Google Рекламе? Советы новичкам...
13 06 2025 18:11:34
Как перенести сайт с http на https и сохранить трафик, потратив минимум времени....
12 06 2025 3:36:49
Обзор главных преимуществ, которые дают облачные академии бизнесу....
11 06 2025 5:31:59
Как без проблем пересылать данные в Google Покупки....
10 06 2025 17:34:52
Без понимания того, какие данные заложены в основу воронки продаж получается... — читайте в статье...
09 06 2025 15:54:24
Продвижение музыкальной библиотеки. Со старта сотрудничества, трафик и основной ключ сайта клиента вырос в 10 раз. Регион продвижения — США....
08 06 2025 7:11:53
Алексей Селезнев проанализировал 29 млн кликов, и в этой статье вы прочитаете, как дорого обходятся рекламодателям клики в Google Ads....
07 06 2025 11:21:59
Узнайте, подходят ли видеоролики для продвижения вашего бизнеса, и будет ли рентабельной видеореклама в YouTube...
06 06 2025 17:22:21
Участники бизнес-клуба netpeak получают бесплатные консультации по вопросам ведения контекстной рекламы в Google Ads...
05 06 2025 2:20:21
Первая часть иллюстрированного руководства, в котором мы взяли 20 самых важных фактора ранжирования представлены с краткими иллюстрированными примерами. В этом тексте вы найдете первые 10. Узнать больше!...
04 06 2025 23:26:32
Давайте больше не будем сливать бюджет, выбирая неправильный параметр....
03 06 2025 0:25:33
Еще организовали новую онлайн-конференцию, запустили опрос онлайн-покупателей, создали SEO-услугу для крупного бизнеса, рассказали, как вести В2С и В2В аккаунты в Instagram и ввели консультации SMM-специалистов....
02 06 2025 3:42:13
В 2019 году в цикл зрелости вошли 28 технологий и инструментов...
01 06 2025 13:34:58
Актуальный обзор особенностей работы онлайн-проектов в Казахстане...
31 05 2025 0:12:28
Как повысить результаты продаж в режиме цейтнота. Советы новому руководителю от специалистов Netpeak Group. Больше подробностей — в посте...
30 05 2025 12:50:55
Кейс о том, как написать большинству дилеров премиальных акустических систем в Европе и ничего не продать. И почему это кейс, а не антикейс....
29 05 2025 1:45:31
Комaнда Serpstat проанализировала стратегии продвижения лидеров ниши онлайн-образования. Читайте о главных инсайтах в посте....
28 05 2025 8:36:33
Грамотный контент важен для всех, но особенно — для аутсорсов и стартапов в B2B. Если вы согласны с этим, давайте делать медиа....
27 05 2025 4:27:35
Если вы до сих пор сомневаетесь — прекратите это и делитесь своим опытом с читателями, потенциальными клиентами, инвесторами и партнерами. Узнать больше!...
26 05 2025 11:53:16
По-настоящему работающих идей не так много, поэтому не стоит бояться творчески заимствовать лучшие наработки и адаптировать их....
25 05 2025 14:48:13
Почему дешевый копирайт не подходит для текстов карточки товара...
24 05 2025 20:41:49
Страховка, медицина, корпоративы, английский и оплата спортзала — знакомые плюшки IT-компаний. В этом материале читайте про редкие и необычные бонусы, которые предоставляются в некоторых IT-компаниях Украины....
23 05 2025 8:37:22
Как настроить эксперимент на сайте без сторонней помощи...
22 05 2025 18:44:13
FAQ (frequently asked questions), HowTo и Q&A (questions and answers)....
21 05 2025 18:38:11
Почти 4,5 млрд людей имеют аккаунты в соцсетях. Огромная и активная аудитория. Но как среди нее найти своего клиента? Поможет таргетированная реклама....
20 05 2025 6:21:43
Оставить заявку на горячей линии МОЗ — это только вершина айсберга. Необходимо провести опрос среди сотрудников компании. И не один. А ещё подготовить несколько помещений для вакцинации и отдыха. Узнать больше!...
19 05 2025 2:46:44
Проверяем, есть ли разница в ранжировании при наличии/отсутствии этих слов в метаданных. Эксперимент....
18 05 2025 0:47:57
Всё, что вы хотели знать о функциях вычисляемых полей, но боялись спросить....
17 05 2025 11:35:49
Открытие проверенных действий по увеличению продаж...
16 05 2025 16:50:56
Программа покорения онлайн мира мобайла — самому и с ограниченными средствами на маркетинг...
15 05 2025 6:32:18
Семинар с примерами юзабилити решений от Twitter, Airbnb, Amazon и других компаний....
14 05 2025 16:35:47
Недавно у нас появился свой генератор мемов :) Во многих компаниях смешные слова и фразы стараются запомнить и передать следующим поколениям сотрудников. В Netpeak же долго работали над секретным проектом и... Читайте!...
13 05 2025 8:40:59
79% владельцев смартфонов, если верить Google, используют их для покупок или заказов услуг. Это более двух миллиардов человек. Ничего удивительного, что даже Google запустил собственный сервис Call Tracking. Кому и зачем жизненно важно отслеживать звонки...
12 05 2025 17:22:54
Грамотно оформленные метатеги презентуют сайт, помогают пользователям быстро найти нужную информацию, а поисковым системам — повысить ресурс в выдаче...
11 05 2025 20:37:43
Рассказываем про телеграм-канал со-основателя Netpeak и чем он интересен для предпринимателей, руководителей и маркетологов....
10 05 2025 0:38:29
Магазин детской обуви: конкретные цифры в кейсе по продвижению....
09 05 2025 20:30:35
Время, потраченное на исправление ошибок, допущенных на этапе подготовки и создания сайта, убивает потенциал роста видимости ресурса....
08 05 2025 15:24:54
Какие типы звонков отслеживаются? Есть ли интеграция с Google ***ytics? Существуют ли в выбранном сервисе или на платформе инструменты интеграции с другими системами? Больше вопросов и ответов на них — в статье....
07 05 2025 5:10:56
Знакомство с реальным и потенциальным клиентом. Как создать доверительные отношения? Для этого понадобится сделать сегментацию аудитории и определить, кто ваш покупатель: от рода занятий, до его самых сокровенных страхов. Узнайте больше!...
06 05 2025 17:28:13
Сооснователь и главред Forbes Ukraine о вовлечении читателей в смысловое поле бизнеса...
05 05 2025 13:46:45
Как определить и повысить качество парсинга ключевых слов — лайфхак с применением Microsoft Excel....
04 05 2025 14:47:11
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::