Интеграция R7K12 с Power BI¶

Для того, чтобы создавать понятные отчеты с обновлением в режиме реального времени, современному бизнесу необходим мощный сервис для обработки информации. Power BI — это набор средств бизнес-аналитики для анализа данных и предоставления ценной информации. Информационные панели Power BI — это единый центр с обновлением данных в режиме реального времени, доступный на всех устройствах, в котором бизнес-пользователи получают полное представление о наиболее важных метриках. Power BI может объединить все данные организации, как облачные, так и локальные. Используя шлюзы Power BI, вы можете подключить базы данных SQL Server, модели Analysis Services и многие другие источники данных к одним и тем же информационным панелям в Power BI. Power BI — достаточно мощная и при этом бесплатная BI платформа. Вы можете использовать такие версии программы:

Power BI Desktop предназначен для разработки модели данных и отчетов;
Power BI Service — онлайн-аналог, который специализируется на мониторинге и анализе готовых отчетов, поэтому возможности конструирования и работы с данными там очень ограничены.

Десктопная версия используется в качестве конструктора, затем разработанный файл публикуется в Power BI Service. Для дальнейшей работы скачайте Power BI Desktop по этой ссылке.

Интеграция R7K12 с Google BigQuery¶

Для создания панелей визуализаций Power BI на основе Ваших данных первым шагом требуется настроить интеграцию R7K12 с Google BigQuery. Подробная документация по настройке интеграции находится в отдельном документе, перейдите по этой ссылке. Только после выполнения этого шага можно приступать к следующему.

Как связать Google BigQuery и Microsoft Power BI с помощью R коннектора?¶

Google и Microsoft во многом конкурируют, поэтому, как правило, интеграции между их продуктами нет, и в ближайшем будущем не стоит ждать появления коннектора к Google BigQuery в программном интерфейсе Microsoft Power BI. Есть несколько вариантов решения этой проблемы, мы разберём загрузку данных из Google BigQuery в Microsoft Power BI с помощью R коннектора. С помощью языка R можно подгружать данные практически из любого источника, включая Google BigQuery.

Первое, что необходимо сделать, — скачать и установить последнюю версию R (если с последней версией возникли проблемы, установите версию R-3.3.0). При установке не требуется задавать какие-то дополнительные параметры или настройки, в связи с чем затруднений возникнуть не должно.
Установите пакет «bigrquery». Для этого перейдите в папку «C:\Program Files\R\R-3.3.0\bin» и запустите файл «R.exe». Далее откроется консоль для работы с R.

В консоли установите нужный пакет с помощью команды «install.packages("bigrquery")».

На диске C создайте папку «BQ_Integration», в ней мы будем сохранять учетные данные для доступа к API Google BigQuery.
Далее в консоли R с помощью команды «setwd("C:/BQ_Integration")» укажите, что созданную папку будем использовать в качестве рабочей директории. Если вы все сделали правильно, можете проверить установленную рабочую директорию с помощью команды «getwd()».

Теперь подключаем пакет «bigrquery», установленный ранее с помощью «library(bigrquery)».
Предоставьте доступ к данным BigQuery.
Для прохождения первой аутентификации запустите запрос к любой таблице BigQuery из консоли. Для этого воспользуйтесь следующим кодом (вместо XXXXXXX — навзание таблицы смотрите в интерфейсе BigQuery):


``` library(bigrquery)

setwd("C:/BQ_Integration")

projectID <- "XXXXXXX"

bqTable <- query_exec("SELECT * FROM

(TABLE_DATE_RANGE([XXXXXXX],TIMESTAMP('2017-10-01'),

DATE_ADD(CURRENT_TIMESTAMP(), -1, 'DAY')))", project = projectID) ``` |

Далее в консоли на вопрос «Use a local file .httr-oauth to cache OAuth access credentials between R sessions?» необходимо ответить «Yes».
Вас перенаправит в браузер для авторизации в Google. Выберите аккаунт Google и подтвердите разрешение на просмотр данных и управление ими в Google BigQuery, а также просмотр и изменение данных в сервисах Google облачной платформы.
Скопируйте код аутентификации, вставьте его в консоль и нажмите Enter.
После этого вы получите подтверждение в консоли, что аутентификация прошла удачно.
На этом этапе работа с консолью R завершена. Проверьте, в папке «BQ_Integration», созданной на шаге 4, должен появиться файл «.httr-oauth», который содержит Ваши учётные данные.

Интеграция коннектора с Power BI¶

Авторизация в Power BI. Чтобы зарегистрироваться в Power BI, необходим рабочий электронный адрес. Личный электронный адрес не подходит для службы Power BI. Power BI не поддерживает адреса, предоставляемые службами личной электронной почты или поставщиками телекоммуникационных услуг. К их числу относятся платформы outlook.com, hotmail.com, gmail.com и т. д. Чтобы зарегистрировать бесплатную учетную запись Power BI перейдите по этой ссылке. Введите адрес электронной почты. Если у Вас нет рабочей почты, можете зарегистрироваться под Яндекс почтой в формате: [email protected]. Далее заполните форму регистрации. Скачайте последнюю версию Power BI Desktop и выполните авторизацию в ней, используя созданную учетную запись. Скачать бесплатно последнюю версию Power BI Desktop можно по этой ссылке. Перейдите в интерфейс Power BI Desktop и нажмите кнопку получения данных. На вкладке “Файл” выберите“Options and settings”, затем “Options”. В окне настроек “Options” выберите “R scripting”. Укажите путь директории R коннектора, как показано на скрине ниже, и нажмите “OK”. Связь настроена, теперь нужно ее проверить. На вкладке “Home” выберите “Get Data”. В группе «Other» выберите коннектор «R script». Далее появится диалоговое окно выполнения сценария R. Подставьте в следующий код свои значения ID проекта, ID таблицы и введите его в диалоговое окно.


``` library(bigrquery)

setwd("C:/BQ_Integration")

projectID <- "XXXXXXX"

bqTable <- query_exec("SELECT * FROM

(TABLE_DATE_RANGE([XXXXXXX],TIMESTAMP('2017-10-01'),

DATE_ADD(CURRENT_TIMESTAMP(), -1, 'DAY')))", project = projectID) ``` |

Если R коннектор настроен верно, после нажатия кнопки «ОК» начнется процесс загрузки данных, затем появится окно «Навигатор» с загруженной таблицей и ее полями. После нажатия кнопки «Load», Вы сможете строить визуализацию Microsoft Power BI на основе загруженного набора данных.

Отчет Power BI - панели визуализаций¶

Визуализация Power BI создается на основе данных из наборов данных. Если вы хотите копнуть поглубже, Power BI дает возможность просмотреть данные, лежащие в основе визуального элемента. Если выбрать функцию “Показать данные”, Power BI отобразит рядом с визуализацией или под ней связанную информацию. При создании или редактировании отчета Power BI доступно множество различных визуальных элементов. Эти визуальные элементы отображаются в области Визуализации. Когда вы скачиваете Power BI Desktop или открываете службу Power BI (app.powerbi.com), этот предварительно упакованный набор визуальных элементов поставляется в комплекте. Но вам не обязательно использовать именно этот набор. Нажав кнопку с многоточием, можно открыть другой источник визуальных элементов для отчета: настраиваемые визуальные элементы. Сформировав набор данных, загруженных из Google BigQuery, Вам будут доступны множество встроенных элементов визуализации. Мы создали свою базовую панель визуализации — “Отчет BI Demo”. Вы можете скачать шаблон отчета по этой ссылке (о других подробных панелях визуализации данных, созданными нашими специалистами, можете прочесть ). Как выглядит шаблон отчета в Power BI Desktop: Теперь нужно загрузить Ваш набор данных в этот шаблон. В Power BI Desktop выберите вкладку “Home” и в панели настроек выбрать “Edit Queries”. Выберите слева “bqTable” и справа - настройки шага “Source”. Откроется окно, в которое нужно вставить запрос”. Подставьте в него свои значения ID проекта, ID таблицы и вставьте код в диалоговое окно.

library(bigrquery)
setwd("C:/BQ_Integration")
projectID <- "XXXXXXX"
bqTable <- query_exec("SELECT
host,
SUM(revenue) AS proceeds,
date,
SUM(application) AS appeals,
SUM(appeals) AS all_appeals,
SUM(costAttr) AS cost,
SUM(selling) AS sellings,
SUM(netProfit) AS net_profit,
SUM(sessions) AS sessions,
source,
source1,
source2,
source3
FROM
TABLE_DATE_RANGE([XXXXXXX],TIMESTAMP('2018-01-01'),CURRENT_TIMESTAMP())
GROUP BY
host,
date,
source,
source1,
source2,
source3
ORDER BY
date", project = projectID)

Для загрузки нажмите “ОК”. Данные из Google BigQuery будут загружены в Power BI. На вкладке “Отчет” Вы увидите показатели своих кампаний в визуальном представлении. Визуализации в Power BI интерактивны и понятны. Это дает возможность визуализировать данные компактно и удобно для анализа. Из некого хаоса чисел и букв данные превращаются в картинку, которая легче воспринимается и дает интуитивное ощущение, что необходимо предпринимать в данный момент. Нашей командой были созданы, помимо общей панели визуализаций, такие панели: по типам устройств, ошибкам 404, ошибкам JavaScript, странам и городам (ссылка для ознакомления).

Автообновление¶

Часто для принятия правильных решений крайне важно располагать актуальными данными. При импорте файла Power BI Desktop с локального диска данные вместе с другими сведениями о модели загружаются в набор данных в службе Power BI. В службе Power BI (не Power BI Desktop) требуется обновлять данные в наборе данных, так как именно на нем основаны ваши отчеты в службе Power BI. Так как источники данных являются внешними, вы можете вручную обновить набор данных с помощью функции Обновить сейчас или настроить расписание обновления с помощью соответствующей функции. При обновлении набора данных служба Power BI не подключается к файлу на локальном диске для запроса обновленных данных. Она использует данные в наборе данных для подключения непосредственно к источникам данных, чтобы получить обновленные данные, которые затем загружает в набор данных. Обновленные данные в наборе данных не синхронизируются с файлом на локальном диске. Также обновляются все визуализации в отчетах и информационных панелях, основанных на этом наборе данных в службе Power BI. Для дальнейшего шага скачайте шлюз по этой ссылке. Во время установки выберите “персональный шлюз”. Личный шлюз является 64-разрядным, поэтому, если ваш компьютер 32-разрядный, вы не сможете установить личный шлюз. Ваша операционная система должна быть 64-разрядной. Необходимо установить 64-разрядную версию ОС Windows или установить личный шлюз на 64-разрядном компьютере. Не удается установить личный шлюз в качестве службы, хотя вы являетесь администратором компьютера. Сбой установки может происходить, если пользователь принадлежит к локальной группе администраторов компьютера, однако групповая политика не позволяет конкретному пользователю выполнять вход в качестве службы.Перед установкой убедитесь, что групповая политика позволяет пользователю выполнять вход в качестве службы. Мы работаем над исправлением этой проблемы. Для установки On-premises data gateway требуется Microsoft.Net Framework. Если у Вас ранее не была установлена данная платформа, в процессе установки программа сама запросит разрешение на установку данной платформы, после — потребует перезагрузку компьютера. Перезагрузите компьютер и продолжите установку шлюза. После установки шлюза необходимо авторизоваться с помощью той же почты и пароля, что и для сервиса Power BI. После этого проверьте работу шлюза. Перейдите в сервис Power BI на вкладку “Моя рабочая область”, а затем “Наборы данных”. Напротив любого набора данных нажмите на троеточие (настройки) и выберите в контекстном меню “Параметры”. Нажмите “Подключение шлюза”. Вы увидите существующие у Вас шлюзы и их состояние. Если статус шлюза “ В сети”, то можно обновлять данные прямо из сервиса или настроить автообновление. Чтобы настроить обновление, в этом же окне нажмите на “Запланированное обновление”. Включите переключатель “Поддерживать актуальность данных”, выберите свой часовой пояс и время, в которое Вы хотите, чтобы обновлялись отчеты. Возможно понадобиться повторный вход в учетные данные источников данных. Нажмите “Изменить учетные данные”. Далее нажмите “Вход”. Автообновление настраивается для каждого набора данных в отдельности. Примечание. Чтобы автообновление исправно работало, необходимо, чтобы компьютер был включен в указанное время обновления!

Действия в случае возникновения проблем¶

Возникающие проблемы обычно вызваны тем, что Power BI не удается выполнить вход в источники данных либо набор данных подключается к локальному источнику данных, а шлюз находится вне сети. Убедитесь, что служба Power BI может выполнить вход в источники данных. Если изменяется пароль, который вы используете для входа в источник данных или Power BI выполняет выход из источника данных, не забудьте повторно войти в источники данных в разделе «Учетные данные источника данных». Иногда обновление данных может завершиться неправильно. Как правило, проблема связана со шлюзом. Перезайдите в программу шлюза и проверьте после этого его работу в сервисе.