Przejdź do treści

Integracja R7K12 z Google BigQuery

Google BigQuery to usługa chmurowa o najwyższej szybkości przetwarzania ogromnych zbiorów danych. Korzystając z niej, nie trzeba wynajmować serwera ani płacić za jego obsługę. Koszt BigQuery jest znacznie niższy niż koszt wynajmu najprostszego serwera. Usługa pozwala analizować duże ilości informacji bezpośrednio w chmurze, w odróżnieniu od innych podobnych systemów. Z BigQuery możesz przetwarzać terabajty danych w ciągu kilku sekund. Ta baza danych może przechowywać ogromną ilość danych. Oznacza to, że wszystkie twoje statystyki ze wszystkich źródeł (cały ruch w witrynie) z każdego dnia mogą być gromadzone, przechowywane w tej chmurze i wykorzystywane do analityki i wizualizacji. Kolejną zaletą jest prostota użytkowania. W każdym innym systemie zarządzania bazami danych (SZBD) oprócz znajomości SQL trzeba długo poznawać niuanse administrowania i ustawień bazy. W przypadku BigQuery całą część administracyjną przejęło Google. W tej usłudze nie ma żadnych ustawień, indeksów, silników tabel, limitów czasu ani kluczy obcych. Obsługiwane jest tylko jedno kodowanie — UTF-8. Do pracy z BigQuery wystarczy wiedzieć, jak załadować dane do BigQuery, i mieć podstawową znajomość SQL. Do czego i komu może się to przydać?

  1. Przede wszystkim jest to potrzebne w sytuacji, gdy Google Analytics analizuje nie wszystkie dane, a jedynie niewielką próbkę (która w niektórych przypadkach może stanowić nie więcej niż 1% wszystkich danych). Nie wolno opierać się na takich danych podczas analizy.
  2. Drugi oczywisty przypadek to sytuacja, gdy przekraczasz jakieś limity Google Analytics dotyczące zbierania danych, a Google Analytics ma ich dość dużo (https://developers.google.com/analytics/devguides/collection/ios/v3/limits-quotas?hl=ru#overview).
  3. Trzeci przypadek — gdy analityka jest prowadzona w zewnętrznym narzędziu, na przykład Microsoft Power BI itp.

Co jest potrzebne do integracji:

  1. Twoje konto BigQuery. Jeśli go nie masz — należy je utworzyć.
  2. Dostęp do R7K12. Logowanie przez twoje konto Google — jest to niezbędne ze względów bezpieczeństwa i w celu zapewnienia wysokiej jakości usługi.
  3. Ważne: konto używane do dostępu do Google BigQuery i do R7K12 musi być jednym i tym samym kontem.

Jak rozpocząć pracę w Google BigQuery?

Zaloguj się do Google Cloud Platform. Zaakceptuj warunki bezpłatnego okresu próbnego.

Następnie wprowadź dane płatnicze. Przy pierwszym uruchomieniu system zaproponuje aktywowanie bezpłatnego okresu próbnego i otrzymanie kredytu w wysokości $300 na 12 miesięcy.

Google prosi o dane płatnicze, aby upewnić się, że nie jesteś robotem. Opłaty nie będą pobierane, dopóki sam nie wykupisz płatnej subskrypcji. Znajdź u góry przycisk „Wybierz projekt” i kliknij go. Pojawi się okno wyboru zakresu.

Kliknij „Utwórz projekt”. Przejdź do sekcji płatności i powiąż konto płatnicze. Następnie wybierz i powiąż konto płatnicze dla swojego projektu. Teraz projekt jest powiązany z właśnie utworzonym kontem płatniczym. Kolejnym krokiem będzie włączenie BigQuery API. Na panelu sterowania kliknij „Produkty i usługi” (w lewym górnym rogu przycisk w postaci koła z trzema poziomymi liniami) i przejdź do „Interfejsy API i usługi”. Tutaj zobaczysz informacje o włączonych API. Jeśli nie masz włączonych interfejsów API i usług, należy je włączyć. Kliknij „+ Włącz interfejsy API i usługi”. Znajdź i wybierz spośród dostępnych bibliotek „BigQuery API”. Aby pracować w interfejsie Google BigQuery, należy włączyć „BigQuery API”.  Aby to zrobić — kliknij „Włącz”. Przejdziesz do menu tego API. Na tym etapie praca z Google Cloud Platform jest zakończona. Możesz zamknąć kartę.

Zarządzanie zbiorami danych w Google BigQuery

Przejdź do interfejsu Google BigQuery i utwórz Dataset (zbiór danych), do którego każdego dnia będą ładowane dane z R7K12. Struktura danych w Google BigQuery składa się z projektu ze zbiorem danych zawierającym tabele. Nazwa Dataset to nazwa kampanii (witryny) zapisana alfabetem łacińskim; może zawierać cyfry, a zamiast spacji — podkreślenie. W tym celu wybierz projekt (twój projekt), do którego będą ładowane dane. W polu Dataset ID należy podać nazwę zbioru danych — w przykładzie poniżej nazwaliśmy go „test1”. Gdy tworzysz zbiór danych w BigQuery, jego nazwa musi być unikalna w obrębie każdego projektu. Nazwa zbioru danych może:

  • zawierać do 1024 znaków;
  • zawierać litery (wielkie lub małe), cyfry i znaki podkreślenia.

Nazwy zbiorów danych nie mogą:

  • zaczynać się od cyfry ani podkreślenia;
  • zawierać spacji ani znaków specjalnych (na przykład &, @ lub%).

Konfigurujemy integrację w systemie R7K12

Zaloguj się do systemu analityki end-to-end R7K12 za pomocą konta Google, które ma dostęp zarówno do R7K12, jak i do Google BigQuery. Wybierz swój projekt. Na karcie „Integracje” wybierz „Utwórz” dla ustawienia integracji z Google BigQuery. Tworzenie połączenia z Google BigQuery:

  1. Wybierz używane konto Google BigQuery: kliknij „Wybierz konto”. W wyświetlonym oknie kliknij „Dodaj konto”, aby przejść autoryzację.

       2. Zaloguj się przez konto Google, którego wcześniej używano do utworzenia projektu w BigQuery.        3. Wybierz utworzony przez siebie projekt danych w polu „Wybierz projekt”.       4. W polu „Wybierz bazę danych” wybierz Dataset (zbiór danych), który został wcześniej utworzony w Google BigQuery. Wskaż datę, od której chcesz eksportować dane (data eksportu nie może być wcześniejsza niż data utworzenia projektu w R7K12). Następnie kliknij przełącznik „Przekazywanie danych analitycznych”.       5. Aby wyeksportować wszystkie dane projektu z R7K12 do Google BigQuery, należy utworzyć trzy integracje: dane o wizytach (sessions), dane o kosztach (cost), dane o transakcjach (deals). W polu prefiksu tabeli wpisujemy nazwę tabeli dla danych o wizytach, na przykład „sessions”. Wybieramy zbiór danych „Dane o wizytach” i klikamy przycisk „Utwórz”.       6. Utworzono połączenie z Google BigQuery. Następnie utworzona integracja pojawi się na liście podłączonych kont. Na liście podłączonych kont widać, z jakiego loginu utworzono połączenie oraz do jakiego projektu, zbioru danych i tabeli przekazywane są dane. Teraz należy wyeksportować dane o kosztach i transakcjach, jeśli chcesz widzieć dane na ich temat w Google BigQuery. W tym celu dwukrotnie powtórz kroki 1-5 (aby utworzyć zbiór danych o transakcjach i o kosztach). W kroku 5, wybierając określony zbiór danych, podawaj odpowiedni prefiks tabeli („sessions” lub „cost”). Ponieważ autoryzacja została już raz przeprowadzona, twoje konto będzie na liście dodanych — wystarczy je wybrać dla nowej integracji. Następnie na liście podłączonych kont powinny znajdować się trzy integracje dla tych zbiorów danych. Ich strukturę (schemat danych) można zobaczyć pod linkiem Struktura danych w Google BigQuery. W menu ustawień integracji, klikając przycisk z trzema kropkami, możesz wstrzymać przekazywanie danych, usunąć integrację, a także wyświetlić kolejkę. Aby zobaczyć status ładowania danych według dni, otwórz menu zarządzania integracją, klikając trzy kropki po prawej, a następnie wybierając „Kolejka”. Wyświetlane są tu szczegółowe informacje o statusie ładowania danych. Jeśli z jakiegoś powodu dane trzeba załadować ponownie — kliknij „Uruchom ponownie zadanie”. Przy poprawnej konfiguracji integracji dane będą codziennie ładowane do Google BigQuery do tabeli, do której skonfigurowano eksport. Dane są przechowywane w postaci tabel dziennych — do nazwy każdej tabeli (Table ID) dodawana jest data, jak pokazano na zrzucie ekranu. Przy prefiksie tabeli w nawiasie podawana jest liczba tabel dziennych, które się w niej znajdują. Oznacza to, że jedna duża tabela za określony okres składa się z mniejszych tabel, które zawierają dane tylko z jednego dnia.