Към съдържанието

Интеграция на R7K12 с Google BigQuery

Google BigQuery е облачна услуга с изключително висока скорост на обработка на огромни масиви от данни. При използването ѝ няма да се налага да наемате сървър и да плащате за поддръжка. Цената на BigQuery е значително по-ниска от цената за наем на най-елементарния сървър. За разлика от други подобни системи, услугата позволява да се анализират големи обеми информация направо в облака. С BigQuery ще можете да обработвате терабайти данни за броени секунди. Тази база данни може да съхранява огромно количество данни. Това означава, че цялата Ви статистика от всички източници (целият трафик на сайта) за всеки ден може да се натрупва, да се съхранява в този облак и да се използва за анализ и визуализации. Следващото предимство е лесното използване. Във всяка друга система за управление на бази данни (СУБД) освен познаването на SQL ще трябва дълго да се разбирате с тънкостите на администрирането и настройките на базата. При BigQuery Google е поел цялата административна част. В тази услуга няма никакви настройки, индекси, механизми за таблици, тайм-аути или външни ключове. Реализирана е поддръжка само на едно кодиране – UTF-8. За работа с BigQuery е достатъчно да знаете как да заредите данни в BigQuery и да имате базови познания по SQL. За какво и на кого може да е необходимо това?

  1. На първо място това е нужно в случаите, когато Google Analytics анализира не всички данни, а само малка извадка (която в някои случаи може да бъде не повече от 1% от всички данни). Анализът не бива да се основава на такива данни.
  2. Вторият очевиден случай е, когато превишавате някои от лимитите на Google Analytics за събиране на данни, а те при Google Analytics са доста много (https://developers.google.com/analytics/devguides/collection/ios/v3/limits-quotas?hl=ru#overview).
  3. Третият случай е, когато анализът се извършва в инструмент на трета страна, например Microsoft Power BI и т.н.

Какво Ви е нужно за интеграцията:

  1. Ваш акаунт в BigQuery. Ако нямате такъв – трябва да го създадете.
  2. Достъп до R7K12. Вход през Вашия акаунт в Google – това е необходимо за сигурността и за предоставянето на качествена услуга.
  3. Важно: акаунтът за достъп до Google BigQuery и до R7K12 трябва да бъде един и същ.

Как да започнете работа в Google BigQuery?

Влезте в Google Cloud Platform. Приемете условията на безплатния пробен период.

След това въведете платежните данни. При първото стартиране системата ще предложи да активирате безплатния пробен период и да получите кредит от $300 за 12 месеца.

Google изисква платежните данни, за да се увери, че не сте робот. Плащането няма да започне да се таксува, докато сами не оформите платен абонамент. Намерете горе бутона „Избор на проект“ и го натиснете. Ще се появи прозорец за избор на обхват.

Натиснете „Създаване на проект“. Отидете в раздела за плащания и свържете платежен акаунт. След това изберете и свържете платежен акаунт за своя проект. Сега проектът е свързан с току-що създадения платежен акаунт. Следващата стъпка е свързването на BigQuery API. В контролния панел натиснете „Продукти и услуги“ (бутонът в горния ляв ъгъл във вид на кръг с три хоризонтални линии) и отидете в „API и услуги“. Тук ще видите информация за свързаните API. Ако нямате активирани API и услуги, трябва да ги свържете. Натиснете „+ Активиране на API и услуги“. Намерете и изберете от предложените библиотеки „BigQuery API“. За работа в интерфейса на Google BigQuery трябва да активирате „BigQuery API“. За да направите това – натиснете „Активиране“. Ще преминете към менюто на този API. На този етап работата с Google Cloud Platform приключва. Можете да затворите раздела.

Управление на наборите от данни в Google BigQuery

Отворете интерфейса на Google BigQuery и създайте Dataset (набор от данни), в който всеки ден ще се зареждат данни от R7K12. Структурата на данните в Google BigQuery се състои от проект с набор от данни, съдържащ таблици. Името на Dataset е името на кампанията (сайта) на латиница, може да съдържа цифри, а вместо интервал – долна черта. За целта изберете проекта (Вашия проект), в който ще се зареждат данните. В полето Dataset ID трябва да зададете името на набора от данни – в примера по-долу сме го нарекли „test1“. Когато създавате набор от данни в BigQuery, името на набора от данни трябва да бъде уникално за всеки проект. Името на набора от данни може:

  • да съдържа до 1024 знака;
  • да съдържа букви (главни или малки), цифри и долни черти.

Имената на наборите от данни не могат:

  • да започват с цифра или долна черта;
  • да съдържат интервали или специални символи (например &, @ или%).

Настройваме интеграцията в системата R7K12

Влезте в системата за цялостна аналитика R7K12 с акаунт в Google, който има достъп и до R7K12, и до Google BigQuery. Изберете своя проект. В раздела „Интеграция“ изберете „Създай“ за настройка на интеграция с Google BigQuery. Създаване на връзка с Google BigQuery:

  1. Изберете използвания акаунт в Google BigQuery: натискаме „Избери акаунт“. В появилия се прозорец натискаме „Добави акаунт“, за да преминем през упълномощаването.

       2. Влезте с акаунта в Google, който по-рано сте използвали за създаването на проекта в BigQuery.        3. Изберете създадения от Вас проект с данни в полето „Изберете проект“.       4. В полето „Изберете база данни“ изберете Dataset (набор от данни), който сте създали по-рано в Google BigQuery. Посочете датата, от която искате да изтеглите данните (датата на изтегляне не трябва да е по-ранна от датата на създаване на проекта в R7K12). След това натиснете превключвателя „Предаване на данни от аналитиката“.       5. За да изтеглите всички данни по проекта от R7K12 в Google BigQuery, трябва да създадете три интеграции: данни за посещенията (sessions), данни за разходите (cost), данни за сделките (deals). В полето за префикс на таблицата въвеждаме името на таблицата за данните за посещенията, например „sessions“. Избираме набора от данни „Данни за посещенията“ и натискаме бутона „Създай“.       6. Създадохте връзка с Google BigQuery. След това създадената интеграция ще се появи в списъка със свързани акаунти. В списъка със свързани акаунти се вижда под кой потребител е създадена връзката и в кой проект, набор от данни и таблица се предават данните. Сега трябва да изтеглите данните за разходите и сделките, ако искате да виждате данни за тях в Google BigQuery. За целта повторете два пъти точки 1-5 (за създаване на набор от данни за сделките и за разходите). Като в точка 5, избирайки определен набор от данни, посочвайте съответния префикс на таблицата („sessions“ или „cost“). Тъй като веднъж вече сте преминали упълномощаване, акаунтът Ви ще бъде в списъка с добавените – ще трябва само да го изберете за новата интеграция. След това в списъка със свързани акаунти трябва да имате три интеграции за тези набори от данни. Можете да разгледате тяхната структура (схема на данните) на линка Структура на данните в Google BigQuery. В менюто с настройки на интеграциите, като натиснете бутона с три точки, можете временно да спрете предаването на данни, да изтриете интеграцията, както и да прегледате опашката. За да видите статуса на зареждане на данните по дни, отворете менюто за управление на интеграцията, като натиснете трите точки вдясно, след което изберете „Опашка“. Тук се извежда подробна информация за статуса на зареждане на данните. Ако по някаква причина данните трябва да се презаредят – натиснете „Рестартирай задачата“. При правилна настройка на интеграцията данните ще се зареждат в Google BigQuery всеки ден в таблицата, в която сте настроили изтеглянето. Данните се съхраняват като таблици по дни – към името на всяка таблица (Table ID) се добавя дата, както е показано на екранната снимка. Към префикса на таблицата в скоби се изписва броят на таблиците по дни, които тя съдържа. Получава се така, че една голяма таблица за определен период се състои от по-малки таблици, които съдържат данни само за един ден.