Как лучше всего импортировать данные Google Analytics в Azure Blob / Data Lake?

Я пытаюсь импортировать данные Google Analytics в хранилище BLOB-объектов Azure или Data Lake для анализа или создания отчетов. Но я не вижу коннектора Google Analytics в фабрике данных Azure.

Я вижу некоторые сторонние соединители, такие как CData, Xplenty, Stitchdata и т. Д., Но все они требуют оплаты. Я также пробовал Google Analytics API, но я не уверен, как использовать его для переноса данных в Azure, с моими ограниченными знаниями. Есть ли способ бесплатно перенести данные Google Analytics в Azure?


azure google-analytics azure-data-factory azure-storage-blobs
person Nathan W    schedule 30.08.2019    source источник

Ответы (6)


arrow_upward
1
arrow_downward

К сожалению, фабрика данных Azure не поддерживает коннектор Google Analytics.

Ссылка: поддерживаемые фабрикой данных Azure соединители.

Я предлагаю вам проголосовать за идею, представленную другим клиентом Azure.

https://feedback.azure.com/forums/270578-data-factory/suggestions/36151204-azure-data-factory-google-analytics-connector

Все отзывы, которые вы делитесь на этих форумах, будут отслеживаться и проверяться группами инженеров Microsoft, отвечающими за создание Azure.

person CHEEKATLAPRADEEP-MSFT    schedule 02.09.2019
comment
Спасибо за вашу помощь. Я проголосовал за это улучшение. - person Nathan W; 05.09.2019

arrow_upward
1
arrow_downward

Основываясь на моих исследованиях, вы можете использовать 2 способа переноса данных из данных Google Analytics в Azure Blob.

1. В этом случае как я могу импортировать данные Google Analytics в Google Cloud Platform? может передавать данные из Google Analytics в Google BigQuery. ADF поддерживает коннектор Google BigQuery.

введите описание изображения здесь

2. ADF поддерживает разъем REST. Вы можете обратиться к этому документу api: https://developers.google.com/analytics/devguides/reporting/core/v3/reference.

person Jay Gong    schedule 02.09.2019
comment
Спасибо за вашу помощь. Я считаю, что GA 360 стоит 150 тысяч в год. Использовать его просто для импорта данных в BigQuery, а затем в Azure - звучит непозволительно. Есть ли более дешевый способ сделать это? API, похоже, позволяет импортировать только существующие представления или данные отчета (представление или отчет, уже определенные в GA), а не все необработанные данные, это правильно? - person Nathan W; 05.09.2019

arrow_upward
0
arrow_downward

Надеюсь, я не опоздал с этим вопросом.

Я тоже изучал это и сузил свои варианты до следующего:

  1. Детализированные данные / данные на уровне попаданий с помощью Google BigQuery: с ноября 2019 года в фабрике данных Azure доступен соединитель. Чтобы использовать его, вам необходимо подключить Analytics 360 к BigQuery. Стоимость Analytics 360 составляет около 150 тыс. В год, что я не думаю, что это самый разумный вариант.

  2. Выборочные данные: вы можете написать сервис-воркера для получения данных (в реальном времени или иным образом) в Azure с помощью API отчетов версии 4 или API потоковой аналитики. Опять же, это выборочные данные, и я не думаю, что они принесут значительную пользу.

  3. Необработанные данные уровня детализации / попаданий с использованием маршрутизации событий: вы можете изменить код javascript Google Analytics, внедрив пользовательский javascript для маршрутизации данных уровня попаданий на ваш сервер. Этот пост описывает это более подробно. Получение необработанных данных Google Analytics

Я собираюсь поработать над этим и запечатлеть все на лазурном сервере с помощью лазурных рабочих и SQL Server на следующей неделе. Дайте мне знать, если я могу чем-нибудь помочь.

person eAlie    schedule 15.11.2019
comment
Не могли бы вы уточнить, какой вариант вы выбрали и сработал ли он. любые проблемы, возникающие с потоковой передачей / отчетностью v4 api. 150 тыс. В год - это подписка на GA 360. Есть ли отдельные расходы на перенос данных Google Analytics в Big Query? - person Amogh Antarkar; 27.04.2020

arrow_upward
0
arrow_downward

API отчетов Refer Core позволяет получить довольно много параметров и показателей. Фабрика данных имеет коннектор отдыха, который работает и для нумерации страниц, а также для OOB.

Еще один хороший вариант - использовать большой запрос между ними и использовать коннектор больших запросов фабрики данных.

Третий вариант - использовать метод обратного вызова GTM, чтобы передать уровень данных в API, который может прослушиваться одним из приложений-функций в Azure.

person Kuldip Joshi    schedule 03.05.2021

arrow_upward
0
arrow_downward

Я реализовал достаточно дешевое решение без G360. Это делается с помощью Диспетчера тегов Google, который дублирует обращения и отправки в Azure Event Hub, где вы затем можете использовать их, как хотите. Один из вариантов - сохранение файлов в хранилище больших двоичных объектов для последующего использования (с помощью захвата концентратора событий) или с заданием Azure Stream Analytics или даже, возможно, с функциями Azure.

Это было вдохновлено этим блогом, который продвигает снегоочиститель.

person totoro_dev    schedule 20.05.2021

arrow_upward
0
arrow_downward

Это очень широкий вопрос, и было предложено множество хороших решений. Однако только для обновления новая версия Google Analytics (GA4) предлагает бесплатную интеграцию данных с BigQuery. Оттуда его будет легко переместить в фабрику данных Azure.

person Simon Breton    schedule 24.05.2021