Загрузите и обновите набор данных JSON из REST API с помощью настольного инструмента.

В настоящее время я запрашиваю WebTrends API для загрузки данных в Excel. Однако теперь я ищу более надежный метод/инструмент для получения данных в формате JSON/XML, а затем конвертировать их в CSV, чтобы использовать их в различных хранилищах данных и инструментах анализа.

Было бы неплохо, если бы инструмент мог автоматически обновлять ленту через регулярные промежутки времени, добавляя новые данные к существующим наборам данных.

О, это должно быть бесплатным / с открытым исходным кодом.

Мои исследования привели меня к инструментам ETL, таким как Talend, JaspersoftETL и CloverETL... и т. д. Но я изо всех сил пытаюсь определить, могут ли они выполнить эту работу и какая из них легче! Кто-нибудь знает, как выполнить вышеуказанную работу 1-бесплатно 2-легко 3-легко?

URL-адрес WebTrends API выглядит следующим образом: http://ws.webtrends.com/v2_1/ReportService/profiles/dnGpm8jbgl7/reports/1RxjilSo4n7/?totals=none&period=2017m02d27*26&format=json&suppress_error_codes=true

Спасибо,


csv xml json etl webtrends
person Sal    schedule 27.02.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Если вы умеете использовать Ruby, то Kiba ETL — это облегченное бесплатное решение OSS, которое вы можете использовать для этого. тип сценариев.

Обычно код будет выглядеть так:

source YourJSONHTTPDownloadSource, urls: [url_1, url_2]

transform do |row|
  # remap the fields as needed
  row
end

destination YourCSVDestination, filename: my_filename

И вы бы запускали его с помощью командной строки Kiba.

Вам нужно будет написать YourJSONHTTPDownloadSource (источник Kiba для извлечения данных из URL-адреса и получения каждого элемента JSON/XML) и YourCSVDestination (для получения более подробной информации об этом см. readme).

PS: предоставленный вами URL-адрес требует аутентификации, что означает, что мы ничего не видим.

person Thibaut Barrère    schedule 28.02.2017