Как экспортировать огромную таблицу из базы данных SQL Azure в CSV с помощью приложений логики

Я работаю над доказательством концепции Azure Logic Apps. У меня есть таблица с 70 столбцами и 10 миллионами строк. Я использую Logic Apps для экспорта данных и загрузки на FTP.

Процесс работает с небольшим набором данных (3000 строк); однако процесс не выполняется для всей таблицы.

Я получаю сообщение об ошибке ниже:

BadRequest. Запрос HTTP не удался из-за ошибки: «Невозможно записать в буфер больше байтов, чем настроенный максимальный размер буфера: 104857600».

Шаги приложения логики:

  1. Повторение
  2. Оператор SELECT - сбой
  3. Создать таблицу CSV
  4. Загрузить на FTP

Пожалуйста, порекомендуйте. Я мог бы использовать хранимую процедуру и разбить ее на 5000 строк, но я не уверен, как реализовать ее в приложениях логики.


person BI Dude    schedule 26.10.2018    source источник
comment
ваш файл больше загорелого 50 МБ в конце? Может быть, вы можете запустить запуск фабрики данных, который будет экспортировать в CSV в хранилище BLOB-объектов, а затем загружать в ftp?   -  person Thomas    schedule 28.10.2018


Ответы (1)


На основе в этой документации есть файл с ограничением размера сообщения HTTP 100 МБ и размером файла 50 МБ при обработке файлов FTP. Вы можете использовать разбиение на части для обхода этих ограничений, если разъем поддерживает это.

person Alberto Morillo    schedule 26.10.2018