Сохранение выходных данных задачи пакетной службы Azure в хранилище Azure

Скажем, у меня есть несколько похожих задач, которые выполняются параллельно в пуле виртуальных машин пакетной службы Azure. Эти задачи подключаются к базе данных SQL и извлекают данные для отдельной таблицы с помощью sqlcmd. Затем вывод таблицы сжимается путем передачи его в 7zip.exe. Итак, командная строка похожа на (обратите внимание на "")

cmd / c sqlcmd -i. \ table.sql -S. -E -s "," -I -h -1 -W | "c: \ Program Files \ 7-Zip \ 7z.exe" a -tbzip2 -si "out.csv.bz2"

Уловка здесь в том, что обычно данные сохраняются в локальном хранилище каждой виртуальной машины в виде файла out.csv.bz2. Однако в пакетной службе Azure после завершения задач виртуальные машины, выделенные из пула, исчезают. Итак, мне нужен механизм для сбора всех этих файлов out.csv.bz2 в учетную запись хранения Azure (например, хранилище BLOB-объектов Azure или хранилище озера данных). Похоже, я не нашел в пакетной службе Azure механизма для перенаправления / сохранения вывода вместо локального хранилища виртуальных машин непосредственно в хранилище Azure для моих задач командной строки.

Кто-нибудь знает, как это сделать?


person YuGagarin    schedule 25.05.2017    source источник


Ответы (1)


Если вы находитесь в пуле VirtualMachineConfiguration, вы можете использовать OutputFile для отправки в большие двоичные объекты службы хранилища Azure. Эта функция пока недоступна в пулах CloudServiceConfiguration.

Для пулов CloudServiceConfiguration см. этот связанный вопрос.

person fpark    schedule 25.05.2017