Архивация фрагментированных данных в один файл для оптимизации загрузки из BLOB-объекта Azure.

У меня есть файлы изображений общим объемом ~ 50 ГБ, хранящиеся в большом двоичном объекте Azure. Средний размер файла составляет ~ 4 КБ. Я использую azcopy для загрузки их в свою локальную среду на основе Ubuntu.

С точки зрения производительности, загрузка этих файлов один за другим — чем сейчас занимается azcopy — вероятно, настолько медленна, насколько я могу это сделать. Есть ли лучшая стратегия?

В идеале я хочу иметь возможность архивировать файлы в один файл, а затем передавать его. Есть ли способ сделать это с помощью azcopy в Ubuntu?


person Hassan Baig    schedule 28.09.2017    source источник
comment
Почему бы просто не заархивировать его самостоятельно локально, а затем использовать AzCopy для загрузки созданного архива?   -  person Zhaoxing Lu    schedule 28.09.2017
comment
@ZhaoxingLu-Microsoft: ну, вопрос больше о downloading из большого двоичного объекта Azure. К тому времени, когда я положу его в архив в своей локальной системе, я уже столкнусь с полной тяжестью. Нет способа войти в своего рода терминал blob и выполнить архивирование?   -  person Hassan Baig    schedule 28.09.2017
comment
Нет, нет способа сделать это.   -  person Zhaoxing Lu    schedule 28.09.2017


Ответы (1)


Нет, нет способа сделать это. Не о реализации AzCopy, это связано с тем, что служба хранилища Azure не предоставляет такой API.

person Zhaoxing Lu    schedule 28.09.2017