Клиентът ни качва файлове в GCS, но те са компресирани. Има ли някакъв начин, използвайки Java Dataflow SDK, в който можем да преминем през всички компресирани файлове, да разархивираме файла, да комбинираме всички получени .csv файлове в един файл и след това да направим само TextIO
трансформациите?
РЕДАКТИРАНЕ
За да отговорите на въпросите на jkffs,
- Ами всъщност не трябва да ги комбинирам всички в един файл, просто би било много по-лесно от гледна точка на четене.
- Те са ZIP файлове, а не GZ или BZ или нещо друго. Всеки ZIP съдържа множество файлове. Имената на файловете не са наистина значими и да, всъщност бих предпочел TextIO прозрачно да декомпресира и обединява всички файлове на базата на архив.
Надявам се това да помогне!