Как да определите Content-Length на gzipped файл в Python?

По принцип не е възможно окончателно да се определи размерът на некомпресираните данни в gzip файл, без да се декомпресира. Не е необходимо да разполагате с място за съхранение на некомпресираните данни - можете да ги изхвърлите, докато вървите. Но трябва да декомпресирате всичко.

Ако контролирате източника на gzip файла и можете да се уверите, че а) няма свързани членове в gzip файла, б) некомпресираните данни са с дължина под 4 GB и в) няма излишни боклуци в края на gzip файла, тогава и само тогава можете да прочетете последните четири байта на gzip файла, за да получите цяло число с малък ред, което има дължината на некомпресираните данни.

Вижте този отговор за повече подробности .

Ето код на Python за четене на gzip файл и отпечатване на некомпресираната дължина, без да се налага да съхранявате или запазвате некомпресираните данни. Ограничава използването на паметта до малки буфери. Това изисква Python 3.3 или по-нова версия:

#!/usr/local/bin/python3.4
import sys
import zlib
import warnings
f = open(sys.argv[1], "rb")
total = 0
buf = f.read(1024)
while True:             # loop through concatenated gzip streams
    z = zlib.decompressobj(15+16)
    while True:         # loop through one gzip stream
        while True:     # go through all output from one input buffer
            total += len(z.decompress(buf, 4096))
            buf = z.unconsumed_tail
            if buf == b"":
                break
        if z.eof:
            break       # end of a gzip stream found
        buf = f.read(1024)
        if buf == b"":
            warnings.warn("incomplete gzip stream")
            break
    buf = z.unused_data
    z = None
    if buf == b"":
        buf == f.read(1024)
        if buf == b"":
            break
print(total)

За съжаление gzip модул на Python 2.x изглежда не поддържа никакъв начин за определяне на размера на некомпресирания файл.

Въпреки това gzip съхранява размера на некомпресирания файл като 32-битово цяло число без знак с малък порядък в самия край на файла: http://www.abeel.be/content/determine-uncompressed-size-gzip-файл

За съжаление, това работи само за файлове с размер ‹4gb поради използването само на 32-битово цяло число във формат gzip; вижте ръководството.

import os
import struct

with open(data_file,"rb") as f:
    f.seek(-4, os.SEEK_END)
    size, = struct.unpack("<I", f.read(4))
    print size

За да омекотя, трябва да отворя огромни компресирани файлове (> 4 GB), така че техниката на Дан няма да работи и искам дължината (броя на редовете) на файла, така че техниката на Марк Адлер не е подходяща.

В крайна сметка открих решение за некомпресирани файлове (не е най-оптимизираното, но работи!), което може лесно да се транспонира в компресирани файлове:

size = 0

with gzip.open(data_file) as f:
  for line in f:
    size+= 1
    pass

return size

Благодаря на всички, хората в този форум са много ефективни!