Защо един речник използва толкова много RAM в Python

Моето предположение е, че имате няколко копия на вашия речник, съхранени едновременно в паметта (в различен формат). Като пример, редът:

tweets = map(json.loads, tweet_file) #creates a list of dictionaries (one per tweet)

Ще създаде ново копие (+400~1000MB, вкл. речник, режийни). Но вашият оригинал tweet_file остава в паметта. Защо толкова големи цифри? Е, ако работите с Unicode низове, всеки Unicode знак използва 2 или 4 байта в паметта. Докато във вашия файл, приемайки UTF-8 кодиране, повечето знаци използват само 1 байт. Ако работите с обикновени низове в Python 2, размерът на низа в паметта трябва да е почти същият като размера на диска. Така че ще трябва да намерите друго обяснение.

РЕДАКТИРАНЕ: Действителният брой байтове, заети от „знак“ в Python 2, може да варира. Ето някои примери:

>>> import sys
>>> sys.getsizeof("")
40
>>> sys.getsizeof("a")
41
>>> sys.getsizeof("ab")
42

Както виждате, изглежда, че всеки знак е кодиран като един байт. Но:

>>> sys.getsizeof("à")
42

Не е за "френски" знаци. И ...

>>> sys.getsizeof("世")
43
>>> sys.getsizeof("世界")
46

За японски имаме 3 байта на знак.

Горните резултати зависят от сайта -- и се обясняват с факта, че моята система използва "UTF-8" кодиране по подразбиране. „Размерът на низа“, изчислен малко по-горе, всъщност е „размерът на байтовия низ“, представляващ дадения текст.

Ако „json.load“ използва „unicode“ низове, резултатът е по някакъв начин различен:

>>> sys.getsizeof(u"")
52
>>> sys.getsizeof(u"a")
56
>>> sys.getsizeof(u"ab")
60
>>> sys.getsizeof(u"世")
56
>>> sys.getsizeof(u"世界")
60

В този случай, както можете да видите, всеки допълнителен знак добавя 4 допълнителни байта.

Може би файловият обект ще кешира някои данни? Ако искате да задействате изрично делаокиране на обект, опитайте да зададете препратката му към Няма:

tweets = map(json.loads, tweet_file) #creates a list of dictionaries (one per tweet)
[...]
tweet_file.close()
tweet_file = None

Когато вече няма никаква препратка към даден обект, Python ще го делокира -- и така ще освободи съответната памет (от купчината на Python -- не мисля, че паметта се връща към системата).

Написах бърз тестов скрипт, за да потвърдя вашите резултати...

import sys
import os
import json
import resource

def get_rss():
    return resource.getrusage(resource.RUSAGE_SELF).ru_maxrss * 1024

def getsizeof_r(obj):
    total = 0
    if isinstance(obj, list):
        for i in obj:
            total += getsizeof_r(i)
    elif isinstance(obj, dict):
        for k, v in obj.iteritems():
            total += getsizeof_r(k) + getsizeof_r(v)
    else:
        total += sys.getsizeof(obj)
    return total

def main():
    start_rss = get_rss()
    filename = 'foo'
    f = open(filename, 'r')
    l = map(json.loads, f)
    f.close()
    end_rss = get_rss()

    print 'File size is: %d' % os.path.getsize(filename)
    print 'Data size is: %d' % getsizeof_r(l)
    print 'RSS delta is: %d' % (end_rss - start_rss)

if __name__ == '__main__':
    main()

...който отпечатва...

File size is: 1060864
Data size is: 4313088
RSS delta is: 4722688

...така че получавам само четирикратно увеличение, което би било отчетено от факта, че всеки Unicode знак заема четири байта RAM.

Може би бихте могли да тествате вашия входен файл с този скрипт, тъй като не мога да обясня защо получавате осемкратно увеличение с вашия скрипт.

Обмисляли ли сте използването на паметта за ключовете? Ако имате много малки стойности в речника си, мястото за съхранение на ключовете може да доминира.