Как Python хранит дату и время внутри?

Я нашел _datetimemodule.c, который кажется правильным файлом , но мне нужна небольшая помощь, так как C не моя сила.

>>> import datetime
>>> import sys
>>> d = datetime.datetime.now()
>>> sys.getsizeof(d)
48
>>> d = datetime.datetime(2018, 12, 31, 23, 59, 59, 123)
>>> sys.getsizeof(d)
48

Таким образом, объект datetime без учета часового пояса требует 48 байтов. Глядя на PyDateTime_DateTimeType, кажется, что это PyDateTime_DateType и PyDateTime_TimeType. Может еще и _PyDateTime_BaseTime?

Глядя на код, у меня сложилось впечатление, что для каждого поля в YYYY-mm-dd HH:MM:ss хранится один компонент, что означает:

  • Год: напр. int (например, int16_t будет 16-битным)
  • Месяц: например, int8_t
  • день: напр. int8_t
  • Час: напр. int8_t
  • Минута: напр. int8_t
  • Второй: напр. int8_t
  • Микросекунда: например. uint16_t

Но это будет 2 * 16 + 5 * 8 = 72 бит = 9 байт, а не 48 байт, как мне говорит Python.

В чем мое предположение о внутренней структуре datetime неверно? Как я могу увидеть это в коде?

(Я предполагаю, что это может отличаться в разных реализациях Python — если да, сосредоточьтесь на cPython)


python c datetime memory cpython
person Martin Thoma    schedule 16.09.2018    source источник
comment
Имейте в виду, что print(sys.getsizeof(d.year)) ; print(sys.getsizeof(d.month)) ; print(sys.getsizeof(d.day)) ; print(sys.getsizeof(d.hour)) ; print(sys.getsizeof(d.minute)) ; print(sys.getsizeof(d.second)) ; print(sys.getsizeof(d.microsecond)) печатает 28 семь раз, а 28 * 7 равно 196.   -  person DeepSpace    schedule 16.09.2018
comment
обратите внимание, что вы считаете биты (2 int16_ts = 2*16), а не байты (int16_t = 2 байта). побайтно, это 10 байт. но объекты python имеют накладные расходы, а минимальный размер составляет не менее 28 байт, иногда больше, в зависимости от объекта. Я не сделал столько исследований там, хотя.   -  person Corley Brigman    schedule 16.09.2018

Ответы (1)


arrow_upward
7
arrow_downward

Вы упускаете ключевую часть картины: фактические определения структуры даты и времени, которые лежат в Include/datetime.h. Там же есть важные комментарии. Вот некоторые ключевые выдержки:

/* Fields are packed into successive bytes, each viewed as unsigned and
 * big-endian, unless otherwise noted:
 *
 * byte offset
 *  0           year     2 bytes, 1-9999
 *  2           month    1 byte, 1-12
 *  3           day      1 byte, 1-31
 *  4           hour     1 byte, 0-23
 *  5           minute   1 byte, 0-59
 *  6           second   1 byte, 0-59
 *  7           usecond  3 bytes, 0-999999
 * 10
 */

...

/* # of bytes for year, month, day, hour, minute, second, and usecond. */
#define _PyDateTime_DATETIME_DATASIZE 10

...

/* The datetime and time types have hashcodes, and an optional tzinfo member,
 * present if and only if hastzinfo is true.
 */
#define _PyTZINFO_HEAD          \
    PyObject_HEAD               \
    Py_hash_t hashcode;         \
    char hastzinfo;             /* boolean flag */

...

/* All datetime objects are of PyDateTime_DateTimeType, but that can be
 * allocated in two ways too, just like for time objects above.  In addition,
 * the plain date type is a base class for datetime, so it must also have
 * a hastzinfo member (although it's unused there).
 */

...

#define _PyDateTime_DATETIMEHEAD        \
    _PyTZINFO_HEAD                      \
    unsigned char data[_PyDateTime_DATETIME_DATASIZE];

typedef struct
{
    _PyDateTime_DATETIMEHEAD
} _PyDateTime_BaseDateTime;     /* hastzinfo false */

typedef struct
{
    _PyDateTime_DATETIMEHEAD
    unsigned char fold;
    PyObject *tzinfo;
} PyDateTime_DateTime;          /* hastzinfo true */

Количество 48 байт, которое вы видите, разбивается следующим образом:

  • 8-байтовый счетчик ссылок
  • 8-байтовый указатель типа
  • 8-байтовый кешированный хеш
  • 1-байтовый флаг "hastzinfo"
  • 7-байтовое заполнение
  • 10-байтовый вручную упакованный char[10], содержащий данные даты и времени
  • 6-байтовое заполнение

Это, конечно, все детали реализации. Это может отличаться в другой реализации Python, или в другой версии CPython, или в 32-разрядной сборке CPython, или в отладочной сборке CPython (в PyObject_HEAD есть дополнительные данные, когда CPython скомпилирован с Py_TRACE_REFS).

person user2357112 supports Monica    schedule 16.09.2018
comment
Может usecond: 3 byte опечатка? Какой тип имеет 3 байта? Я видел только некоторые с 2 и некоторые с 4 байтами. - person Martin Thoma; 16.09.2018
comment
@MartinThoma: байты данных даты и времени вручную упаковываются в char[10], поэтому не обязательно иметь 3-байтовый тип. - person user2357112 supports Monica; 17.09.2018