Дополнительный горячий кеш за счет отключения политики времени приема

Я включил политику времени приема для своей таблицы, а затем сохраняю последние данные за 1 день для таблицы в горячем кеше. Я пытаюсь оценить, сколько дополнительного кеша я могу получить для фактических данных, если отключу политику времени приема. Итак, в основном я могу представить, что, поскольку политика времени приема включена, для каждой строки у меня есть дополнительное значение столбца ingestion_time, которое имеет тип datetime. Итак, если это занимает N байтов для хранения одного значения datetime, то, если у меня есть X строк в горячем кеше, я трачу свой кеш на X * N байтов, которые в противном случае могли бы использоваться некоторыми дополнительными фактическими данными (с учетом использования приема данных уже более 100%) Итак, я пытаюсь оценить, сколько кеша я трачу впустую, включив политику времени приема.


azure-data-explorer
person Dhiraj    schedule 25.04.2020    source источник

Ответы (1)


arrow_upward
2
arrow_downward

a. Я бы не стал называть это "тратой"

  • Если вы не используете ingestion_time() ни в одном из ваших запросов. в этом случае вы можете решить, что хотите отключить политику, которая включена по умолчанию. (Хотя вы можете передумать позже, когда вам это действительно нужно, и пожалеть об этом решении)

b. Чтобы получить оценку размеров (т. е. использования дискового кеша), вы можете запустить .show table TABLENAME, чтобы просмотреть статистику (включая исходные / сжатые / индексные размеры) для каждого столбца.

  • Внимание! это не легкая команда, поэтому не запускайте ее слишком часто.
  • Взгляните на столбец с типом datetime, значения которого близки по времени к моменту, когда данные принимаются в качестве ссылки - так, чтобы он напоминал содержимое ingestion_time(). Вы можете сравнить это с другими столбцами в таблице.
  • Фактический размер на диске ExtentSize.

c. Помните, что Kusto / ADX - это (в основном, за исключением RowStore, используемого при потоковой передаче) технология хранения столбцов - данные хранятся в столбцах, а не в строках (как следует из исходного вопроса). Вы можете узнать больше о технологии в его техническом документе < / а>.

person Yoni    schedule 25.04.2020