Агрегация и кэширование данных: как быстро отображать большие наборы данных временных рядов по интервалам

У меня есть огромный набор данных временных рядов, который я хотел бы построить на графике. Временной ряд охватывает 5 лет назад. С точки зрения серверной части, каковы общие подходы к отображению этих данных с различными разрешениями (интервалами)? По сути, я хотел бы отображать данные следующим образом:

https://bitcoinwisdom.com/markets/bitstamp/btcusd

Я хотел бы предложить пользователю возможность выбора временного интервала (секунды, минуты, часы, дни, месяцы, годы). Как эти данные обычно собираются и хранятся? Хотел бы я хранить таблицу для каждого временного интервала и предварительно вычислять эти данные? Я полагаю, что мне понадобится регулярно работающая работа, чтобы объединить все эти данные. Где кэширование вступает в игру? Как люди могли представить себе, что биткойнмудрость способна так быстро вспомнить исторические цены на биткойны для различных временных диапазонов? Я посмотрел на их серверную часть, и API для получения цен позволяет пользователю указывать интервалы. Как они так быстро вспоминают эти данные? Это должно быть предварительно вычислено и сохранено как-то.


person circuitry    schedule 21.07.2016    source источник
comment
Я хотел бы знать то же самое... :(   -  person TomRavn    schedule 08.07.2018