как использовать apache storm для поиска последовательных временных рядов по данным датчиков?

Мы используем Apache Storm для предварительной обработки некоторых данных датчиков. Данные примерно такие.

Одним из наших требований является обнаружение последовательных временных рядов. например, у нас есть 4 данных, T1,T2,T3,T4, где T4-T3 больше 1 минуты, а разница между остальными меньше 1 минуты, мы считаем, что T1,T2,T3 является последовательным временем ряд, а Т4 — начало другого временного ряда.

наша топология выглядит следующим образом: носик -> болт кодека данных -> болт обнаружения временных рядов.

логика «блока кодека данных» довольно сложна, поэтому мы устанавливаем номер исполнителя равным 2. Проблема в том, что блок обнаружения временных рядов должен обрабатывать данные последовательно, но могут ли параллельные задачи «блок кодека» гарантировать это последовательность??

или мы должны реализовать это другими способами?


person Zhang Kan    schedule 26.05.2015    source источник


Ответы (1)


Да Storm гарантирует порядок следования в транзакционных топологиях. Чтобы процитировать ссылку: https://storm.apache.org/documentation/Transactional-topologies.html

Основная идея транзакционных топологий состоит в том, чтобы обеспечить строгое упорядочение обработки данных. Простейшим проявлением этого и первой схемой, которую мы рассмотрим, является обработка кортежей по одному, без перехода к следующему кортежу до тех пор, пока текущий кортеж не будет успешно обработан топологией.

person sahu    schedule 28.05.2015