Формат потока Apache Storm

Я новичок в Apache Storm, но, конечно, знаю, что цель — обработка потоковых данных. Мой вопрос: каковы требования к «потоку», чтобы он мог обрабатываться Storm с помощью ростка? В моем случае у меня есть приложение, написанное на C++, которое я хочу расширить для генерации потоковых данных, которые можно прочитать из Storm. Но с чего мне начать, как мне создать интерфейс для моего приложения и как должен выглядеть поток?

Спасибо за вашу помощь


person HansHupe    schedule 19.02.2015    source источник


Ответы (1)


Как вы знаете, в Storm есть концепция spouts, которые считывают данные из какого-то источника и передают поток кортежей своим болтам. Носик может быть написан для чтения с чего угодно в любой форме, решать вам. В настоящее время существует официальная реализация для чтения с сервера Kafka, но вы можете написать что-то, что извлекает данные из базы данных, файла или сетевого подключения, если вы это реализуете.

Между носиком и болтами могут проходить данные в любой форме: базовые типы, строки, объекты, массивы байтов.

person Cyrille Ka    schedule 20.02.2015