Перехватчик Flume morphline: для очистки данных

У меня есть простой структурированный ввод, поступающий в режиме реального времени. Но у него есть мусор и в значениях, например, где-то есть «@» или шестнадцатеричные символы.

Как я могу использовать перехватчик morphline flume для очистки данных?

Мой приемник здесь будет hbase.


person Gagan    schedule 15.03.2016    source источник


Ответы (1)


Похоже, вы можете использовать Morphline вместо канала для ваших требований. В общем, Morphline предлагает несколько основных функций для разбора и преобразования данных. Кроме того, вы можете создать свою собственную команду Morphline, а затем использовать свой собственный метод в конфигурации morphlines.

person Manos    schedule 07.06.2016