Logstash — данные из Kafka в ES

Использование logstash 5.0.0, использование источника kafka в качестве входных данных -> получение данных и создание вывода в Elasticsearch. (версия ElasticSearch 5.0.0)

Логсташ конфиг:

input{
kafka{
bootstrap_servers => "XXX.XXX.XX.XXX:9092","XXX.XXX.XX.XXX:9092","XXX.XXX.XX.XXX:9092"
topics => ["a-data","f-data","n-data"]
group_id => "sound"
auto_offset_reset => "earliest"
consumer_threads => 2
}
}
filter{
json{
source => "message"
}
}
output {
elasticsearch {
hosts => [ "XXX.XXX.XX.XXX:9200" ]
}
}

Когда я запускаю приведенную ниже конфигурацию, я получаю следующую ошибку.

$ ./logstash -f sound.conf
Sending Logstash logs to /logstash-5.0.0/logs which is now configured vi   a log4j2.properties.
[2017-01-17T10:53:29,273][ERROR][logstash.agent           ] fetched an invalid c   onfig {:config=>"input{\nkafka{\nbootstrap_servers => \"XX.XXX.XXX.XX:9092\",\"XXX.XXX.XX.XXX:9092\",\"XXX.XXX.XX.XXX:9092\"\ntopics => [\"a-data\",\"f-data\   ",\"n-data\"]\ngroup_id => \"sound\"\nauto_offset_reset => \"earliest\"\nc   onsumer_threads => 2\n}\n}\nfilter{\njson{\nsource => \"message\"\n}\n}\noutput    {\nelasticsearch {\nhosts => [ \"XX.XX.XXX.XX:9200\" ]\n}\n}\n\n", :reason=>"Ex   pected one of #, {, } at line 3, column 40 (byte 54) after input{\nkafka{\nboots   trap_servers => \"XX.XX.XXX.XX:9092\""}

Может ли кто-нибудь помочь мне с этой конфигурацией.


logstash logstash-configuration elasticsearch-5
person Soundarya Thiagarajan    schedule 17.01.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Разве ваш topic не должен быть topics, который представляет собой массив, куда вы вставили значения в виде хэша:

topics => ["a-data","f-data","n-data"] <-- try changing this line
person Kulasangar    schedule 17.01.2017
comment
В вашем вводе kafka я не вижу, чтобы последние три синопсиса были включены в 5.0 версия. - person Kulasangar; 17.01.2017
comment
Darth_Vader - Я тебя не понимаю. последние три синопсиса? - person Soundarya Thiagarajan; 17.01.2017
comment
Я имею в виду эти три: group_id => звук auto_offset_reset => самый ранний потребитель_потоков => 2 - person Kulasangar; 17.01.2017
comment
Я исключил эти три строки и тоже попробовал. не работал - person Soundarya Thiagarajan; 18.01.2017
comment
Можете ли вы помочь мне с этим. Я попытался удалить group_id => sound auto_offset_reset => Early Consumer_threads => 2 .. но, похоже, не работает. кто-нибудь может помочь? - person Soundarya Thiagarajan; 18.01.2017