logstash Ввод мучительно медленный при получении сообщений из темы activemq

Я настроил вход JMS в logstash, чтобы подписаться на сообщения темы JMS и отправлять сообщения в эластичный поиск.

input {

  jms {
      id => "my_first_jms"
      yaml_file => "D:\softwares\logstash-6.4.0\config\jms-amq.yml"
      yaml_section => "dev"
      use_jms_timestamp => true
      pub_sub => true
      destination => "mytopic"
#     threads => 50
    }
}

filter {
    json{
      source => "message"
    }

}

output {
    stdout { codec => json }

    elasticsearch {
      hosts => ['http://localhost:9401']
      index => "jmsindex"
  }
}

Характеристики системы:

RAM: 16 GB
Type: 64 bit
Processor: Intel i5-4570T CPU @ 2.9 GHz

Это очень медленно. Нравится 1 сообщение каждые 3-4 минуты. Как мне отладить, чтобы выяснить, чего не хватает?

Примечание. До этого я делал это с @JMSListener в java, и это могло легко обрабатывать 200-300 записей в секунду.


person YetAnotherBot    schedule 27.01.2019    source источник
comment
Отправляются ли сообщения на mytopic быстрее, чем вы их получаете? Если да, то как вы подтвердили, что это так?   -  person Justin Bertram    schedule 28.01.2019
comment
Я нажимаю 5 записей каждую секунду. Подтверждено на странице localhost:8161/admin/topics.jsp в ACTIVEMQ.   -  person YetAnotherBot    schedule 29.01.2019
comment
Кроме того, если я использую очереди вместо темы, это очень быстро. У меня есть интуиция, что это должно что-то делать с медленными подтверждениями.   -  person YetAnotherBot    schedule 29.01.2019
comment
Но почему подтверждения сообщений будут работать по-разному между очередью и темой? Когда вы тестировали очередь, вы все еще выводили в elasticsearch?   -  person Justin Bertram    schedule 29.01.2019
comment
Я подумал, может быть, pub_sub внутри работает по-другому. Вот и все. Также при тестировании темы/очереди использовалась та же конфигурация. Только что закомментировал pub_sub.   -  person YetAnotherBot    schedule 30.01.2019
comment
Вы проверили, не находится ли проблема на стороне elasticsearch? Чтобы проверить это, я бы удалил вывод elasticsearch и посмотрел, как это работает.   -  person baudsp    schedule 31.01.2019
comment
Я удалил elasticsearch и попробовал null, а также file в выводе.   -  person YetAnotherBot    schedule 31.01.2019
comment
Если у вас такие же результаты, у меня нет другой идеи.   -  person baudsp    schedule 31.01.2019
comment
Хм. Спасибо за попытку.   -  person YetAnotherBot    schedule 31.01.2019