Solr индексирует параллельно большую проблему

Существует проблема bis в параллельном обновлении solr и полной индексации.

Total Import syntax (working)
dataimport?command=full-import&commit=true&optimize=true 

Update syntax(working)
solr/update?softCommit=true' -H 'Content-type:application/json' -d '[{"id":"1870719","column":{"set":11}}]'

Проблема: если оба выполняются параллельно, то происходит черно-белая фиксация.

Пример: у меня есть 10 тыс. Всего индексов.... я запускаю запрос solr для обновления 1000 записей, а между ними запускаю общий импорт (полный индексатор).... что происходит, так это то, что между фиксацией происходит... т.е. до тех пор, пока не будет запущен общий индексатор, у меня будет ограниченное количество записей (1000).

Как это решить?


solr solr4
person chicharito    schedule 18.04.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Я столкнулся с аналогичной ситуацией с Solr и решил ее следующим образом:

А) Никогда не запускайте полную загрузку на действующем сайте. Выполняйте полную загрузку только в том случае, если индекс поврежден и его необходимо удалить и перестроить (с неработающим основным сайтом).

B) Если требуется «обновление», сделайте это в качестве фоновой задачи, т. е. потока (потоков), переиндексируя каждую запись по отдельности и удаляя любые новые добавленные документы (если это необходимо).

Скорость обработки больших томов можно значительно повысить с помощью многопоточного индексатора — см. http://wiki.apache.org/lucene-java/ImproveIndexingSpeed

person Bohemian♦    schedule 20.04.2014
comment
полная индексация не так дорога в моем случае. Так ты имеешь в виду, что у моей проблемы нет решения? - person chicharito; 23.04.2014
comment
дело не в расходах. Это вопрос поддержания всех документов в рабочем состоянии, пока они обновляются. Я не знаю, есть ли решение вашей проблемы как таковой. - person Bohemian♦; 23.04.2014