Моя текущая задача — найти лучший способ загрузки миллионов документов в solr. Файл данных представляет собой экспорт из БД в формате csv.
В настоящее время я думаю о том, чтобы разбить файл на более мелкие файлы и создать сценарий для публикации этих более мелких файлов с помощью curl.
Я заметил, что если вы отправляете большое количество данных, большую часть времени запрос истекает.
Я изучаю импортер данных, и это кажется хорошим вариантом.
Любые другие идеи высоко ценятся
Спасибо
Если база данных уже не является частью вашего решения, я бы не усложнял его. Цитируя Часто задаваемые вопросы SOLR, это ваш контейнер сервлета, который выдает время ожидания сеанса.
Как я вижу, у вас есть несколько вариантов (в моем порядке предпочтения):
Увеличьте время ожидания контейнера. (параметр "maxIdleTime", если вы используете встроенный экземпляр Jetty).
Я предполагаю, что вы только изредка индексируете такие большие файлы? Временное увеличение тайм-аута может быть просто самым простым вариантом.
Вот простой скрипт unix, который выполнит эту работу (разделив файл на 500 000 строк):
split -d -l 500000 data.csv split_files.
for file in `ls split_files.*`
do
curl 'http://localhost:8983/solr/update/csv?fieldnames=id,name,category&commit=true' -H 'Content-type:text/plain; charset=utf-8' --data-binary @$file
done
Следующий groovy-скрипт использует opencsv и solrj для анализа CSV-файла и фиксации изменений в Solr каждые 500 000 строк.
import au.com.bytecode.opencsv.CSVReader
import org.apache.solr.client.solrj.SolrServer
import org.apache.solr.client.solrj.impl.CommonsHttpSolrServer
import org.apache.solr.common.SolrInputDocument
@Grapes([
@Grab(group='net.sf.opencsv', module='opencsv', version='2.3'),
@Grab(group='org.apache.solr', module='solr-solrj', version='3.5.0'),
@Grab(group='ch.qos.logback', module='logback-classic', version='1.0.0'),
])
SolrServer server = new CommonsHttpSolrServer("http://localhost:8983/solr/");
new File("data.csv").withReader { reader ->
CSVReader csv = new CSVReader(reader)
String[] result
Integer count = 1
Integer chunkSize = 500000
while (result = csv.readNext()) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", result[0])
doc.addField("name_s", result[1])
doc.addField("category_s", result[2])
server.add(doc)
if (count.mod(chunkSize) == 0) {
server.commit()
}
count++
}
server.commit()
}
В SOLR 4.0 (в настоящее время в бета-версии) файлы CSV из локального каталога можно импортировать напрямую с помощью UpdateHandler. Изменение примера из вики SOLR
curl http://localhost:8983/solr/update?stream.file=exampledocs/books.csv&stream.contentType=text/csv;charset=utf-8
И это передает файл из локального местоположения, поэтому нет необходимости разбивать его на части и отправлять через HTTP.
Приведенные выше ответы очень хорошо объяснили стратегии приема с одной машины.
Еще несколько вариантов, если у вас есть инфраструктура больших данных и вы хотите внедрить распределенный конвейер приема данных.
соединитель hive-solr, коннектор Spark-solr.
PS:
StandardDirectoryFactory.autoCommit и autoSoftCommit в файле solrconfig.xml.SolrServerException: нет доступных активных серверов SolrServer для обработки этого запроса
Определенно просто сначала загрузите их в обычную базу данных. Существуют всевозможные инструменты для работы с CSV (например, postgres' COPY), так что это должно быть легко. Использование обработчика импорта данных также довольно просто, поэтому кажется, что это самый простой способ загрузки ваши данные. Этот метод также будет быстрее, поскольку у вас не будет ненужных сетевых/HTTP-накладных расходов.
Справочное руководство говорит ConcurrentUpdateSolrServer может/должен использоваться для массовых обновлений.
Javadocs несколько неверны (v 3.6.2, v 4.7.0):
ConcurrentUpdateSollServer буферизует все добавленные документы и записывает их в открытые HTTP-соединения.
Он буферизуется не бесконечно, а до int queueSize, который является параметром конструктора.
