Сегашната ми задача е да разбера най-добрия подход за зареждане на милиони документи в solr. Файлът с данни е експортиран от DB във формат csv.
В момента обмислям да разделя файла на по-малки файлове и да имам скрипт, докато публикувам тези по-малки с помощта на curl.
Забелязах, че ако публикувате голямо количество данни, през повечето време заявката изтича.
Разглеждам Data importer и изглежда като добър вариант
Всички други идеи са високо оценени
Благодаря
Освен ако база данни вече не е част от вашето решение, не бих добавил допълнителна сложност към вашето решение. Като цитирам ЧЗВ за SOLR, вашият сервлет контейнер издава времето за изчакване на сесията.
Както виждам, имате няколко опции (в моя ред на предпочитания):
Увеличете времето за изчакване на контейнера. (параметър "maxIdleTime", ако използвате вградения екземпляр на Jetty).
Предполагам, че само от време на време индексирате такива големи файлове? Временното увеличаване на времето за изчакване може да е най-лесният вариант.
Ето простия unix скрипт, който ще свърши работата (разделяйки файла на 500 000 реда):
split -d -l 500000 data.csv split_files.
for file in `ls split_files.*`
do
curl 'http://localhost:8983/solr/update/csv?fieldnames=id,name,category&commit=true' -H 'Content-type:text/plain; charset=utf-8' --data-binary @$file
done
Следният groovy скрипт използва opencsv и solrj, за да анализира CSV файла и да извърши промени в Solr на всеки 500 000 реда.
import au.com.bytecode.opencsv.CSVReader
import org.apache.solr.client.solrj.SolrServer
import org.apache.solr.client.solrj.impl.CommonsHttpSolrServer
import org.apache.solr.common.SolrInputDocument
@Grapes([
@Grab(group='net.sf.opencsv', module='opencsv', version='2.3'),
@Grab(group='org.apache.solr', module='solr-solrj', version='3.5.0'),
@Grab(group='ch.qos.logback', module='logback-classic', version='1.0.0'),
])
SolrServer server = new CommonsHttpSolrServer("http://localhost:8983/solr/");
new File("data.csv").withReader { reader ->
CSVReader csv = new CSVReader(reader)
String[] result
Integer count = 1
Integer chunkSize = 500000
while (result = csv.readNext()) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", result[0])
doc.addField("name_s", result[1])
doc.addField("category_s", result[2])
server.add(doc)
if (count.mod(chunkSize) == 0) {
server.commit()
}
count++
}
server.commit()
}
В SOLR 4.0 (понастоящем в BETA), CSV от локална директория могат да бъдат импортирани директно с помощта на UpdateHandler. Промяна на примера от SOLR Wiki
curl http://localhost:8983/solr/update?stream.file=exampledocs/books.csv&stream.contentType=text/csv;charset=utf-8
И това предава файла от локалното местоположение, така че няма нужда да го разделяте на парчета и да го POST чрез HTTP.
Отговорите по-горе обясниха наистина добре стратегиите за поглъщане от една машина.
Още няколко опции, ако разполагате с инфраструктура за големи данни и искате да внедрите тръбопровод за поглъщане на разпределени данни.
hive-solr конектор, spark-solr конектор.
PS:
StandardDirectoryFactory.autoCommit и autoSoftCommit конфигурацията във solrconfig.xml файл.SolrServerException: Няма налични живи SolrServers за обработка на тази заявка
Определено първо ги заредете в нормална база данни. Има всякакви инструменти за работа с CSV файлове (например postgres' COPY), така че трябва да е лесно. Използването на Data Import Handler също е доста просто, така че това изглежда като най-безпроблемния начин за зареждане вашите данни. Този метод също ще бъде по-бърз, тъй като няма да имате ненужни мрежови/HTTP разходи.
Справочното ръководство казва, че ConcurrentUpdateSolrServer може/трябва да се използва за групови актуализации.
Javadocs са донякъде неправилни (v 3.6.2, версия 4.7.0):
ConcurrentUpdateSolrServer буферира всички добавени документи и ги записва в отворени HTTP връзки.
Не буферира за неопределено време, а до int queueSize, което е параметър на конструктора.
