Плюсы и минусы использования Lucidworks Fusion вместо обычного Solr

Прежде всего, я должен сообщить, что я являюсь менеджером по продукту Lucidworks Fusion.

Кажется, вы уже знаете, что Fusion работает с Solr (или одним или несколькими кластерами или экземплярами Solr), используя Solr для хранения данных и запросов. Цель Fusion - упростить использование Solr, интегрировать Solr и создавать сложные решения, использующие Solr. Некоторые из вещей, которые предоставляет Fusion, которые многие люди считают полезными для этого, включают:

• Коннекторы и рамка коннектора. Bare Solr дает вам хороший API и возможность помещать определенные типы файлов в командную строку. Fusion поставляется с несколькими предварительно созданными соединителями источников данных, которые извлекают данные из различных типов систем, обрабатывают их соответствующим образом (включая синтаксический анализ, преобразование и сопоставление полей) и отправляют результаты в Solr. Эти соединители включают в себя общие хранилища документов (облачные и локальные), реляционные базы данных, хранилища данных NoSQL, HDFS, корпоративные приложения и очень мощный и настраиваемый веб-сканер.
• Интеграция безопасности. Solr не имеет никакой аутентификации или авторизации (хотя, начиная с версии 5.2 на этой неделе, он имеет подключаемый API и базовую реализацию Kerberos для аутентификации). Fusion оборачивает API-интерфейсы Solr защищенной версией. Fusion имеет чистую интеграцию с LDAP, Active Directory и Kerberos для аутентификации. Он также имеет детализированную модель авторизации для управления и настройки Fusion и Solr. Кроме того, модель авторизации Fusion может автоматически связывать членство в группах из LDAP / AD со списками управления доступом из источников данных Fusion Connectors, чтобы при выполнении поисковых запросов вы получали управление доступом на уровне документа, отраженное из исходных систем.
• Модель обработки трубопроводов. Fusion предоставляет модель конвейера с модульными этапами (как в форме API, так и в форме графического интерфейса пользователя), чтобы упростить определение и редактирование преобразований данных и документов. Это аналог unix shell pipe. Например, при индексировании вы можете включать этапы для определения сопоставлений полей, вычисления новых полей, агрегирования документов, извлечения данных из других источников и т. Д. Перед записью в Solr. При запросе вы можете сделать то же самое, а также преобразовать запрос, запустить и вернуть результаты другой аналитики и применить фильтрацию безопасности.
• Графический интерфейс администратора. Fusion имеет веб-интерфейс для просмотра и настройки вышеуказанного (а также базовую конфигурацию Solr). Мы думаем, что это удобно для людей, которые хотят использовать Solr, но не используют его достаточно регулярно, чтобы помнить, как использовать API, файлы конфигурации и инструменты командной строки.
• Сложные функции на основе поиска. Используя описанную выше модель конвейеров, Fusion включает (и упрощает использование) несколько более богатых компонентов на основе поиска, в том числе: модули обработки естественного языка и извлечения сущностей; Регулировка релевантности на основе сигналов в реальном времени. Мы намерены предоставить больше таких в будущем.
• Обработка аналитики: Fusion включает и интегрирует Apache Spark для выполнения глубокой аналитики данных, хранящихся в Solr (или на пути к Solr). Хотя Solr неявно включает определенные возможности анализа данных, это не его основная цель. Мы используем Apache Spark для управления извлечением сигналов Fusion и настройкой релевантности и ожидаем предоставления API-интерфейсов, чтобы пользователи могли легко запускать там другую обработку.
• Прочее: много разных полезных функций, таких как: пользовательский интерфейс приборной панели; базовый интерфейс поиска с ручной настройкой релевантности; более легкий мониторинг; управление заданиями и планирование; оповещение в реальном времени с интеграцией электронной почты и многое другое.

Конечно, многое из вышеперечисленного можно построить или написать для Solr без Fusion, но мы думаем, что предоставление таких корпоративных интеграций будет полезно для многих.