Совместная фильтрация — матричная факторизация против корреляции Пирсона

Совместная фильтрация с использованием корреляции Пирсона имеет несколько недостатков. Я перечислю несколько крупных:

• Масштабируемость
  По мере роста базы данных расчет корреляции Пирсона между пользователями будет занимать все больше времени. Поскольку вам нужно рассчитать корреляцию между каждым пользователем, она будет расти в геометрической прогрессии.

• Разреженность данных
  Это большая проблема для большинства систем рекомендаций. Если у вас много пользователей и много товаров с небольшим количеством отзывов, будет сложно генерировать рекомендации, так как у вас слишком мало данных для расчета корреляции между пользователями.

• Проблема холодного старта
  Технически, каждый метод страдает от этой проблемы, но матричная факторизация справляется с этим лучше, чем коллаборативный фильтр. Проблема холодного запуска в основном означает, что у вас нет или почти нет данных о пользователе. Вы не можете решить эту проблему, когда используете совместный фильтр. Точка.
  Вы можете использовать альтернативные методы, чтобы решить эту проблему, например фильтрацию на основе контента.

Определить, какой метод следует использовать, может быть сложно. Матричная факторизация превосходит традиционную совместную фильтрацию на основе пользователей и элементов, но вам нужно решить, подходит ли она лучше всего для вашей модели.
Если у вас нет разреженной базы данных, совместный фильтр будет работать хорошо, но не лучше. метод матричной факторизации.

Вот несколько интересных веб-сайтов, содержащих данные об этих методах. В конце концов, вам или вашей команде решать, какой метод работает лучше всего.

• Пример матричной факторизации: http://www.quuxlabs.com/blog/2010/09/matrix-factorization-a-simple-tutorial-and-implementation-in-python/

• Контент и совместная фильтрация: http://recommender-systems.org/

Не стесняйтесь спрашивать больше, если это было недостаточно ясно!