Отзыв, отзыв rate@k и точность в топ-k рекомендации

По словам авторов в 1, 2 и 3, Отзыв – это процент релевантных элементов, выбранных из всех соответствующих элементов в репозитории, а Точность — это процент релевантных элементов от тех элементов, которые были выбраны запросом.

Таким образом, если пользователь U получает список из первых k рекомендуемых элементов, он будет выглядеть примерно так:

Отзыв= (Relevant_Items_Recommended in top-k) / (Relevant_Items)

Точность= (Relevant_Items_Recommended в топ-k) / (k_Items_Recommended)

До этой части все понятно, но я не понимаю разницы между ними и Recall rate@k. Какой должна быть формула для вычисления коэффициента отзыва@k?


precision-recall recommendation-engine evaluation
person Luisa Hernández    schedule 13.11.2015    source источник
comment
Вы напрямую ставите @K при расчете простой точности и отзыва для прогнозирования рейтинга, что может сбить с толку. Правило простое - если Вы пытаетесь измерить только РЕЙТИНГОВЫЙ прогноз - используйте простую точность и полноту для всего рекомендуемого результата. Если Вас интересует прогноз измерения РЕЙТИНГА, то Вас больше интересует, насколько хорошо работает, скажем, топ-5 (первый экран карусели рекомендаций), затем топ-10 (второй экран) и так далее. Потому что во втором случае Вас больше интересует, насколько хорошо Ваше решение упорядочило весь ответ - ранжированные результаты.   -  person Bartłomiej Twardowski    schedule 15.11.2015
comment
Большое спасибо @Bartłomiej Twardowski. Итак, просто я уже делал это rate@k?   -  person Luisa Hernández    schedule 16.11.2015
comment
Да, если вы усекаете элемент k вверху и вычисляете только p/r для него.   -  person Bartłomiej Twardowski    schedule 16.11.2015

Ответы (1)


arrow_upward
15
arrow_downward

Наконец, я получил объяснение от профессора Юрия Малхейроса (статья 1) . Несмотря на то, что частота отзыва@k, указанная в статьях, цитируемых в вопросах, казалась нормальной метрикой отзыва, но применительно к топ-k, это не одно и то же. Этот показатель также используется в статье 2, статья 3 и статья 3

Коэффициент отзыва@k — это процент, который зависит от проведенных тестов, т. е. количества рекомендаций, и каждая рекомендация представляет собой список элементов, некоторые элементы будут правильными, а некоторые — нет. Если мы сделали 50 различных рекомендаций, назовем это R (независимо от количества пунктов для каждой рекомендации), для расчета коэффициента отзыва необходимо просмотреть каждую из 50 рекомендаций. Если для каждой рекомендации хотя бы один рекомендуемый элемент является правильным, вы можете увеличить значение, в этом случае назовем его N. Чтобы рассчитать скорость отзыва@R, необходимо сделать N/R.

person Luisa Hernández    schedule 24.11.2015
comment
Я думаю, вы ошиблись, вы снова описали точность @k. Recall@k означает, что вы считаете релевантные документы среди первых k и делите их на общее количество релевантных документов в репозитории. См. ils.unc.edu/courses/2013_spring/inls509_001/lectures / - person Chris; 12.07.2017
comment
Согласен с Крисом. То, что вы описываете, звучит как средняя точность@k. - person halflings; 08.11.2018
comment
Я не думаю, что определение на слайде правильное. На слайде он определяет precision: proportion of retrieved documents that are relevant и recall: proportion of relevant documents that are retrieved, но на самом деле все наоборот. - person user8491363; 16.05.2021