антипредвзятый алгоритм рейтинга ресторана

Одним из возможных решений является возведение в квадрат числа людей, проголосовавших за тот или иной рейтинг. Вычислите средневзвешенное значение, умножив каждый рейтинг на квадрат. Затем разделить на сумму квадратов и округлить в меньшую сторону. Это, как правило, удерживает рейтинг рядом со значением, выбранным большинством людей.

Например, когда рейтинги

5 stars from 9 people
1 star  from 1 person

тогда расчет

(5*(9*9) + 1*(1*1)) / ((9*9) + (1*1)) = 4.9

Если у вас есть дистрибутив типа

5 stars from  4 people
4 stars from  8 people
3 start from 11 people
2 stars from  6 people
1 star  from  3 people

тогда расчет

(5*16 + 4*64 + 3*121 + 2*36 + 1*9) / (16+64+121+36+9) = 3.1

Вы также можете попробовать разные формулы взвешивания. Например, вместо n * n можно использовать n * sqrt(n).

Алгоритмический уклон

Вопрос далеко не тривиальный. На самом деле это вообще не решаемо. По крайней мере, не в том математическом смысле, как вы, кажется, думаете. Я начну с попытки объяснить алгоритмическую предвзятость на нескольких примерах:

Amazon обучила ИИ принимать решения о найме. Через некоторое время они поняли, что ИИ отдавал предпочтение кандидатам-мужчинам, а не женщинам, из-за того, что эта предвзятость также проявлялась в наборе обучающих данных. В этом случае довольно просто решить, имел ли ИИ несправедливую предвзятость.

Допустим, я настроил еще один ИИ, который также решает, каких соискателей пригласить на собеседование. Теперь я научился у Amazon и избегал гендерной предвзятости, просто удаляя такие детали, как пол, имя или этническая принадлежность. Нет, мой ИИ не может быть ни расистским, ни сексистским, так что это должно быть справедливо, верно? Что ж, мой ИИ понял, что лучше нанимать кандидатов в возрасте около 30 лет просто потому, что они имеют опыт работы с самыми современными технологиями и не новички в отрасли. Это было бы идеально для компании (вероятно, по крайней мере — я проигнорирую эту деталь и просто предположу ее для простоты). Но теперь мы игнорируем новичков и людей старше определенного возраста. Это справедливо? Это становится немного более размытым.

Ранее описанный ИИ был отвергнут как несправедливый, и теперь я также убедился, что новый ИИ игнорирует возраст. Теперь он будет относиться к новичкам так же, как к 30-летним и старше. Так что теперь это справедливо, не так ли? Но теперь он не так заботится об опыте соискателей и даст тому, кто ничего не знает, такой же шанс, как и тому, кто вложил время и деньги, чтобы получить опыт. Так это справедливо? Ну, я вряд ли мог ответить на этот вопрос

Или последнее, но не менее важное: комментарии к этому вопросу уже показывают, как сложно определить, что является (не)справедливым. Что касается остальной части вопроса, я просто предполагаю, что предложенная вами схема рейтинга справедлива.

Возможные способы модификации оценки рейтингов

Существует довольно много альтернативных способов составления рейтингов. Я покажу только два простых варианта достижения того, чего вы хотите, хотя, безусловно, существует довольно много способов поиграть с числами, проявив немного творчества.

медиана

Медиана — отличный статистический инструмент для устранения перекоса, вызванного несколькими выбросами в оценках. Обычно медиана рассчитывается как значение в середине отсортированного списка — или, если количество оценок равно среднему из двух средних значений.

def median(arr):
    if len(arr) % 2 == 1:
        return sorted(arr)[len(arr) // 2]
    else:
        i = len(arr) // 2
        return sum(sorted(arr)[i - 1 : i + 1]) / 2

В вашем примере с 9 оценками на 5 звезд и одной оценкой на 1 звезду результат будет 5. Справедливо ли это? Вероятно, нет, так как это будет относиться к любому рейтингу, который не равен медиане, таким же образом. т.е. для приведенного выше пользовательского рейтинга не будет иметь значения, дал ли последний пользователь одну звезду или четыре. С другой стороны, эта статистика довольно устойчива к искаженным данным с экстремальными выбросами. Так что это все равно не тот инструмент.

Объединение медианы и среднего арифметического

Этот создает результат, который ближе к тому, что вы ожидали - 4,8. Мы больше не полностью игнорируем выбросы, но придаем им гораздо меньше веса. Таким образом, в целом этот рейтинг имеет сильный уклон в сторону наиболее распространенного мнения, но не придает ему такой ценности, как раньше.

Можно даже добавить веса для медианы и среднего значения, чтобы настроить, какой вес придается выбросам:

def weighted_rating(arr, w):
    arithm = sum(arr) / len(arr)
    m = median(arr)

    return m * w + arithm * (1 - w)

В приведенном выше коде w должно быть между 0 (только среднее арифметическое) и 1 (только медиана). Для w = 0.75 рейтинг будет 4,9. Таким образом, медиана имеет в два раза больший вес, чем средний, чтобы достичь такого рейтинга.

РЕДАКТИРОВАТЬ:

Отличным практическим подходом, который более справедливо обрабатывает выбросы, был бы ответ @user3386109. Мой ответ был в основном предназначен для демонстрации тонкостей «справедливой» статистики, а не для предоставления какого-либо реального алгоритма для расчета рейтинга.

Задача оценки неизвестного параметра (среднего значения, дисперсии и т. д.) случайного процесса по (очень) небольшому количеству наблюдений — очень сложная задача, которая интенсивно изучается.

В настоящее время здесь используется термин «смещение», но его не следует путать с вероятностным смещением (разницей между средним математическим значением случайного процесса и средним математическим значением оценки). Здесь нужно свести к минимуму саму ошибку, а точнее, избежать больших ошибок. В таких ситуациях при небольшом количестве избирателей один простой голос может эффективно сместить оценку.

Дополнительная трудность заключается в том, что я не уверен, что среднее значение обозначений является хорошим критерием. Гистограмма ставок (90% -> 5, 10% -> 1) более интересна и дает больше информации. Однако такие гистограммы не позволяют провести простую сортировку...

Я не специалист в этой конкретной проблеме и знаю только один простой часто используемый метод: подавлять младшие и высшие значения. Однако в предлагаемом сценарии мы получаем рейтинг 5, что далеко от совершенства.

Еще один метод, который я могу придумать, состоит в том, чтобы сначала выполнить грубую оценку, а затем выполнить новое усреднение с меньшим весом для значений, слишком далеких от первого среднего.

Тем не менее, любой предлагаемый метод должен быть получен и проверен на/с достаточным количеством данных: собрать большое количество голосов, получить точную оценку для одного ресторана, а затем попытаться получить примерно такой же результат с любым небольшим количеством голосов, извлеченным из этих данных. основание. Алгоритм наилучший зависит от вероятностного закона процесса, которого я не знаю.

Основная причина проблемы заключается в том, что рейтинговая шкала субъективна и, следовательно, зависит от когнитивных предубеждений пользователей. Поэтому лучшим решением был бы другой подход к рейтингу, такой как система Эло: пользователей просили бы сравнить их последний посещенный ресторан с тем, который они посещали раньше, таким образом создавая настоящий рейтинг ресторанов (который мог бы позволить звездам быть переопределены как квинтили). В этой статье проблема и возможные решения обсуждаются более подробно: https://www.linkedin.com/pulse/how-build-truly-5-star-user-rating-tobias-baer/

4.6 справедливо, а 4.9 предвзято.