Это был бы отличный вопрос для интервью

Я просматривал Твиттер, и не относящийся к теме пост о keras-tuner заставил меня задуматься, должны ли мы использовать настройку гиперпараметров для справедливости ML? И почему моя немедленная реакция была такой негативной?

Я не собираюсь решать этот вопрос здесь, но думаю, что аргументы могут быть приведены в пользу любой из сторон, что делает его подходящим для вопроса на собеседовании по машинному обучению.

  1. Да, потому что люди сделали это.
    Исследовательская работа Amazon (которая получила награду за лучшую статью в 2020 году!), Проект AutoML, и еще с радостью исследовали это.
  2. Да, потому что справедливость — наша цель.
    Исследователи машинного обучения используют настройку гиперпараметров, чтобы сделать свои модели более точными. Если мы можем определить показатель справедливости, не должно быть никакой разницы в его оптимизации и общей точности.
  3. Да, потому что справедливость не должна быть второстепенной.
    Если вы оставляете справедливость для процесса после обучения, вы говорите, что исходная модель в основе своей верна, а справедливость — это «корректировка».
  4. Нет, поскольку настройка гиперпараметров ненадежна. Люди работают над этим, но построение вашей модели на основе точности и справедливости на одном наборе данных может иметь неприятные последствия.
  5. Нет, потому что настройка гиперпараметров автоматизирует проблему справедливости. Вы решили, что проблему обучения/оценки/настройки модели на справедливость можно свести в одну метрику и один автоматизированный процесс обучения/конвейер. Справедливость должна быть человеческим процессом.
  6. Нет, потому что настройка гиперпараметров заключается в поиске базовой архитектуры нашей модели, а все остальное можно выяснить позже. Если ваши гиперпараметры сильно влияют на справедливость, то, вероятно, все, что касается точности вашей модели, ненадежно.
  7. Нет, потому что честность — это анализ и постобработка. В противоположность пункту 3 мы можем обнаружить, что наша модель имеет статистическую предвзятость, и запрограммировать ее на прием различных диапазонов оценок в зависимости от человека. Если мы встроим это в саму модель, мы не сможем количественно определить или скорректировать это значение.