Это был бы отличный вопрос для интервью
Я просматривал Твиттер, и не относящийся к теме пост о keras-tuner заставил меня задуматься, должны ли мы использовать настройку гиперпараметров для справедливости ML? И почему моя немедленная реакция была такой негативной?
Я не собираюсь решать этот вопрос здесь, но думаю, что аргументы могут быть приведены в пользу любой из сторон, что делает его подходящим для вопроса на собеседовании по машинному обучению.
- Да, потому что люди сделали это.
Исследовательская работа Amazon (которая получила награду за лучшую статью в 2020 году!), Проект AutoML, и еще с радостью исследовали это. - Да, потому что справедливость — наша цель.
Исследователи машинного обучения используют настройку гиперпараметров, чтобы сделать свои модели более точными. Если мы можем определить показатель справедливости, не должно быть никакой разницы в его оптимизации и общей точности. - Да, потому что справедливость не должна быть второстепенной.
Если вы оставляете справедливость для процесса после обучения, вы говорите, что исходная модель в основе своей верна, а справедливость — это «корректировка». - Нет, поскольку настройка гиперпараметров ненадежна. Люди работают над этим, но построение вашей модели на основе точности и справедливости на одном наборе данных может иметь неприятные последствия.
- Нет, потому что настройка гиперпараметров автоматизирует проблему справедливости. Вы решили, что проблему обучения/оценки/настройки модели на справедливость можно свести в одну метрику и один автоматизированный процесс обучения/конвейер. Справедливость должна быть человеческим процессом.
- Нет, потому что настройка гиперпараметров заключается в поиске базовой архитектуры нашей модели, а все остальное можно выяснить позже. Если ваши гиперпараметры сильно влияют на справедливость, то, вероятно, все, что касается точности вашей модели, ненадежно.
- Нет, потому что честность — это анализ и постобработка. В противоположность пункту 3 мы можем обнаружить, что наша модель имеет статистическую предвзятость, и запрограммировать ее на прием различных диапазонов оценок в зависимости от человека. Если мы встроим это в саму модель, мы не сможем количественно определить или скорректировать это значение.