Объяснение коэффициента корреляции - выбор признаков

Вы можете попробовать использовать другие критерии выбора для выбора между каждой парой высококоррелированных признаков. Например, вы можете использовать прирост информации (IG), который измеряет, сколько информации дает функция о классе (т. е. ее снижение энтропии [TAL14], [SIL07]). Как только вы обнаружите пару высококоррелированных функций (например, как вы упомянули pdays и pmonths), вы можете измерить IG каждой переменной и оставить ту, у которой самый высокий показатель. ИГ. Тем не менее, есть и другие критерии отбора, которые вы также можете применить вместо IG (например, максимизация взаимной информации [BHS15]).

Для порога вы можете выбрать желаемое значение (это зависит от вашей проблемы). Тем не менее, для безопасной игры я бы выбрал высокое значение (например, 0,95), хотя вы также можете рассмотреть эти значения около 0,94 или 0,9. Кроме того, вы всегда можете установить высокое значение, а затем поиграть с понижением этого значения, чтобы проверить производительность вашей модели.

[TAL14] Джилян Тан, Салем Алеляни и Хуан Лю. Выбор признаков для классификации: обзор, страницы 37–64. КПР Пресс, 1 2014.

[SIL07] Иван Сайс, Иньяки Инза и Педро Ларраньяга. Обзор методов выбора признаков в биоинформатике. биоинформатика, 23(19):2507–2517, 2007.

[BHS15] Мохамед Беннасар, Юлия Хикс, Россица Сечи. Выбор функций с использованием совместной максимизации взаимной информации. Экспертные системы с приложениями, 42(22): 8520-8532, 2015.

Здесь я перечисляю некоторые аспекты, которые не охвачены другими ответами.

1. дни, месяцы да, они коррелированы — попробуйте создать другие функции, потому что это циклические функции, чтобы вы могли создавать другие функции, которые не обязательно коррелируют. подробнее здесь

2. весь процесс выбора функций должен выполняться в рамках перекрестной проверки или в рамках удерживаемых данных, в противном случае вы вносите предвзятость и переоснащаете свою модель. например, вы можете выбрать свои функции на основе обрезки, а затем создать модель на основе остальных данных и оценить производительность, чтобы увидеть, какова была производительность. вы всегда можете использовать конвейер scikit-learn для автоматического поиска этих пороговых значений. с помощью поиска по сетке.

3. если вы используете линейные модели, такие как лассо - они автоматически делают этот выбор!

4. что касается порога, это сложно, но в качестве альтернативы вы можете выбрать первые n функций на основе количества доступных точек данных.

5. Коэффициент корреляции - это линейная модель, если ковариаты очень разные в линейном отношении, они могут быть очень похожими в нелинейном пространстве. Чтобы узнать больше, вы можете просмотреть документы, связанные с взаимной информацией, и найти множество примеров.

мои ответы не имеют прямого отношения к вопросу, который вы задаете, но я уверен, что их важно учитывать и приносить пользу вашему моделированию в более широкой картине.

Вы можете сделать это легко, используя sklearn.

from sklearn.feature_selection import VarianceThreshold

X = [[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]]
selector = VarianceThreshold(threshold=0.2)
X = selector.fit_transform(X)
print(X)

X - это результат, который удаляет все ненужные переменные, которые имеют низкую корреляцию с другими.