Как использовать алгоритм XGBoost для регрессии в R?

Я пробовал технику XGBoost для прогнозирования. Поскольку моя зависимая переменная непрерывна, я выполнял регрессию с использованием XGBoost, но большинство ссылок, доступных на различных порталах, предназначены для классификации. Хотя я знаю, используя

objective = "reg:linear"

мы можем сделать регрессию, но все же мне нужна ясность и для других параметров. Было бы здорово, если бы кто-нибудь мог предоставить мне фрагмент R.


r machine-learning xgboost gbm boosting
person Amarjeet    schedule 19.10.2015    source источник
comment
@ Amarjeet: вы действительно получаете сообщение об ошибке, когда пытаетесь запустить его, или это ваш вопрос, а как настроить параметры?   -  person Ruthger Righart    schedule 21.10.2015
comment
@Amarjeet есть какие-нибудь обновления по этому вопросу? У меня точно такая же проблема.   -  person deltascience    schedule 29.10.2016

Ответы (2)


arrow_upward
5
arrow_downward 

xgboost(data = X, 
        booster = "gbtree", 
        objective = "binary:logistic", 
        max.depth = 5, 
        eta = 0.5, 
        nthread = 2, 
        nround = 2, 
        min_child_weight = 1, 
        subsample = 0.5, 
        colsample_bytree = 1, 
        num_parallel_tree = 1)

Это все параметры, с которыми вы можете поиграться при использовании бустеров деревьев. Для линейного бустера вы можете использовать следующие параметры, чтобы играть с...

xgboost(data = X, 
        booster = "gblinear", 
        objective = "binary:logistic", 
        max.depth = 5, 
        nround = 2, 
        lambda = 0, 
        lambda_bias = 0, 
        alpha = 0)

Вы можете обратиться к описанию xg.train() в документе xgboost CRAN для подробного понимания этих параметров.

person Gaurav    schedule 19.10.2015
comment
Я знаю, что это очень широкий вопрос, но если какой-либо конкретный ответ, связанный с регрессией, будет полезно понять. - person Amarjeet; 19.10.2015
comment
Линейная регрессия и бинарная логистическая регрессия являются наиболее часто используемыми методами с пакетом xgboost... все параметры в xgboost предназначены для управления только повышающей частью алгоритма... в пакете не так много возможностей для управления методом регрессии. .. это либо старая регрессия, либо бинарная логистика... - person Gaurav; 19.10.2015

arrow_upward
4
arrow_downward

Лучшее описание параметров, которое я нашел, находится на

https://github.com/dmlc/xgboost/blob/master/doc/parameter.md

В репозитории скриптов Kaggle есть много примеров использования XGBoost в R. Например:

https://www.kaggle.com/michaelpawlus/springleaf-marketing-response/xgboost-example-0-76178/code

person Craig    schedule 19.10.2015