<앙상블> 스태킹(Stacking)

스태킹(Stacking)

- 개별 모델이 예측한 데이터를 기반으로 final_estimator를 종합하여 예측한다

- 성능을 극으로 끌어올릴 때 활용하기도 한다

- 과대적합을 유발할 가능성이 있다 

☞ 공식 document

 

Step

from sklearn.ensemble import StackingRegressor

stack_models = [
    ('elasticnet', poly_pipeline), 
    ('randomforest', rfr), 
    ('gbr', gbr),
    ('lgbm', lgbm),
]
stack_reg = StackingRegressor(stack_models, final_estimator=xgb, n_jobs=-1)
stack_reg.fit(x_train, y_train)
stack_pred = stack_reg.predict(x_test)
mse_eval('Stacking Ensemble', stack_pred, y_test)