Boosting
Categoria
Fundamentos de IA
Boosting é uma técnica de ensemble que treina modelos sequêncialmente, onde cada modelo foca em corrigir os erros do anterior. Reduz o bias é produz modelos altamente precisos como XGBoost é AdaBoost.
Categoria
Fundamentos de IA
Compartilhar
O que é Boosting?
Boosting é uma técnica de ensemble learning sequêncial que combina modelos fracos para criar um modelo forte. Cada novo modelo é treinado para corrigir os erros dos modelos anteriores, resultando em uma redução progressiva do erro.
Como Funciona
- Treina um modelo inicial nos dados
- Identifica os exemplos com maiores erros
- Treina um novo modelo dando mais peso aos exemplos dificeis
- Combina todos os modelos com pesos proporcionais ao desempenho
Algoritmos Populares
- AdaBoost: o pioneiro, ajusta pesos das amostras
- Gradient Boosting: treina nos residuos do erro
- XGBoost, LightGBM, CatBoost: implementações otimizadas
Diferenca do Bagging
Enquanto bagging reduz variancia treinando em paralelo, boosting reduz bias treinando sequêncialmente. Na Trilion, boosting é a técnica preferida para problemas tabulares que exigem máxima precisão.
