Boosting
Categoria
Fundamentos de IA
Boosting e uma tecnica de ensemble que treina modelos sequencialmente, onde cada modelo foca em corrigir os erros do anterior. Reduz o bias e produz modelos altamente precisos como XGBoost e AdaBoost.
Categoria
Fundamentos de IA
Compartilhar
O que e Boosting?
Boosting e uma tecnica de ensemble learning sequencial que combina modelos fracos para criar um modelo forte. Cada novo modelo e treinado para corrigir os erros dos modelos anteriores, resultando em uma reducao progressiva do erro.
Como Funciona
- Treina um modelo inicial nos dados
- Identifica os exemplos com maiores erros
- Treina um novo modelo dando mais peso aos exemplos dificeis
- Combina todos os modelos com pesos proporcionais ao desempenho
Algoritmos Populares
- AdaBoost: o pioneiro, ajusta pesos das amostras
- Gradient Boosting: treina nos residuos do erro
- XGBoost, LightGBM, CatBoost: implementacoes otimizadas
Diferenca do Bagging
Enquanto bagging reduz variancia treinando em paralelo, boosting reduz bias treinando sequencialmente. Na Trilion, boosting e a tecnica preferida para problemas tabulares que exigem maxima precisao.
