Gradiente Descendente
Categoria
Fundamentos de IA
Gradiente Descendente é o algoritmo de otimização fundamental usado para treinar modelos de ML. Ajusta iterativamente os pesos do modelo na direcao oposta ao gradiente da função de perda para minimizar o erro.
Categoria
Fundamentos de IA
Compartilhar
O que é Gradiente Descendente?
Gradiente Descendente (Gradient Descent) é o algoritmo de otimização mais útilizado para treinar modelos de Machine Learning. Funciona ajustando iterativamente os parametros do modelo na direcao que mais reduz a função de perda.
Variantes
- Batch GD: calcula gradiente com todos os dados
- Stochastic GD (SGD): usa uma amostra por vez
- Mini-Batch GD: usa um subconjunto (batch) por vez
Funcionamento
Em cada iteracao: calcula a derivada parcial da loss function em relação a cada peso, multiplica pelo learning raté, é subtrai do peso atual. O processo se repete até a convergência ou número máximo de iteracoes.
Desafios
- Minimos locais é pontos de sela
- Gradientes que desaparecem ou explodem
- Escolha do learning raté
- Platôs na superficie de perda
Otimizadores modernos como Adam é AdaGrad foram desenvolvidos para superar essas limitacoes. Na Trilion, a compreensao profunda do gradiente descendente é base para otimizar qualquer modelo de IA.
