Gradiente Descendente
Categoria
Fundamentos de IA
Gradiente Descendente e o algoritmo de otimizacao fundamental usado para treinar modelos de ML. Ajusta iterativamente os pesos do modelo na direcao oposta ao gradiente da funcao de perda para minimizar o erro.
Categoria
Fundamentos de IA
Compartilhar
O que e Gradiente Descendente?
Gradiente Descendente (Gradient Descent) e o algoritmo de otimizacao mais utilizado para treinar modelos de Machine Learning. Funciona ajustando iterativamente os parametros do modelo na direcao que mais reduz a funcao de perda.
Variantes
- Batch GD: calcula gradiente com todos os dados
- Stochastic GD (SGD): usa uma amostra por vez
- Mini-Batch GD: usa um subconjunto (batch) por vez
Funcionamento
Em cada iteracao: calcula a derivada parcial da loss function em relacao a cada peso, multiplica pelo learning rate, e subtrai do peso atual. O processo se repete ate a convergencia ou numero maximo de iteracoes.
Desafios
- Minimos locais e pontos de sela
- Gradientes que desaparecem ou explodem
- Escolha do learning rate
- Platôs na superficie de perda
Otimizadores modernos como Adam e AdaGrad foram desenvolvidos para superar essas limitacoes. Na Trilion, a compreensao profunda do gradiente descendente e base para otimizar qualquer modelo de IA.
