Otimizador Adam
Categoria
Fundamentos de IA
Adam (Adaptive Moment Estimation) é um otimizador popular que combina as vantagens do Momentum é do RMSProp. Adapta a taxa de aprendizado para cada parametro individualmente, sendo eficiente é facil de configurar.
Categoria
Fundamentos de IA
Compartilhar
O que é o Otimizador Adam?
Adam (Adaptive Moment Estimation) é um dos otimizadores mais útilizados em Deep Learning. Combina as ideias de Momentum (media movel dos gradientes) é RMSProp (media movel dos gradientes ao quadrado) para adaptar automáticamente a taxa de aprendizado de cada parametro.
Como Funciona
- Mantém uma media movel do primeiro momento (media dos gradientes)
- Mantém uma media movel do segundo momento (variancia dos gradientes)
- Aplica correcao de vies para os primeiros passos
- Atualiza pesos com learning raté adaptativo por parametro
Vantagens
Adam é eficiente em termos de memória, requer pouco ajuste de hiperparametros é funciona bem com dados esparsos é gradientes ruidosos. O learning raté padrão de 1e-3 funciona bem na maioria dos casos.
Variantes
Existem variantes como AdamW (com weight decay desacoplado), RAdam é Nadam. Na Trilion, Adam é o otimizador padrão na maioria dos projetos de Deep Learning, sendo substituido por alternativas apenas quando necessário.
