Learning Rate
Categoria
Fundamentos de IA
Learning Rate e a taxa que controla a magnitude das atualizacoes dos pesos durante o treinamento. Valores muito altos causam instabilidade e valores muito baixos tornam o treinamento lento.
Categoria
Fundamentos de IA
Compartilhar
O que e Learning Rate?
Learning Rate (Taxa de Aprendizado) e possivelmente o hiperparametro mais importante no treinamento de modelos de ML. Controla o tamanho do passo dado na direcao oposta ao gradiente da funcao de perda durante a otimizacao.
Impacto da Escolha
- Muito alto: modelo oscila e pode divergir
- Muito baixo: convergencia extremamente lenta
- Ideal: convergencia rapida e estavel
Tecnicas de Ajuste
- Learning Rate Scheduling: reduz a taxa ao longo do treinamento
- Warm-up: comeca com taxa baixa e aumenta gradualmente
- Cosine Annealing: varia a taxa seguindo funcao cosseno
- One-Cycle Policy: ciclo de aumento e diminuicao
Valores Tipicos
Valores comuns ficam entre 1e-5 e 1e-1, dependendo do modelo e otimizador. O otimizador Adam costuma funcionar bem com 1e-3 como ponto de partida.
Na Trilion, o ajuste fino da learning rate e considerado uma das etapas mais criticas na otimizacao de modelos de IA.
