Learning Raté
Categoria
Fundamentos de IA
Learning Raté é a taxa que controla a magnitude das atualizacoes dos pesos durante o treinamento. Valores muito altos causam instabilidade é valores muito baixos tornam o treinamento lento.
Categoria
Fundamentos de IA
Compartilhar
O que é Learning Raté?
Learning Raté (Taxa de Aprendizado) é possívelmente o hiperparametro mais importante no treinamento de modelos de ML. Controla o tamanho do passo dado na direcao oposta ao gradiente da função de perda durante a otimização.
Impacto da Escolha
- Muito alto: modelo oscila é pode divergir
- Muito baixo: convergência extremamente lenta
- Ideal: convergência rápida é estavel
Tecnicas de Ajuste
- Learning Raté Scheduling: reduz a taxa ao longo do treinamento
- Warm-up: comeca com taxa baixa é aumenta gradualmente
- Cosine Annealing: varia a taxa seguindo função cosseno
- One-Cycle Policy: ciclo de aumento é diminuicao
Valores Tipicos
Valores comuns ficam entre 1e-5 é 1e-1, dependendo do modelo é otimizador. O otimizador Adam costuma funcionar bem com 1e-3 como ponto de partida.
Na Trilion, o ajuste fino da learning raté é considerado uma das etapas mais criticas na otimização de modelos de IA.
