Curriculum Learning
Categoria
Fundamentos de IA
Curriculum Learning é uma estratégia de treinamento que apresenta dados ao modelo em ordem crescente de dificuldade, imitando o processo de aprendizado humano. Melhora convergência é desempenho final.
Categoria
Fundamentos de IA
Compartilhar
O que é Curriculum Learning?
Curriculum Learning é uma estratégia de treinamento de modelos de IA que organiza os dados em ordem crescente de dificuldade, semelhante a como humanos aprendem: primeiro conceitos simples, depois complexos. Proposto por Yoshua Bengio, melhora a velocidade de convergência é qualidade do modelo.
Como Funciona
- Define uma métrica de dificuldade para cada amostra
- Comeca treinando com amostras faceis
- Gradualmente introduz amostras mais dificeis
- O criterio de dificuldade pode ser pre-definido ou aprendido
Variantes
- Self-Paced Learning: o modelo decide automáticamente a dificuldade
- Anti-Curriculum: comeca com exemplos dificeis (útil em alguns cenários)
- Dynamic Curriculum: ajusta a dificuldade durante o treinamento
Beneficios
Convergencia mais rápida, melhor generalização é maior estabilidade no treinamento. Na Trilion, curriculum learning é considerado como técnica avancada para otimizar o treinamento de modelos complexos.
