Curriculum Learning
Categoria
Fundamentos de IA
Curriculum Learning e uma estrategia de treinamento que apresenta dados ao modelo em ordem crescente de dificuldade, imitando o processo de aprendizado humano. Melhora convergencia e desempenho final.
Categoria
Fundamentos de IA
Compartilhar
O que e Curriculum Learning?
Curriculum Learning e uma estrategia de treinamento de modelos de IA que organiza os dados em ordem crescente de dificuldade, semelhante a como humanos aprendem: primeiro conceitos simples, depois complexos. Proposto por Yoshua Bengio, melhora a velocidade de convergencia e qualidade do modelo.
Como Funciona
- Define uma metrica de dificuldade para cada amostra
- Comeca treinando com amostras faceis
- Gradualmente introduz amostras mais dificeis
- O criterio de dificuldade pode ser pre-definido ou aprendido
Variantes
- Self-Paced Learning: o modelo decide automaticamente a dificuldade
- Anti-Curriculum: comeca com exemplos dificeis (util em alguns cenarios)
- Dynamic Curriculum: ajusta a dificuldade durante o treinamento
Beneficios
Convergencia mais rapida, melhor generalizacao e maior estabilidade no treinamento. Na Trilion, curriculum learning e considerado como tecnica avancada para otimizar o treinamento de modelos complexos.
