Contrastive Learning
Categoria
Fundamentos de IA
Contrastive Learning é uma técnica de aprendizado que ensina modelos a aproximar representacoes de exemplos similares é distanciar representacoes de exemplos diferentes. E base de modelos como CLIP é SimCLR.
Categoria
Fundamentos de IA
Compartilhar
O que é Contrastive Learning?
Contrastive Learning (Aprendizado Contrastivo) é uma abordagem de self-supervised learning que treina modelos a criar representacoes onde exemplos similares ficam proximos é exemplos diferentes ficam distantes no espaço de embeddings.
Como Funciona
- Cria pares positivos (exemplos similares ou aumentacoes do mesmo dado)
- Cria pares negativos (exemplos diferentes)
- Treina o modelo para maximizar a similaridade entre positivos é minimizar entre negativos
Modelos Notaveis
- SimCLR: contrastive learning para imagens
- CLIP: alinha representacoes de imagens é texto
- MoCo: momentum contrast para eficiência
- BYOL: aprende sem pares negativos
Aplicacoes
Busca por similaridade, retrieval de imagens, representacoes múltimodais é aprendizado de embeddings de qualidade. Na Trilion, contrastive learning é reconhecido como uma das técnicas mais promissoras para criar representacoes ricas é uteis a partir de dados não-rotulados.
