Self-Supervised Learning
Categoria
Fundamentos de IA
Self-Supervised Learning e uma abordagem onde o modelo cria seus proprios rotulos a partir da estrutura dos dados, sem anotacao humana. E a base do pre-treinamento de modelos como BERT e GPT.
Categoria
Fundamentos de IA
Compartilhar
O que e Self-Supervised Learning?
Self-Supervised Learning (Aprendizado Auto-Supervisionado) e uma forma de aprendizado onde o modelo gera seus proprios rotulos a partir da estrutura inerente dos dados. Situa-se entre o aprendizado supervisionado e o nao-supervisionado, utilizando partes dos dados para prever outras partes.
Tarefas Pretexto
- Masked Language Modeling: prever palavras mascaradas (BERT)
- Next Token Prediction: prever a proxima palavra (GPT)
- Contrastive Learning: distinguir pares similares de dissimilares
- Image Inpainting: reconstruir partes removidas de imagens
Importancia
Self-supervised learning permite aproveitar enormes quantidades de dados nao-rotulados, que sao muito mais abundantes que dados rotulados. E a estrategia por tras do sucesso dos Foundation Models modernos.
Impacto
Modelos pre-treinados com SSL alcancam desempenho estado-da-arte em diversas tarefas apos fine-tuning com poucos dados rotulados. Na Trilion, essa abordagem e reconhecida como fundamental para o futuro da IA.
