Sentence Transformer
Categoria
Modelos e Arquiteturas
Sentence Transformer e um framework que gera embeddings de alta qualidade para frases e paragrafos inteiros, permitindo busca semantica, similaridade textual e clustering de documentos.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e Sentence Transformer?
Sentence Transformer e um framework baseado em BERT/Transformers que gera embeddings densos para frases e paragrafos inteiros. Enquanto word embeddings representam palavras individuais, sentence transformers capturam o significado de textos completos em vetores de tamanho fixo.
Como Funciona
- Usa modelos BERT/RoBERTa como base
- Adiciona pooling (media ou CLS token) para gerar um vetor por frase
- Treinado com contrastive learning em pares de frases similares/dissimilares
Aplicacoes
- Busca semantica: encontrar documentos por significado
- Similaridade textual: medir quao parecidos sao dois textos
- Clustering: agrupar textos por tema
- RAG: retrieval para augmentation de LLMs
Modelos Populares
Modelos como all-MiniLM-L6-v2 e all-mpnet-base-v2 oferecem excelente equilibrio entre qualidade e velocidade. Na Trilion, sentence transformers sao ferramentas essenciais para buscas inteligentes em aplicacoes de IA.
