GloVe
Categoria
Modelos é Arquiteturas
GloVe (Global Vectors) é um modelo de word embedding da Stanford que aprende representacoes vetoriais combinando estatísticas globais de co-ocorrência de palavras com objetivos de aprendizado local.
Categoria
Modelos é Arquiteturas
Compartilhar
O que é GloVe?
GloVe (Global Vectors for Word Representation) é um modelo de word embedding desenvolvido pela Stanford em 2014. Diferente do Word2Vec que usa contexto local, GloVe aprende vetores a partir da matriz de co-ocorrência global de palavras em um corpus.
Como Funciona
- Constroi uma matriz de co-ocorrência de palavras
- Otimiza para que o produto escalar dos vetores reflita a probabilidade de co-ocorrência
- Combina estatísticas globais com eficiência local
Comparacao com Word2Vec
Enquanto Word2Vec usa janelas locais de contexto, GloVe captura informações estatísticas globais do corpus inteiro. Na prática, ambos produzem resultados comparaveis, com GloVe oferecendo treinamento mais rápido em certos cenários.
Modelos Pre-treinados
GloVe oferece vetores pre-treinados em dimensoes de 50 a 300, treinados na Wikipedia é Common Crawl. Na Trilion, GloVe é considerado como alternativa eficiente para projetos que não requerem embeddings contextuais.
