GloVe
Categoria
Modelos e Arquiteturas
GloVe (Global Vectors) e um modelo de word embedding da Stanford que aprende representacoes vetoriais combinando estatisticas globais de co-ocorrencia de palavras com objetivos de aprendizado local.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e GloVe?
GloVe (Global Vectors for Word Representation) e um modelo de word embedding desenvolvido pela Stanford em 2014. Diferente do Word2Vec que usa contexto local, GloVe aprende vetores a partir da matriz de co-ocorrencia global de palavras em um corpus.
Como Funciona
- Constroi uma matriz de co-ocorrencia de palavras
- Otimiza para que o produto escalar dos vetores reflita a probabilidade de co-ocorrencia
- Combina estatisticas globais com eficiencia local
Comparacao com Word2Vec
Enquanto Word2Vec usa janelas locais de contexto, GloVe captura informacoes estatisticas globais do corpus inteiro. Na pratica, ambos produzem resultados comparaveis, com GloVe oferecendo treinamento mais rapido em certos cenarios.
Modelos Pre-treinados
GloVe oferece vetores pre-treinados em dimensoes de 50 a 300, treinados na Wikipedia e Common Crawl. Na Trilion, GloVe e considerado como alternativa eficiente para projetos que nao requerem embeddings contextuais.
