BERT
Categoria
Modelos é Arquiteturas
BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem bidirecional do Google que revolucionou o NLP ao compreender contexto em ambas as direcoes de uma frase.
Categoria
Modelos é Arquiteturas
Compartilhar
O que é BERT?
BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem lançado pelo Google em 2018 que processa texto bidireccionalmente, compreendendo o contexto completo de cada palavra ao considerar tanto as palavras anteriores quanto as posteriores simultaneamente.
Pre-treinamento
- Masked Language Modeling (MLM): preve palavras mascaradas aleatoriamente
- Next Sentence Prediction (NSP): preve se duas frases sao consecutivas
Diferenca do GPT
Enquanto GPT usa apenas o decoder (autoregressivo, esquerda para direita), BERT usa o encoder (bidirecional). Isso torna BERT superior para tarefas de compreensao, enquanto GPT excele em geração.
Aplicacoes
Busca semântica, classificação de texto, reconhecimento de entidades, pergunta-resposta é análise de sentimento. Na Trilion, modelos baseados em BERT sao útilizados quando a compreensao profunda de texto é mais importante que a geração.
