BERT
Categoria
Modelos e Arquiteturas
BERT (Bidirectional Encoder Representations from Transformers) e um modelo de linguagem bidirecional do Google que revolucionou o NLP ao compreender contexto em ambas as direcoes de uma frase.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e BERT?
BERT (Bidirectional Encoder Representations from Transformers) e um modelo de linguagem lançado pelo Google em 2018 que processa texto bidireccionalmente, compreendendo o contexto completo de cada palavra ao considerar tanto as palavras anteriores quanto as posteriores simultaneamente.
Pre-treinamento
- Masked Language Modeling (MLM): preve palavras mascaradas aleatoriamente
- Next Sentence Prediction (NSP): preve se duas frases sao consecutivas
Diferenca do GPT
Enquanto GPT usa apenas o decoder (autoregressivo, esquerda para direita), BERT usa o encoder (bidirecional). Isso torna BERT superior para tarefas de compreensao, enquanto GPT excele em geracao.
Aplicacoes
Busca semantica, classificacao de texto, reconhecimento de entidades, pergunta-resposta e analise de sentimento. Na Trilion, modelos baseados em BERT sao utilizados quando a compreensao profunda de texto e mais importante que a geracao.
