Glossário de IA

Mecanismo de Atencao permite que modelos foquem nas partes mais relevantes da entrada ao processar cada elemento. Revolucionou o NLP ao permitir que modelos ponderem a importancia de diferentes tokens.

BERT (Bidirectional Encoder Representations from Transformers) e um modelo de linguagem bidirecional do Google que revolucionou o NLP ao compreender contexto em ambas as direcoes de uma frase.

GloVe (Global Vectors) e um modelo de word embedding da Stanford que aprende representacoes vetoriais combinando estatisticas globais de co-ocorrencia de palavras com objetivos de aprendizado local.

LSTM (Long Short-Term Memory) e uma variante de RNN com portas especiais que controlam o fluxo de informacao, resolvendo o problema de dependencias de longo prazo. Usada em series temporais e traducao.

NLP (Natural Language Processing) e a area da IA que permite a maquinas compreender, interpretar e gerar linguagem humana. Engloba tarefas como analise de sentimento, traducao automatica, chatbots e extracao de informacoes de textos.

Positional Encoding e a tecnica que injeta informacao sobre a posicao dos tokens em Transformers, ja que self-attention nao possui nocao inerente de ordem. Usa funcoes senoidais ou embeddings aprendidos.

RNN (Rede Neural Recorrente) e uma arquitetura projetada para processar dados sequenciais, mantendo uma memoria interna que captura informacoes de passos anteriores. Foi a base do NLP antes dos Transformers.

Self-Attention e o mecanismo que permite a cada token de uma sequencia calcular sua relacao com todos os outros tokens da mesma sequencia. E o componente central da arquitetura Transformer.

Sentence Transformer e um framework que gera embeddings de alta qualidade para frases e paragrafos inteiros, permitindo busca semantica, similaridade textual e clustering de documentos.

Tokenizacao e o processo de dividir texto em unidades menores (tokens) que servem como entrada para modelos de linguagem. Pode operar em nivel de palavra, subpalavra (BPE, SentencePiece) ou caractere.

Transformer e a arquitetura de rede neural que revolucionou o processamento de linguagem natural. Baseada em mecanismos de atencao (self-attention), e a base de modelos como GPT, BERT e Claude.

Word Embedding e a representacao de palavras como vetores numericos densos em um espaco continuo, onde palavras com significados similares ficam proximas. Tecnicas incluem Word2Vec, GloVe e embeddings contextuais.

Word2Vec e um modelo pioneiro de word embedding desenvolvido pelo Google que aprende representacoes vetoriais de palavras a partir de grandes corpus de texto. Usa arquiteturas CBOW ou Skip-gram.