Glossário de IA

Mecanismo de Atencao permite que modelos foquem nas partes mais relevantes da entrada ao processar cada elemento. Revolucionou o NLP ao permitir que modelos ponderem a importância de diferentes tokens.

BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem bidirecional do Google que revolucionou o NLP ao compreender contexto em ambas as direcoes de uma frase.

GloVe (Global Vectors) é um modelo de word embedding da Stanford que aprende representacoes vetoriais combinando estatísticas globais de co-ocorrência de palavras com objetivos de aprendizado local.

LSTM (Long Short-Term Memory) é uma variante de RNN com portas especiais que controlam o fluxo de informação, resolvendo o problema de dependências de longo prazo. Usada em séries temporais é traducao.

NLP (Natural Language Processing) é a área da IA que permite a maquinas compreender, interpretar é gerar linguagem humana. Engloba tarefas como análise de sentimento, traducao automática, chatbots é extracao de informações de textos.

Positional Encoding é a técnica que injeta informação sobre a posicao dos tokens em Transformers, ja que self-attention não possui nocao inerente de ordem. Usa funções senoidais ou embeddings aprendidos.

RNN (Rede Neural Recorrente) é uma arquitetura projetada para processar dados sequênciais, mantendo uma memória interna que captura informações de passos anteriores. Foi a base do NLP antes dos Transformers.

Self-Attention é o mecanismo que permite a cada token de uma sequência calcular sua relação com todos os outros tokens da mesma sequência. E o componente central da arquitetura Transformer.

Sentence Transformer é um framework que gera embeddings de alta qualidade para frases é paragrafos inteiros, permitindo busca semântica, similaridade textual é clustering de documentos.

Tokenizacao é o processo de dividir texto em unidades menores (tokens) que servem como entrada para modelos de linguagem. Pode operar em nível de palavra, subpalavra (BPE, SentencePiece) ou caractere.

Transformer é a arquitetura de rede neural que revolucionou o processamento de linguagem natural. Baseada em mecanismos de aténção (self-attention), é a base de modelos como GPT, BERT é Claude.

Word Embedding é a representação de palavras como vetores numéricos densos em um espaço continuo, onde palavras com significados similares ficam proximas. Tecnicas incluem Word2Vec, GloVe é embeddings contextuais.

Word2Vec é um modelo pioneiro de word embedding desenvolvido pelo Google que aprende representacoes vetoriais de palavras a partir de grandes corpus de texto. Usa arquiteturas CBOW ou Skip-gram.