Glossário de IA

Sparse Attention e uma variante do mecanismo de atencao em Transformers que calcula atencao apenas para subconjuntos de tokens em vez de todos. Reduz complexidade de O(n2) para O(n log n) ou O(n), permitindo processar sequencias muito longas.

Speculative Decoding e uma tecnica de aceleracao de inferencia que usa um modelo menor e rapido para gerar rascunhos de tokens que sao verificados em paralelo pelo modelo grande. Acelera geracao em 2-3x sem alterar a qualidade das respostas.

Streaming Response e o modo de entrega onde tokens de um LLM sao enviados ao cliente conforme sao gerados, em vez de aguardar a resposta completa. Melhora drasticamente a experiencia do usuario ao reduzir tempo percebido de espera.

Structured Output e a capacidade de forcar LLMs a gerar respostas em formatos estruturados como JSON, XML ou schemas predefinidos. Garante que a saida seja parseavel por sistemas downstream, essencial para integracao de IA em pipelines de software.

Temperature e um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geracao de texto. Valores baixos (~0.1) geram texto deterministico e focado, valores altos (~1.0 ) produzem respostas mais criativas e diversas.

Tiktoken e a biblioteca de tokenizacao rapida desenvolvida pela OpenAI, usada nos modelos GPT-3.5, GPT-4 e successores. Implementa BPE otimizado em Rust para alta performance, sendo essencial para calcular custos e limites de contexto de APIs OpenAI.

Tokenizer BPE (Byte Pair Encoding) e o algoritmo de tokenizacao mais usado em LLMs que divide texto em subpalavras. Comeca com caracteres individuais e iterativamente funde os pares mais frequentes, criando um vocabulario balanceado entre caracteres e palavras.

Tool Augmented LLM e um modelo de linguagem capaz de usar ferramentas externas como calculadoras, APIs, buscadores e bancos de dados durante a geracao de respostas. Supera limitacoes do modelo puro ao acessar informacoes em tempo real e executar acoes.

Tree-of-Thought (ToT) e uma evolucao do Chain-of-Thought que explora multiplos caminhos de raciocinio em formato de arvore. O modelo gera, avalia e seleciona entre diferentes linhas de pensamento, podendo fazer backtracking quando um caminho e improdutivo.

Vision-Language Model (VLM) e um modelo de IA que processa e entende tanto imagens quanto texto simultaneamente. Exemplos incluem GPT-4V, Claude Vision e Gemini, capazes de descrever imagens, responder perguntas visuais e raciocinar sobre conteudo visual.