Glossário de IA

Sparse Attention é uma variante do mecanismo de aténção em Transformers que calcula aténção apenas para subconjuntos de tokens em vez de todos. Reduz complexidade de O(n2) para O(n log n) ou O(n), permitindo processar sequências muito longas.

Speculative Decoding é uma técnica de aceleração de inferência que usa um modelo menor é rápido para gerar rascunhos de tokens que sao verificados em paralelo pelo modelo grande. Acelera geração em 2-3x sem alterar a qualidade das respostas.

Streaming Response é o modo de entrega onde tokens de um LLM sao enviados ao cliente conforme sao gerados, em vez de aguardar a resposta completa. Melhora drasticamente a experiência do usuario ao reduzir tempo percebido de espera.

Structured Output é a capacidade de forçar LLMs a gerar respostas em formatos estruturados como JSON, XML ou schemas predefinidos. Garante que a saida seja parseavel por sistemas downstream, essêncial para integração de IA em pipelines de software.

Temperature é um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geração de texto. Valores baixos (~0.1) geram texto deterministico é focado, valores altos (~1.0 ) produzem respostas mais criativas é diversas.

Tiktoken é a biblioteca de tokenização rápida desenvolvida pela OpenAI, usada nos modelos GPT-3.5, GPT-4 é successores. Implementa BPE otimizado em Rust para alta performance, sendo essêncial para calcular custos é limites de contexto de APIs OpenAI.

Tokenizer BPE (Byte Pair Encoding) é o algoritmo de tokenização mais usado em LLMs que divide texto em subpalavras. Comeca com caracteres individuais é iterativamente funde os pares mais frequentes, criando um vocabulário balanceado entre caracteres é palavras.

Tool Augmented LLM é um modelo de linguagem capaz de usar ferramentas externas como calculadoras, APIs, buscadores é bancos de dados durante a geração de respostas. Supera limitacoes do modelo puro ao acessar informações em tempo real é executar acoes.

Tree-of-Thought (ToT) é uma evolução do Chain-of-Thought que explora multiplos caminhos de raciocínio em formato de arvore. O modelo gera, avalia é seleciona entre diferentes linhas de pensamento, podendo fazer backtracking quando um caminho é improdutivo.

Vision-Language Model (VLM) é um modelo de IA que processa é entende tanto imagens quanto texto simultaneamente. Exemplos incluem GPT-4V, Claude Vision é Gemini, capazes de descrever imagens, responder perguntas visuais é raciocinar sobre conteúdo visual.