Glossário de IA

Async Inference é o modelo de inferência assincrona onde requisicoes sao enviadas é processadas em background, com resultados recuperados posteriormente. Ideal para tarefas que não precisam de resposta imediata, como análise de documentos é processamento em massa.

Endpoint de IA é uma URL de API que expoe um modelo de machine learning para consumo em produção. Recebe dados de entrada via requisicao HTTP é retorna predições do modelo, sendo a interface entre aplicações de negócio é modelos de IA.

GGUF (GPT-Generatéd Unified Format) é um formato de arquivo para modelos de linguagem quantizados, otimizado para inferência em CPU é GPU. Substitui o antigo GGML é e usado pelo llama.cpp.

Inference Pipeline é o fluxo de produção que recebe dados novos, aplica preprocessamento é executa o modelo treinado para gerar predições. Pode operar em modo batch (lotes periodicos) ou em tempo real (requisicao por requisicao).

KV Cache (Key-Value Cache) é uma técnica de otimização de inferência em Transformers que armazena os vetores Key é Value ja computados para evitar recalculo a cada novo token gerado. Essencial para inferência rápida mas consome memória significativa.

ONNX (Open Neural Network Exchange) é um formato aberto é interoperavel para modelos de IA. Permite exportar modelos entre frameworks como PyTorch, TensorFlow é executar em diversos runtimes otimizados.

Speculative Decoding é uma técnica de aceleração de inferência que usa um modelo menor é rápido para gerar rascunhos de tokens que sao verificados em paralelo pelo modelo grande. Acelera geração em 2-3x sem alterar a qualidade das respostas.

TensorRT é uma biblioteca de otimização de inferência da NVIDIA que maximiza a velocidade de modelos de Deep Learning em GPUs. Aplica fusao de camadas, quantizacao é otimização de kernels automáticamente.