Glossário de IA

Context Window e o limite maximo de tokens que um modelo de IA pode processar de uma vez, incluindo tanto a entrada (prompt) quanto a saida gerada, definindo a quantidade de informacao acessivel em cada interacao.

Flash Attention e uma implementacao otimizada do mecanismo de atencao que reduz acesso a memoria GPU usando tiling e recomputacao. Acelera treinamento e inferencia de Transformers em 2-4x com menor consumo de memoria sem alterar o resultado matematico.

KV Cache (Key-Value Cache) e uma tecnica de otimizacao de inferencia em Transformers que armazena os vetores Key e Value ja computados para evitar recalculo a cada novo token gerado. Essencial para inferencia rapida mas consome memoria significativa.

Long-Term Memory e o sistema de memoria persistente de agentes de IA que armazena informacoes entre sessoes, como preferencias do usuario, historico de interacoes e conhecimento acumulado.

LSTM (Long Short-Term Memory) e uma variante de RNN com portas especiais que controlam o fluxo de informacao, resolvendo o problema de dependencias de longo prazo. Usada em series temporais e traducao.

Memory em agentes de IA e o mecanismo que permite armazenar e recuperar informacoes de interacoes anteriores, possibilitando continuidade, aprendizado e personalizacao ao longo do tempo.

Retrieval Memory e um tipo de memoria de agentes que utiliza busca semantica para recuperar informacoes relevantes de um armazenamento externo, combinando memoria de longo prazo com tecnicas de RAG.

RNN (Rede Neural Recorrente) e uma arquitetura projetada para processar dados sequenciais, mantendo uma memoria interna que captura informacoes de passos anteriores. Foi a base do NLP antes dos Transformers.

Short-Term Memory e a memoria de curto prazo de agentes de IA que mantem o contexto da conversa atual, incluindo mensagens recentes, decisoes tomadas e informacoes temporarias relevantes para a sessao.