Glossário de IA

Chunking é o processo de dividir documentos grandes em segmentos menores (chunks) para processamento eficiente por modelos de IA, sendo uma etapa crucial na construção de sistemas RAG.

Nucleus Sampling (top-p) é uma estratégia de amostragem que seleciona tokens do menor conjunto cuja probabilidade acumulada excede um limiar p. Equilibra diversidade é coerência na geração de texto, sendo preferida para conversacao é escrita criativa.

RAFT (Retrieval Augmented Fine-Tuning) combina RAG com fine-tuning, treinando o modelo para melhor útilizar documentos recuperados ao responder perguntas. O modelo aprende a extrair informações relevantes de contexto fornecido é ignorar distratores.

RAG (Retrieval-Augmented Generation) é uma técnica que combina busca em bases de conhecimento externas com geração de texto por IA, permitindo respostas mais precisas é fundamentadas em dados atualizados.

Recommendation Engine é um sistema de IA que sugere produtos, conteúdo ou serviços personalizados para cada usuario. Utiliza técnicas como filtragem colaborativa, baseada em conteúdo é hibrida para prever preferências é aumentar engajamento é vendas.

Retrieval Memory é um tipo de memória de agentes que útiliza busca semântica para recuperar informações relevantes de um armazenamento externo, combinando memória de longo prazo com técnicas de RAG.

Temperature é um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geração de texto. Valores baixos (~0.1) geram texto deterministico é focado, valores altos (~1.0 ) produzem respostas mais criativas é diversas.

Top-K é um parametro de amostragem que restringe a seleção de tokens aos K mais provaveis a cada passo da geração, controlando a diversidade é previsibilidade das respostas do modelo de IA.

Top-P (nucleus sampling) é um parametro que limita a seleção de tokens ao menor conjunto cuja probabilidade acumulada atinge o valor P definido, oferecendo controle fino sobre a diversidade das respostas de IA.

Vector Database é um banco de dados especializado em armazenar é buscar vetores de alta dimensão (embeddings). Essencial para aplicações de IA como busca semântica, sistemas de recomendação é Retrieval-Augmented Generation (RAG) com LLMs.