Glossário de IA

Chunking e o processo de dividir documentos grandes em segmentos menores (chunks) para processamento eficiente por modelos de IA, sendo uma etapa crucial na construcao de sistemas RAG.

Nucleus Sampling (top-p) e uma estrategia de amostragem que seleciona tokens do menor conjunto cuja probabilidade acumulada excede um limiar p. Equilibra diversidade e coerencia na geracao de texto, sendo preferida para conversacao e escrita criativa.

RAFT (Retrieval Augmented Fine-Tuning) combina RAG com fine-tuning, treinando o modelo para melhor utilizar documentos recuperados ao responder perguntas. O modelo aprende a extrair informacoes relevantes de contexto fornecido e ignorar distratores.

RAG (Retrieval-Augmented Generation) e uma tecnica que combina busca em bases de conhecimento externas com geracao de texto por IA, permitindo respostas mais precisas e fundamentadas em dados atualizados.

Recommendation Engine e um sistema de IA que sugere produtos, conteudo ou servicos personalizados para cada usuario. Utiliza tecnicas como filtragem colaborativa, baseada em conteudo e hibrida para prever preferencias e aumentar engajamento e vendas.

Retrieval Memory e um tipo de memoria de agentes que utiliza busca semantica para recuperar informacoes relevantes de um armazenamento externo, combinando memoria de longo prazo com tecnicas de RAG.

Temperature e um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geracao de texto. Valores baixos (~0.1) geram texto deterministico e focado, valores altos (~1.0 ) produzem respostas mais criativas e diversas.

Top-K e um parametro de amostragem que restringe a selecao de tokens aos K mais provaveis a cada passo da geracao, controlando a diversidade e previsibilidade das respostas do modelo de IA.

Top-P (nucleus sampling) e um parametro que limita a selecao de tokens ao menor conjunto cuja probabilidade acumulada atinge o valor P definido, oferecendo controle fino sobre a diversidade das respostas de IA.

Vector Database e um banco de dados especializado em armazenar e buscar vetores de alta dimensao (embeddings). Essencial para aplicacoes de IA como busca semantica, sistemas de recomendacao e Retrieval-Augmented Generation (RAG) com LLMs.