Glossário de IA

Apache Spark e um framework de processamento de dados distribuido que oferece alta performance para analytics em larga escala. Suporta processamento batch e streaming, SQL, machine learning e grafos em um unico ecossistema unificado.

Batch Processing em IA e o processamento de multiplas requisicoes de inferencia agrupadas em lotes em vez de individualmente. Maximiza uso de GPU, reduz custo por inferencia e aumenta throughput total, ideal para processamento de grandes volumes offline.

Chunking e o processo de dividir documentos grandes em segmentos menores (chunks) para processamento eficiente por modelos de IA, sendo uma etapa crucial na construcao de sistemas RAG.

GPU (Graphics Processing Unit) e um processador especializado em computacao paralela, essencial para treinamento e inferencia de modelos de deep learning e IA. Sua arquitetura com milhares de nucleos permite processar operacoes matriciais massivamente em paralelo.

Message Queue e um sistema de fila de mensagens que armazena e distribui tarefas de forma assincrona entre agentes de IA, garantindo processamento ordenado, retentativas e tolerancia a falhas.

NLP (Natural Language Processing) e a area da IA que permite a maquinas compreender, interpretar e gerar linguagem humana. Engloba tarefas como analise de sentimento, traducao automatica, chatbots e extracao de informacoes de textos.

Queue, no contexto de automacao, e uma fila de itens de trabalho que aguardam processamento por robos. Permite organizar e priorizar tarefas, distribuir carga entre multiplos bots e garantir que nenhum item seja perdido ou processado em duplicidade.

Token e a unidade basica de texto processada por modelos de linguagem, podendo representar uma palavra inteira, parte de uma palavra ou um caractere, sendo a medida fundamental de entrada e saida em LLMs.

Tokenizer e o componente que converte texto em sequencias de tokens numericos compreensiveis pelo modelo de IA, e vice-versa, usando algoritmos como BPE para segmentar texto de forma eficiente.