Glossário de IA

Apache Spark é um framework de processamento de dados distribuido que oferece alta performance para analytics em larga escala. Suporta processamento batch é streaming, SQL, machine learning é grafos em um único ecossistema unificado.

Batch Processing em IA é o processamento de multiplas requisicoes de inferência agrupadas em lotes em vez de individualmente. Maximiza uso de GPU, reduz custo por inferência é aumenta throughput total, ideal para processamento de grandes volumes offline.

Chunking é o processo de dividir documentos grandes em segmentos menores (chunks) para processamento eficiente por modelos de IA, sendo uma etapa crucial na construção de sistemas RAG.

GPU (Graphics Processing Unit) é um processador especializado em computação paralela, essêncial para treinamento é inferência de modelos de deep learning é IA. Sua arquitetura com milhares de nucleos permite processar operações matriciais massivamente em paralelo.

Message Queue é um sistema de fila de mensagens que armazena é distribui tarefas de forma assincrona entre agentes de IA, garantindo processamento ordenado, retentativas é tolerância a falhas.

NLP (Natural Language Processing) é a área da IA que permite a maquinas compreender, interpretar é gerar linguagem humana. Engloba tarefas como análise de sentimento, traducao automática, chatbots é extracao de informações de textos.

Queue, no contexto de automação, é uma fila de itens de trabalho que aguardam processamento por robos. Permite organizar é priorizar tarefas, distribuir carga entre multiplos bots é garantir que nenhum item seja perdido ou processado em duplicidade.

Token é a unidade básica de texto processada por modelos de linguagem, podendo representar uma palavra inteira, parte de uma palavra ou um caractere, sendo a medida fundamental de entrada é saida em LLMs.

Tokenizer é o componente que converte texto em sequências de tokens numéricos compreensiveis pelo modelo de IA, é vice-versa, usando algoritmos como BPE para segmentar texto de forma eficiente.