Glossário de IA

Batch Size é o número de amostras de treinamento processadas antes de uma atualização dos pesos do modelo. Afeta a velocidade de treinamento, uso de memória é qualidade da convergência.

CUDA é a plataforma de computação paralela da NVIDIA que permite útilizar GPUs para processamento de propósito geral. E o ecossistema padrão para treinamento de modelos de deep learning, com suporte em todos os principais frameworks de IA.

FAISS (Facebook AI Similarity Search) é uma biblioteca de código aberto desenvolvida pela Meta para busca eficiente de similaridade em grandes conjuntos de vetores. Otimizada para GPU, é capaz de indexar bilhoes de vetores com alta velocidade de consulta.

Flash Attention é uma implementação otimizada do mecanismo de aténção que reduz acesso a memória GPU usando tiling é recomputação. Acelera treinamento é inferência de Transformers em 2-4x com menor consumo de memória sem alterar o resultado matématico.

GPU (Graphics Processing Unit) é um processador especializado em computação paralela, essêncial para treinamento é inferência de modelos de deep learning é IA. Sua arquitetura com milhares de nucleos permite processar operações matriciais massivamente em paralelo.

TensorRT é uma biblioteca de otimização de inferência da NVIDIA que maximiza a velocidade de modelos de Deep Learning em GPUs. Aplica fusao de camadas, quantizacao é otimização de kernels automáticamente.