Glossário de IA

Batch Size e o numero de amostras de treinamento processadas antes de uma atualizacao dos pesos do modelo. Afeta a velocidade de treinamento, uso de memoria e qualidade da convergencia.

CUDA e a plataforma de computacao paralela da NVIDIA que permite utilizar GPUs para processamento de proposito geral. E o ecossistema padrao para treinamento de modelos de deep learning, com suporte em todos os principais frameworks de IA.

FAISS (Facebook AI Similarity Search) e uma biblioteca de codigo aberto desenvolvida pela Meta para busca eficiente de similaridade em grandes conjuntos de vetores. Otimizada para GPU, e capaz de indexar bilhoes de vetores com alta velocidade de consulta.

Flash Attention e uma implementacao otimizada do mecanismo de atencao que reduz acesso a memoria GPU usando tiling e recomputacao. Acelera treinamento e inferencia de Transformers em 2-4x com menor consumo de memoria sem alterar o resultado matematico.

GPU (Graphics Processing Unit) e um processador especializado em computacao paralela, essencial para treinamento e inferencia de modelos de deep learning e IA. Sua arquitetura com milhares de nucleos permite processar operacoes matriciais massivamente em paralelo.

TensorRT e uma biblioteca de otimizacao de inferencia da NVIDIA que maximiza a velocidade de modelos de Deep Learning em GPUs. Aplica fusao de camadas, quantizacao e otimizacao de kernels automaticamente.