Glossário de IA

Neural Architecture Search (NAS) e o processo automatizado de encontrar a melhor arquitetura de rede neural para uma tarefa. Usa tecnicas de busca como reinforcement learning ou evolucao para otimizar estruturas.

ONNX (Open Neural Network Exchange) e um formato aberto e interoperavel para modelos de IA. Permite exportar modelos entre frameworks como PyTorch, TensorFlow e executar em diversos runtimes otimizados.

PEFT (Parameter-Efficient Fine-Tuning) e um conjunto de tecnicas que adaptam modelos grandes treinando apenas uma pequena fracao dos parametros. Inclui LoRA, Prefix Tuning e Adapters.

Phi e uma familia de modelos de linguagem compactos da Microsoft, projetados para demonstrar que modelos pequenos podem alcançar desempenho impressionante quando treinados com dados de alta qualidade.

Positional Encoding e a tecnica que injeta informacao sobre a posicao dos tokens em Transformers, ja que self-attention nao possui nocao inerente de ordem. Usa funcoes senoidais ou embeddings aprendidos.

Pre-Training e a fase inicial de treinamento onde um modelo aprende representacoes gerais a partir de grandes volumes de dados nao-rotulados. E a base sobre a qual fine-tuning posterior especializa o modelo.

Pruning e a tecnica de remover pesos, neuronios ou camadas redundantes de uma rede neural para reduzir seu tamanho e acelerar a inferencia, mantendo a maior parte do desempenho original.

QLoRA combina quantizacao de 4 bits com LoRA para permitir fine-tuning de modelos com bilhoes de parametros em uma unica GPU consumer. Reduz requisitos de memoria mantendo qualidade.

Quantizacao e a tecnica de reduzir a precisao numerica dos pesos de um modelo (de 32 bits para 8, 4 ou ate 2 bits). Diminui uso de memoria e acelera inferencia com minima perda de qualidade.

RNN (Rede Neural Recorrente) e uma arquitetura projetada para processar dados sequenciais, mantendo uma memoria interna que captura informacoes de passos anteriores. Foi a base do NLP antes dos Transformers.

Self-Attention e o mecanismo que permite a cada token de uma sequencia calcular sua relacao com todos os outros tokens da mesma sequencia. E o componente central da arquitetura Transformer.

Sentence Transformer e um framework que gera embeddings de alta qualidade para frases e paragrafos inteiros, permitindo busca semantica, similaridade textual e clustering de documentos.

Stable Diffusion e um modelo de codigo aberto para geracao de imagens a partir de texto, desenvolvido pela Stability AI. Opera no espaco latente para maior eficiencia e permite customizacao ampla.

TensorRT e uma biblioteca de otimizacao de inferencia da NVIDIA que maximiza a velocidade de modelos de Deep Learning em GPUs. Aplica fusao de camadas, quantizacao e otimizacao de kernels automaticamente.

Tokenizacao e o processo de dividir texto em unidades menores (tokens) que servem como entrada para modelos de linguagem. Pode operar em nivel de palavra, subpalavra (BPE, SentencePiece) ou caractere.

Transformer e a arquitetura de rede neural que revolucionou o processamento de linguagem natural. Baseada em mecanismos de atencao (self-attention), e a base de modelos como GPT, BERT e Claude.

VAE (Variational Autoencoder) e uma variante probabilistica do autoencoder que aprende uma distribuicao no espaco latente, permitindo gerar novos dados coerentes. Combina redes neurais com inferencia bayesiana.

Whisper e um modelo de reconhecimento de fala da OpenAI, treinado em 680.000 horas de audio multilíngue. Realiza transcricao, traducao e deteccao de idioma com alta precisao em diversos idiomas.

Word Embedding e a representacao de palavras como vetores numericos densos em um espaco continuo, onde palavras com significados similares ficam proximas. Tecnicas incluem Word2Vec, GloVe e embeddings contextuais.

Word2Vec e um modelo pioneiro de word embedding desenvolvido pelo Google que aprende representacoes vetoriais de palavras a partir de grandes corpus de texto. Usa arquiteturas CBOW ou Skip-gram.