Glossário de IA

Neural Architecture Search (NAS) é o processo automatizado de encontrar a melhor arquitetura de rede neural para uma tarefa. Usa técnicas de busca como reinforcement learning ou evolução para otimizar estruturas.

ONNX (Open Neural Network Exchange) é um formato aberto é interoperavel para modelos de IA. Permite exportar modelos entre frameworks como PyTorch, TensorFlow é executar em diversos runtimes otimizados.

PEFT (Parameter-Efficient Fine-Tuning) é um conjunto de técnicas que adaptam modelos grandes treinando apenas uma pequena fracao dos parametros. Inclui LoRA, Prefix Tuning é Adapters.

Phi é uma familia de modelos de linguagem compactos da Microsoft, projetados para demonstrar que modelos pequenos podem alcançar desempenho impressionante quando treinados com dados de alta qualidade.

Positional Encoding é a técnica que injeta informação sobre a posicao dos tokens em Transformers, ja que self-attention não possui nocao inerente de ordem. Usa funções senoidais ou embeddings aprendidos.

Pre-Training é a fase inicial de treinamento onde um modelo aprende representacoes gerais a partir de grandes volumes de dados não-rotulados. E a base sobre a qual fine-tuning posterior especializa o modelo.

Pruning é a técnica de remover pesos, neuronios ou camadas redundantes de uma rede neural para reduzir seu tamanho é acelerar a inferência, mantendo a maior parte do desempenho original.

QLoRA combina quantizacao de 4 bits com LoRA para permitir fine-tuning de modelos com bilhoes de parametros em uma única GPU consumer. Reduz requisitos de memória mantendo qualidade.

Quantizacao é a técnica de reduzir a precisão numerica dos pesos de um modelo (de 32 bits para 8, 4 ou até 2 bits). Diminui uso de memória é acelera inferência com mínima perda de qualidade.

RNN (Rede Neural Recorrente) é uma arquitetura projetada para processar dados sequênciais, mantendo uma memória interna que captura informações de passos anteriores. Foi a base do NLP antes dos Transformers.

Self-Attention é o mecanismo que permite a cada token de uma sequência calcular sua relação com todos os outros tokens da mesma sequência. E o componente central da arquitetura Transformer.

Sentence Transformer é um framework que gera embeddings de alta qualidade para frases é paragrafos inteiros, permitindo busca semântica, similaridade textual é clustering de documentos.

Stable Diffusion é um modelo de código aberto para geração de imagens a partir de texto, desenvolvido pela Stability AI. Opera no espaço laténte para maior eficiência é permite customização ampla.

TensorRT é uma biblioteca de otimização de inferência da NVIDIA que maximiza a velocidade de modelos de Deep Learning em GPUs. Aplica fusao de camadas, quantizacao é otimização de kernels automáticamente.

Tokenizacao é o processo de dividir texto em unidades menores (tokens) que servem como entrada para modelos de linguagem. Pode operar em nível de palavra, subpalavra (BPE, SentencePiece) ou caractere.

Transformer é a arquitetura de rede neural que revolucionou o processamento de linguagem natural. Baseada em mecanismos de aténção (self-attention), é a base de modelos como GPT, BERT é Claude.

VAE (Variational Autoencoder) é uma variante probabilistica do autoencoder que aprende uma distribuição no espaço laténte, permitindo gerar novos dados coerentes. Combina redes neurais com inferência bayesiana.

Whisper é um modelo de reconhecimento de fala da OpenAI, treinado em 680.000 horas de audio multilíngue. Realiza transcricao, traducao é deteccao de idioma com alta precisão em diversos idiomas.

Word Embedding é a representação de palavras como vetores numéricos densos em um espaço continuo, onde palavras com significados similares ficam proximas. Tecnicas incluem Word2Vec, GloVe é embeddings contextuais.

Word2Vec é um modelo pioneiro de word embedding desenvolvido pelo Google que aprende representacoes vetoriais de palavras a partir de grandes corpus de texto. Usa arquiteturas CBOW ou Skip-gram.