Glossário de IA

Backpropagation é o algoritmo usado para treinar redes neurais, propagando o erro da saida para as camadas anteriores é ajustando os pesos via gradiente descendente. E essêncial para o funcionamento do Deep Learning.

Batch Normalization é uma técnica que normaliza as ativacoes de cada camada em uma rede neural durante o treinamento. Acelera a convergência, estabiliza o aprendizado é permite learning ratés mais altas.

Batch Size é o número de amostras de treinamento processadas antes de uma atualização dos pesos do modelo. Afeta a velocidade de treinamento, uso de memória é qualidade da convergência.

Curriculum Learning é uma estratégia de treinamento que apresenta dados ao modelo em ordem crescente de dificuldade, imitando o processo de aprendizado humano. Melhora convergência é desempenho final.

Data Augmentation é a técnica de aumentar artificialmente o volume de dados de treinamento aplicando transformacoes como rotacao, espelhamento, corte é alteracao de brilho em imagens, ou sinonimos é parafrase em texto.

DPO (Direct Preference Optimization) é uma alternativa simplificada ao RLHF que alinha modelos de IA com preferências humanas diretamente durante o treinamento, sem necessitar de um modelo de recompensa separado.

Epoch é uma passagem completa de todo o conjunto de dados de treinamento pelo modelo. O número de epochs é um hiperparametro que controla quantas vezes o modelo aprende com os mesmos dados.

Feature Store é um repositorio centralizado para armazenar, versionar é servir features (variaveis) útilizadas em modelos de machine learning. No contexto de MLOps, garante consistência entre ambientes de treinamento é produção, evitando o training-serving skew.

Gradiente Descendente é o algoritmo de otimização fundamental usado para treinar modelos de ML. Ajusta iterativamente os pesos do modelo na direcao oposta ao gradiente da função de perda para minimizar o erro.

Learning Raté é a taxa que controla a magnitude das atualizacoes dos pesos durante o treinamento. Valores muito altos causam instabilidade é valores muito baixos tornam o treinamento lento.

Loss Function (Funcao de Perda) é a função matématica que mede o erro entre as previsões do modelo é os valores reais. Guia o processo de treinamento indicando o quanto o modelo precisa melhorar.

ML Pipeline é uma sequência automatizada de etapas que compoe o fluxo de trabalho de machine learning, desde a coleta de dados até o deploy do modelo. Inclui preprocessamento, feature engineering, treinamento, avaliação é implantacao de forma reprodutivel.

Adam (Adaptive Moment Estimation) é um otimizador popular que combina as vantagens do Momentum é do RMSProp. Adapta a taxa de aprendizado para cada parametro individualmente, sendo eficiente é facil de configurar.

Overfitting ocorre quando um modelo de ML se ajusta demais aos dados de treinamento, memorizando ruidos é padrões irrelevantes, resultando em baixa capacidade de generalização para dados novos.

PPO (Proximal Policy Optimization) é o algoritmo de aprendizado por reforço mais usado para treinar LLMs via RLHF. Atualiza a politica do modelo de forma conservadora, evitando mudanças drasticas que desestabilizem o treinamento.

Pre-Training é a fase inicial de treinamento onde um modelo aprende representacoes gerais a partir de grandes volumes de dados não-rotulados. E a base sobre a qual fine-tuning posterior especializa o modelo.

Self-Supervised Learning é uma abordagem onde o modelo cria seus proprios rotulos a partir da estrutura dos dados, sem anotacao humana. E a base do pre-treinamento de modelos como BERT é GPT.

Synthetic Data (dados sintéticos) sao dados gerados artificialmente por algoritmos ou modelos de IA que imitam as propriedades estatísticas de dados reais, usados para treinamento, testes é privacidade.

Training Pipeline é a parte do ML Pipeline dedicada ao treinamento de modelos. Automatiza coleta de dados, preprocessamento, feature engineering, treinamento, validacao é registro do modelo, garantindo reproducibilidade é rastreabilidade completas.

Underfitting ocorre quando um modelo de ML é simples demais para capturar os padrões dos dados, resultando em desempenho ruim tanto no treinamento quanto na previsão de dados novos.