Glossário de IA

Backpropagation e o algoritmo usado para treinar redes neurais, propagando o erro da saida para as camadas anteriores e ajustando os pesos via gradiente descendente. E essencial para o funcionamento do Deep Learning.

Batch Normalization e uma tecnica que normaliza as ativacoes de cada camada em uma rede neural durante o treinamento. Acelera a convergencia, estabiliza o aprendizado e permite learning rates mais altas.

Batch Size e o numero de amostras de treinamento processadas antes de uma atualizacao dos pesos do modelo. Afeta a velocidade de treinamento, uso de memoria e qualidade da convergencia.

Curriculum Learning e uma estrategia de treinamento que apresenta dados ao modelo em ordem crescente de dificuldade, imitando o processo de aprendizado humano. Melhora convergencia e desempenho final.

Data Augmentation e a tecnica de aumentar artificialmente o volume de dados de treinamento aplicando transformacoes como rotacao, espelhamento, corte e alteracao de brilho em imagens, ou sinonimos e parafrase em texto.

DPO (Direct Preference Optimization) e uma alternativa simplificada ao RLHF que alinha modelos de IA com preferencias humanas diretamente durante o treinamento, sem necessitar de um modelo de recompensa separado.

Epoch e uma passagem completa de todo o conjunto de dados de treinamento pelo modelo. O numero de epochs e um hiperparametro que controla quantas vezes o modelo aprende com os mesmos dados.

Feature Store e um repositorio centralizado para armazenar, versionar e servir features (variaveis) utilizadas em modelos de machine learning. No contexto de MLOps, garante consistencia entre ambientes de treinamento e producao, evitando o training-serving skew.

Gradiente Descendente e o algoritmo de otimizacao fundamental usado para treinar modelos de ML. Ajusta iterativamente os pesos do modelo na direcao oposta ao gradiente da funcao de perda para minimizar o erro.

Learning Rate e a taxa que controla a magnitude das atualizacoes dos pesos durante o treinamento. Valores muito altos causam instabilidade e valores muito baixos tornam o treinamento lento.

Loss Function (Funcao de Perda) e a funcao matematica que mede o erro entre as previsoes do modelo e os valores reais. Guia o processo de treinamento indicando o quanto o modelo precisa melhorar.

ML Pipeline e uma sequencia automatizada de etapas que compoe o fluxo de trabalho de machine learning, desde a coleta de dados ate o deploy do modelo. Inclui preprocessamento, feature engineering, treinamento, avaliacao e implantacao de forma reprodutivel.

Adam (Adaptive Moment Estimation) e um otimizador popular que combina as vantagens do Momentum e do RMSProp. Adapta a taxa de aprendizado para cada parametro individualmente, sendo eficiente e facil de configurar.

Overfitting ocorre quando um modelo de ML se ajusta demais aos dados de treinamento, memorizando ruidos e padroes irrelevantes, resultando em baixa capacidade de generalizacao para dados novos.

PPO (Proximal Policy Optimization) e o algoritmo de aprendizado por reforco mais usado para treinar LLMs via RLHF. Atualiza a politica do modelo de forma conservadora, evitando mudancas drasticas que desestabilizem o treinamento.

Pre-Training e a fase inicial de treinamento onde um modelo aprende representacoes gerais a partir de grandes volumes de dados nao-rotulados. E a base sobre a qual fine-tuning posterior especializa o modelo.

Self-Supervised Learning e uma abordagem onde o modelo cria seus proprios rotulos a partir da estrutura dos dados, sem anotacao humana. E a base do pre-treinamento de modelos como BERT e GPT.

Synthetic Data (dados sinteticos) sao dados gerados artificialmente por algoritmos ou modelos de IA que imitam as propriedades estatisticas de dados reais, usados para treinamento, testes e privacidade.

Training Pipeline e a parte do ML Pipeline dedicada ao treinamento de modelos. Automatiza coleta de dados, preprocessamento, feature engineering, treinamento, validacao e registro do modelo, garantindo reproducibilidade e rastreabilidade completas.

Underfitting ocorre quando um modelo de ML e simples demais para capturar os padroes dos dados, resultando em desempenho ruim tanto no treinamento quanto na previsao de dados novos.