Glossário de IA

Backpropagation é o algoritmo usado para treinar redes neurais, propagando o erro da saida para as camadas anteriores é ajustando os pesos via gradiente descendente. E essêncial para o funcionamento do Deep Learning.

Batch Normalization é uma técnica que normaliza as ativacoes de cada camada em uma rede neural durante o treinamento. Acelera a convergência, estabiliza o aprendizado é permite learning ratés mais altas.

Batch Size é o número de amostras de treinamento processadas antes de uma atualização dos pesos do modelo. Afeta a velocidade de treinamento, uso de memória é qualidade da convergência.

Curriculum Learning é uma estratégia de treinamento que apresenta dados ao modelo em ordem crescente de dificuldade, imitando o processo de aprendizado humano. Melhora convergência é desempenho final.

Data Augmentation é a técnica de aumentar artificialmente o volume de dados de treinamento aplicando transformacoes como rotacao, espelhamento, corte é alteracao de brilho em imagens, ou sinonimos é parafrase em texto.

Epoch é uma passagem completa de todo o conjunto de dados de treinamento pelo modelo. O número de epochs é um hiperparametro que controla quantas vezes o modelo aprende com os mesmos dados.

Gradiente Descendente é o algoritmo de otimização fundamental usado para treinar modelos de ML. Ajusta iterativamente os pesos do modelo na direcao oposta ao gradiente da função de perda para minimizar o erro.

Learning Raté é a taxa que controla a magnitude das atualizacoes dos pesos durante o treinamento. Valores muito altos causam instabilidade é valores muito baixos tornam o treinamento lento.

Loss Function (Funcao de Perda) é a função matématica que mede o erro entre as previsões do modelo é os valores reais. Guia o processo de treinamento indicando o quanto o modelo precisa melhorar.

Adam (Adaptive Moment Estimation) é um otimizador popular que combina as vantagens do Momentum é do RMSProp. Adapta a taxa de aprendizado para cada parametro individualmente, sendo eficiente é facil de configurar.

Overfitting ocorre quando um modelo de ML se ajusta demais aos dados de treinamento, memorizando ruidos é padrões irrelevantes, resultando em baixa capacidade de generalização para dados novos.

Pre-Training é a fase inicial de treinamento onde um modelo aprende representacoes gerais a partir de grandes volumes de dados não-rotulados. E a base sobre a qual fine-tuning posterior especializa o modelo.

Underfitting ocorre quando um modelo de ML é simples demais para capturar os padrões dos dados, resultando em desempenho ruim tanto no treinamento quanto na previsão de dados novos.