Glossário de IA

Backpropagation e o algoritmo usado para treinar redes neurais, propagando o erro da saida para as camadas anteriores e ajustando os pesos via gradiente descendente. E essencial para o funcionamento do Deep Learning.

Batch Normalization e uma tecnica que normaliza as ativacoes de cada camada em uma rede neural durante o treinamento. Acelera a convergencia, estabiliza o aprendizado e permite learning rates mais altas.

Batch Size e o numero de amostras de treinamento processadas antes de uma atualizacao dos pesos do modelo. Afeta a velocidade de treinamento, uso de memoria e qualidade da convergencia.

Curriculum Learning e uma estrategia de treinamento que apresenta dados ao modelo em ordem crescente de dificuldade, imitando o processo de aprendizado humano. Melhora convergencia e desempenho final.

Data Augmentation e a tecnica de aumentar artificialmente o volume de dados de treinamento aplicando transformacoes como rotacao, espelhamento, corte e alteracao de brilho em imagens, ou sinonimos e parafrase em texto.

Epoch e uma passagem completa de todo o conjunto de dados de treinamento pelo modelo. O numero de epochs e um hiperparametro que controla quantas vezes o modelo aprende com os mesmos dados.

Gradiente Descendente e o algoritmo de otimizacao fundamental usado para treinar modelos de ML. Ajusta iterativamente os pesos do modelo na direcao oposta ao gradiente da funcao de perda para minimizar o erro.

Learning Rate e a taxa que controla a magnitude das atualizacoes dos pesos durante o treinamento. Valores muito altos causam instabilidade e valores muito baixos tornam o treinamento lento.

Loss Function (Funcao de Perda) e a funcao matematica que mede o erro entre as previsoes do modelo e os valores reais. Guia o processo de treinamento indicando o quanto o modelo precisa melhorar.

Adam (Adaptive Moment Estimation) e um otimizador popular que combina as vantagens do Momentum e do RMSProp. Adapta a taxa de aprendizado para cada parametro individualmente, sendo eficiente e facil de configurar.

Overfitting ocorre quando um modelo de ML se ajusta demais aos dados de treinamento, memorizando ruidos e padroes irrelevantes, resultando em baixa capacidade de generalizacao para dados novos.

Pre-Training e a fase inicial de treinamento onde um modelo aprende representacoes gerais a partir de grandes volumes de dados nao-rotulados. E a base sobre a qual fine-tuning posterior especializa o modelo.

Underfitting ocorre quando um modelo de ML e simples demais para capturar os padroes dos dados, resultando em desempenho ruim tanto no treinamento quanto na previsao de dados novos.