Batch Normalization
Categoria
Fundamentos de IA
Batch Normalization e uma tecnica que normaliza as ativacoes de cada camada em uma rede neural durante o treinamento. Acelera a convergencia, estabiliza o aprendizado e permite learning rates mais altas.
Categoria
Fundamentos de IA
Compartilhar
O que e Batch Normalization?
Batch Normalization (BatchNorm) e uma tecnica introduzida em 2015 que normaliza as saidas de cada camada de uma rede neural para ter media zero e variancia unitaria dentro de cada mini-batch. Isso resolve o problema de Internal Covariate Shift.
Como Funciona
- Calcula media e variancia do mini-batch para cada feature
- Normaliza as ativacoes: (x - media) / sqrt(variancia epsilon)
- Aplica parametros aprendiveis de escala (gamma) e deslocamento (beta)
Beneficios
- Treinamento mais rapido: permite learning rates maiores
- Regularizacao implicita: reduz necessidade de dropout
- Menos sensivel a inicializacao dos pesos
- Gradientes mais estaveis
Variantes
Existem alternativas como Layer Normalization (usada em Transformers), Instance Normalization e Group Normalization. Na Trilion, a escolha entre essas tecnicas depende da arquitetura e do tipo de dados do projeto.
