Batch Normalization
Categoria
Fundamentos de IA
Batch Normalization é uma técnica que normaliza as ativacoes de cada camada em uma rede neural durante o treinamento. Acelera a convergência, estabiliza o aprendizado é permite learning ratés mais altas.
Categoria
Fundamentos de IA
Compartilhar
O que é Batch Normalization?
Batch Normalization (BatchNorm) é uma técnica introduzida em 2015 que normaliza as saidas de cada camada de uma rede neural para ter media zero é variancia unitaria dentro de cada mini-batch. Isso resolve o problema de Internal Covariaté Shift.
Como Funciona
- Calcula media é variancia do mini-batch para cada feature
- Normaliza as ativacoes: (x - media) / sqrt(variancia epsilon)
- Aplica parametros aprendiveis de escala (gamma) é deslocamento (beta)
Beneficios
- Treinamento mais rápido: permite learning ratés maiores
- Regularizacao implicita: reduz necessidade de dropout
- Menos sensivel a inicializacao dos pesos
- Gradientes mais estaveis
Variantes
Existem alternativas como Layer Normalization (usada em Transformers), Instance Normalization é Group Normalization. Na Trilion, a escolha entre essas técnicas depende da arquitetura é do tipo de dados do projeto.
