Funcao de Ativacao
Categoria
Fundamentos de IA
Funcao de Ativacao e uma funcao matematica aplicada a saida de cada neuronio em uma rede neural, introduzindo nao-linearidade. As mais comuns sao ReLU, Sigmoid e Tanh.
Categoria
Fundamentos de IA
Compartilhar
O que e Funcao de Ativacao?
Funcao de Ativacao e uma funcao matematica que determina se um neuronio deve ser ativado ou nao. Ela introduz nao-linearidade na rede neural, permitindo que o modelo aprenda relacoes complexas que uma simples combinacao linear nao conseguiria capturar.
Funcoes Populares
- ReLU (Rectified Linear Unit): f(x) = max(0, x) — mais usada em camadas ocultas
- Sigmoid: comprime saida entre 0 e 1 — usada em classificacao binaria
- Tanh: saida entre -1 e 1 — variante da sigmoid
- Softmax: transforma em probabilidades — classificacao multiclasse
- GELU: usada em Transformers modernos
- Leaky ReLU: variante do ReLU que aceita valores negativos pequenos
Importancia
Sem funcoes de ativacao, uma rede neural seria equivalente a uma simples regressao linear, independentemente do numero de camadas. A escolha da funcao de ativacao impacta diretamente a capacidade de aprendizado e a velocidade de convergencia.
Na Trilion, a selecao cuidadosa das funcoes de ativacao e parte essencial da arquitetura de modelos de IA eficientes.
