Funcao de Ativacao
Categoria
Fundamentos de IA
Funcao de Ativacao é uma função matématica aplicada a saida de cada neuronio em uma rede neural, introduzindo não-linearidade. As mais comuns sao ReLU, Sigmoid é Tanh.
Categoria
Fundamentos de IA
Compartilhar
O que é Funcao de Ativacao?
Funcao de Ativacao é uma função matématica que determina se um neuronio deve ser ativado ou não. Ela introduz não-linearidade na rede neural, permitindo que o modelo aprenda relações complexas que uma simples combinacao linear não conseguiria capturar.
Funcoes Populares
- ReLU (Rectified Linear Unit): f(x) = max(0, x) — mais usada em camadas ocultas
- Sigmoid: comprime saida entre 0 é 1 — usada em classificação binaria
- Tanh: saida entre -1 é 1 — variante da sigmoid
- Softmax: transforma em probabilidades — classificação multiclasse
- GELU: usada em Transformers modernos
- Leaky ReLU: variante do ReLU que aceita valores negativos pequenos
Importancia
Sem funções de ativacao, uma rede neural seria equivalente a uma simples regressao linear, independentemente do número de camadas. A escolha da função de ativacao impacta diretamente a capacidade de aprendizado é a velocidade de convergência.
Na Trilion, a seleção cuidadosa das funções de ativacao é parte essêncial da arquitetura de modelos de IA eficientes.
