RNN (Recurrent Neural Network)
Categoria
Modelos e Arquiteturas
RNN (Rede Neural Recorrente) e uma arquitetura projetada para processar dados sequenciais, mantendo uma memoria interna que captura informacoes de passos anteriores. Foi a base do NLP antes dos Transformers.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e RNN?
RNN (Recurrent Neural Network) e uma arquitetura de rede neural projetada para dados sequenciais. Diferente das redes feedforward, RNNs possuem conexoes recorrentes que permitem manter um estado oculto (memoria) que carrega informacoes de passos anteriores.
Funcionamento
- Em cada passo de tempo, recebe uma entrada e o estado oculto anterior
- Atualiza o estado oculto e produz uma saida
- Compartilha pesos ao longo da sequencia
Limitacoes
- Gradientes que desaparecem: dificuldade com dependencias longas
- Processamento sequencial: nao paralelizavel
- Memoria de curto prazo: esquece contexto distante
Evolucao
LSTM e GRU foram criados para resolver o problema de memoria, mas Transformers eventualmente substituiram RNNs na maioria das tarefas de NLP devido a sua paralelizacao e capacidade de capturar dependencias longas. Na Trilion, RNNs sao estudadas como base historica fundamental da IA.
