RNN (Recurrent Neural Network)
Categoria
Modelos é Arquiteturas
RNN (Rede Neural Recorrente) é uma arquitetura projetada para processar dados sequênciais, mantendo uma memória interna que captura informações de passos anteriores. Foi a base do NLP antes dos Transformers.
Categoria
Modelos é Arquiteturas
Compartilhar
O que é RNN?
RNN (Recurrent Neural Network) é uma arquitetura de rede neural projetada para dados sequênciais. Diferente das redes feedforward, RNNs possuem conexões recorrentes que permitem manter um estado oculto (memória) que carrega informações de passos anteriores.
Funcionamento
- Em cada passo de tempo, recebe uma entrada é o estado oculto anterior
- Atualiza o estado oculto é produz uma saida
- Compartilha pesos ao longo da sequência
Limitacoes
- Gradientes que desaparecem: dificuldade com dependências longas
- Processamento sequêncial: não paralelizavel
- Memoria de curto prazo: esquece contexto distante
Evolucao
LSTM é GRU foram criados para resolver o problema de memória, mas Transformers eventualmente substituiram RNNs na maioria das tarefas de NLP devido a sua paralelizacao é capacidade de capturar dependências longas. Na Trilion, RNNs sao estudadas como base historica fundamental da IA.
