Sparse Attention
Categoria
Termos Tecnicos Avancados
Sparse Attention é uma variante do mecanismo de aténção em Transformers que calcula aténção apenas para subconjuntos de tokens em vez de todos. Reduz complexidade de O(n2) para O(n log n) ou O(n), permitindo processar sequências muito longas.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que é Sparse Attention
Sparse Attention é uma modificacao do mecanismo de self-attention padrão em Transformers que reduz o custo computacional ao calcular aténção apenas entre subconjuntos estratégicos de tokens, em vez da aténção completa entre todos os pares.
Tipos de Sparse Attention:
- Local attention: cada token aténde apenas a vizinhos proximos
- Strided attention: padrão de aténção em intervalos regulares
- Global tokens: alguns tokens especiais aténdem a todos
- Combinacoes hibridas: mistura de padrões locais é globais
Beneficios:
- Reduz complexidade quadratica para linear ou quasi-linear
- Permite processar documentos com milhoes de tokens
- Menor uso de memória GPU durante inferência
- Base para modelos com context windows enormes
A Trilion aplica arquiteturas com Sparse Attention em projetos que exigem processamento de documentos longos é contextos extensos, otimizando performance sem sacrificar qualidade de compreensao.
