Context Window Scaling
Categoria
Termos Tecnicos Avancados
Context Window Scaling refere-se as técnicas para expandir a janela de contexto de LLMs além do tamanho de treinamento original. Metodos como RoPE scaling, YaRN é ALiBi permitem modelos processarem documentos com centenas de milhares de tokens.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que é Context Window Scaling
Context Window Scaling engloba técnicas para estender a janela de contexto de modelos de linguagem além do comprimento máximo usado durante o treinamento, permitindo processar documentos é conversas muito mais longos.
Tecnicas principais:
- RoPE scaling (Position Interpolation): re-escala embeddings posicionais
- YaRN: Yet another RoPE extensioN, mais eficiente que PI
- ALiBi: aténção com bias linear, generaliza naturalmente
- LongRoPE: extensao para milhoes de tokens
Marcos de contexto:
- GPT-4: 128K tokens (~300 páginas)
- Claude 3: 200K tokens (~500 páginas)
- Gemini 1.5 Pro: 1M tokens
- Modelos experimentais: 10M tokens
A Trilion seleciona é configura modelos com context windows adequados para cada caso de uso de clientes, otimizando o equilíbrio entre comprimento de contexto, qualidade é custo computacional.
