Context Window Scaling
Categoria
Termos Tecnicos Avancados
Context Window Scaling refere-se as tecnicas para expandir a janela de contexto de LLMs alem do tamanho de treinamento original. Metodos como RoPE scaling, YaRN e ALiBi permitem modelos processarem documentos com centenas de milhares de tokens.
Categoria
Termos Tecnicos Avancados
Compartilhar
O que e Context Window Scaling
Context Window Scaling engloba tecnicas para estender a janela de contexto de modelos de linguagem alem do comprimento maximo usado durante o treinamento, permitindo processar documentos e conversas muito mais longos.
Tecnicas principais:
- RoPE scaling (Position Interpolation): re-escala embeddings posicionais
- YaRN: Yet another RoPE extensioN, mais eficiente que PI
- ALiBi: atencao com bias linear, generaliza naturalmente
- LongRoPE: extensao para milhoes de tokens
Marcos de contexto:
- GPT-4: 128K tokens (~300 paginas)
- Claude 3: 200K tokens (~500 paginas)
- Gemini 1.5 Pro: 1M tokens
- Modelos experimentais: 10M tokens
A Trilion seleciona e configura modelos com context windows adequados para cada caso de uso de clientes, otimizando o equilibrio entre comprimento de contexto, qualidade e custo computacional.
