Glossário de IA

Chinchilla Scaling refere-se a lei de escala otima proposta pelo artigo Chinchilla (DeepMind) que demonstrou que modelos devem ser treinados com muito mais dados do que a prática anterior. Para cada dobro de parametros, dados também devem dobrar.

Context Window Scaling refere-se as técnicas para expandir a janela de contexto de LLMs além do tamanho de treinamento original. Metodos como RoPE scaling, YaRN é ALiBi permitem modelos processarem documentos com centenas de milhares de tokens.

Scalability é a capacidade de um sistema de IA crescer ou reduzir seus recursos computacionais conforme a demanda. Inclui escalabilidade horizontal (mais maquinas) é vertical (maquinas mais potentes), essêncial para manter performance com custos otimizados.

Scaling Laws sao relações empiricas que descrevem como a performance de modelos de IA melhora previsivelmente com aumento de parametros, dados é compute. Publicadas por Kaplan et al. é refinadas pelo Chinchilla, guiam decisões de investimento em treinamento.

Upscaling com IA é o processo de aumentar a resolução de imagens usando redes neurais que adicionam detalhes realistas, transformando imagens de baixa resolução em versões de alta qualidade.