Glossário de IA

Chinchilla Scaling refere-se a lei de escala otima proposta pelo artigo Chinchilla (DeepMind) que demonstrou que modelos devem ser treinados com muito mais dados do que a pratica anterior. Para cada dobro de parametros, dados tambem devem dobrar.

Context Window Scaling refere-se as tecnicas para expandir a janela de contexto de LLMs alem do tamanho de treinamento original. Metodos como RoPE scaling, YaRN e ALiBi permitem modelos processarem documentos com centenas de milhares de tokens.

Scalability e a capacidade de um sistema de IA crescer ou reduzir seus recursos computacionais conforme a demanda. Inclui escalabilidade horizontal (mais maquinas) e vertical (maquinas mais potentes), essencial para manter performance com custos otimizados.

Scaling Laws sao relacoes empiricas que descrevem como a performance de modelos de IA melhora previsivelmente com aumento de parametros, dados e compute. Publicadas por Kaplan et al. e refinadas pelo Chinchilla, guiam decisoes de investimento em treinamento.

Upscaling com IA e o processo de aumentar a resolucao de imagens usando redes neurais que adicionam detalhes realistas, transformando imagens de baixa resolucao em versoes de alta qualidade.