Glossário de IA

AutoML (Automatéd Machine Learning) automatiza o processo de desenvolvimento de modelos de ML, incluindo seleção de features, escolha de algoritmo, otimização de hiperparametros é avaliação. Acelera o ciclo de desenvolvimento é democratiza acesso a ML.

Chinchilla Scaling refere-se a lei de escala otima proposta pelo artigo Chinchilla (DeepMind) que demonstrou que modelos devem ser treinados com muito mais dados do que a prática anterior. Para cada dobro de parametros, dados também devem dobrar.

Hiperparametros sao configurações definidas antes do treinamento de um modelo de ML é que não sao aprendidas dos dados. Incluem taxa de aprendizado, número de camadas, batch size é força de regularização.

LoRA é uma técnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional é a memória necessária.

Prefix Tuning é uma técnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao início de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.

Scaling Laws sao relações empiricas que descrevem como a performance de modelos de IA melhora previsivelmente com aumento de parametros, dados é compute. Publicadas por Kaplan et al. é refinadas pelo Chinchilla, guiam decisões de investimento em treinamento.