Glossário de IA

AutoML (Automated Machine Learning) automatiza o processo de desenvolvimento de modelos de ML, incluindo selecao de features, escolha de algoritmo, otimizacao de hiperparametros e avaliacao. Acelera o ciclo de desenvolvimento e democratiza acesso a ML.

Chinchilla Scaling refere-se a lei de escala otima proposta pelo artigo Chinchilla (DeepMind) que demonstrou que modelos devem ser treinados com muito mais dados do que a pratica anterior. Para cada dobro de parametros, dados tambem devem dobrar.

Hiperparametros sao configuracoes definidas antes do treinamento de um modelo de ML e que nao sao aprendidas dos dados. Incluem taxa de aprendizado, numero de camadas, batch size e forca de regularizacao.

LoRA e uma tecnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional e a memoria necessaria.

Prefix Tuning e uma tecnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao inicio de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.

Scaling Laws sao relacoes empiricas que descrevem como a performance de modelos de IA melhora previsivelmente com aumento de parametros, dados e compute. Publicadas por Kaplan et al. e refinadas pelo Chinchilla, guiam decisoes de investimento em treinamento.