Glossário de IA

AutoML (Automated Machine Learning) automatiza o processo de desenvolvimento de modelos de ML, incluindo selecao de features, escolha de algoritmo, otimizacao de hiperparametros e avaliacao. Acelera o ciclo de desenvolvimento e democratiza acesso a ML.

Batch Size e o numero de amostras de treinamento processadas antes de uma atualizacao dos pesos do modelo. Afeta a velocidade de treinamento, uso de memoria e qualidade da convergencia.

Chinchilla Scaling refere-se a lei de escala otima proposta pelo artigo Chinchilla (DeepMind) que demonstrou que modelos devem ser treinados com muito mais dados do que a pratica anterior. Para cada dobro de parametros, dados tambem devem dobrar.

Epoch e uma passagem completa de todo o conjunto de dados de treinamento pelo modelo. O numero de epochs e um hiperparametro que controla quantas vezes o modelo aprende com os mesmos dados.

Hiperparametros sao configuracoes definidas antes do treinamento de um modelo de ML e que nao sao aprendidas dos dados. Incluem taxa de aprendizado, numero de camadas, batch size e forca de regularizacao.

LoRA e uma tecnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional e a memoria necessaria.

Prefix Tuning e uma tecnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao inicio de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.

Scaling Laws sao relacoes empiricas que descrevem como a performance de modelos de IA melhora previsivelmente com aumento de parametros, dados e compute. Publicadas por Kaplan et al. e refinadas pelo Chinchilla, guiam decisoes de investimento em treinamento.

Temperatura e um parametro que controla o grau de aleatoriedade nas respostas de modelos de IA. Valores baixos geram respostas mais previsiveis e conservadoras, enquanto valores altos produzem textos mais criativos e variados.

Temperature e um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geracao de texto. Valores baixos (~0.1) geram texto deterministico e focado, valores altos (~1.0 ) produzem respostas mais criativas e diversas.

Top-K e um parametro de amostragem que restringe a selecao de tokens aos K mais provaveis a cada passo da geracao, controlando a diversidade e previsibilidade das respostas do modelo de IA.

Top-P (nucleus sampling) e um parametro que limita a selecao de tokens ao menor conjunto cuja probabilidade acumulada atinge o valor P definido, oferecendo controle fino sobre a diversidade das respostas de IA.