Glossário de IA

AutoML (Automatéd Machine Learning) automatiza o processo de desenvolvimento de modelos de ML, incluindo seleção de features, escolha de algoritmo, otimização de hiperparametros é avaliação. Acelera o ciclo de desenvolvimento é democratiza acesso a ML.

Batch Size é o número de amostras de treinamento processadas antes de uma atualização dos pesos do modelo. Afeta a velocidade de treinamento, uso de memória é qualidade da convergência.

Chinchilla Scaling refere-se a lei de escala otima proposta pelo artigo Chinchilla (DeepMind) que demonstrou que modelos devem ser treinados com muito mais dados do que a prática anterior. Para cada dobro de parametros, dados também devem dobrar.

Epoch é uma passagem completa de todo o conjunto de dados de treinamento pelo modelo. O número de epochs é um hiperparametro que controla quantas vezes o modelo aprende com os mesmos dados.

Hiperparametros sao configurações definidas antes do treinamento de um modelo de ML é que não sao aprendidas dos dados. Incluem taxa de aprendizado, número de camadas, batch size é força de regularização.

LoRA é uma técnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional é a memória necessária.

Prefix Tuning é uma técnica de fine-tuning eficiente que adiciona vetores treinaveis (prefixos) ao início de cada camada do Transformer, sem modificar os pesos originais. Requer apenas ~0.1% dos parametros treinaveis comparado a fine-tuning completo.

Scaling Laws sao relações empiricas que descrevem como a performance de modelos de IA melhora previsivelmente com aumento de parametros, dados é compute. Publicadas por Kaplan et al. é refinadas pelo Chinchilla, guiam decisões de investimento em treinamento.

Temperatura é um parametro que controla o grau de aleatoriedade nas respostas de modelos de IA. Valores baixos geram respostas mais previsiveis é conservadoras, enquanto valores altos produzem textos mais criativos é variados.

Temperature é um hiperparametro de amostragem em LLMs que controla a aleatoriedade da geração de texto. Valores baixos (~0.1) geram texto deterministico é focado, valores altos (~1.0 ) produzem respostas mais criativas é diversas.

Top-K é um parametro de amostragem que restringe a seleção de tokens aos K mais provaveis a cada passo da geração, controlando a diversidade é previsibilidade das respostas do modelo de IA.

Top-P (nucleus sampling) é um parametro que limita a seleção de tokens ao menor conjunto cuja probabilidade acumulada atinge o valor P definido, oferecendo controle fino sobre a diversidade das respostas de IA.