Glossário de IA

HellaSwag e um benchmark de compreensao de linguagem natural que testa a habilidade de modelos em completar cenarios de forma plausivel. Usa exemplos gerados adversarialmente que sao faceis para humanos mas desafiadores para modelos de IA.

HumanEval e um benchmark que avalia a capacidade de modelos de IA em gerar codigo funcional a partir de descricoes em linguagem natural. Contem 164 problemas de programacao Python com testes unitarios para verificacao automatica de corretude.

Leaderboard em IA e um ranking publico que compara performance de modelos em benchmarks padronizados. Plataformas como Hugging Face Open LLM Leaderboard e Papers With Code hospedam rankings que orientam a comunidade sobre o estado da arte.

MMLU (Massive Multitask Language Understanding) e um benchmark que avalia o conhecimento e raciocinio de LLMs em 57 areas academicas. Testa desde humanidades ate STEM com questoes de multipla escolha, servindo como referencia padrao de capacidade geral.

Needle in Haystack e um teste que avalia se um LLM consegue encontrar e recuperar uma informacao especifica (agulha) escondida em um contexto longo (palheiro). Mede a eficacia real da janela de contexto do modelo em diferentes posicoes e comprimentos.