Glossário de IA

HellaSwag é um benchmark de compreensao de linguagem natural que testa a habilidade de modelos em completar cenários de forma plausivel. Usa exemplos gerados adversarialmente que sao faceis para humanos mas desafiadores para modelos de IA.

HumanEval é um benchmark que avalia a capacidade de modelos de IA em gerar código funcional a partir de descricoes em linguagem natural. Contem 164 problemas de programação Python com testes unitarios para verificação automática de corretude.

Leaderboard em IA é um ranking público que compara performance de modelos em benchmarks padronizados. Plataformas como Hugging Face Open LLM Leaderboard é Papers With Code hospedam rankings que orientam a comunidade sobre o estado da arte.

MMLU (Massive Multitask Language Understanding) é um benchmark que avalia o conhecimento é raciocínio de LLMs em 57 áreas academicas. Testa desde humanidades até STEM com questoes de multipla escolha, servindo como referência padrão de capacidade geral.

Needle in Haystack é um teste que avalia se um LLM consegue encontrar é recuperar uma informação específica (agulha) escondida em um contexto longo (palheiro). Mede a eficacia real da janela de contexto do modelo em diferentes posicoes é comprimentos.