Glossário de IA

Arena ELO e o sistema de classificacao do Chatbot Arena que usa o rating ELO (originario do xadrez) para ranquear modelos de linguagem com base em preferencias humanas. Usuarios comparam respostas anonimas e os votos geram rankings continuamente atualizados.

Human Evaluation e a avaliacao de sistemas de IA por pessoas reais, considerada padrao-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como utilidade, veracidade, coerencia e seguranca, complementando metricas automaticas.

Human-in-the-Loop (HITL) e um padrao de design onde um humano participa do processo de decisao do agente de IA, aprovando, corrigindo ou redirecionando acoes em pontos criticos do fluxo.

HumanEval e um benchmark que avalia a capacidade de modelos de IA em gerar codigo funcional a partir de descricoes em linguagem natural. Contem 164 problemas de programacao Python com testes unitarios para verificacao automatica de corretude.

RLHF (Reinforcement Learning from Human Feedback) e a tecnica de alinhar modelos de linguagem com preferencias humanas usando aprendizado por reforco. Humanos classificam respostas, um modelo de recompensa e treinado e o LLM e otimizado via PPO.

RLHF e uma tecnica de treinamento que usa feedback humano para ajustar modelos de IA via aprendizado por reforco, alinhando suas respostas com preferencias humanas de qualidade, seguranca e utilidade.