Glossário de IA

Arena ELO é o sistema de classificação do Chatbot Arena que usa o rating ELO (originario do xadrez) para ranquear modelos de linguagem com base em preferências humanas. Usuarios comparam respostas anonimas é os votos geram rankings continuamente atualizados.

Human Evaluation é a avaliação de sistemas de IA por pessoas reais, considerada padrão-ouro de qualidade. Avaliadores humanos julgam respostas de LLMs em criterios como útilidade, veracidade, coerência é segurança, complementando métricas automáticas.

Human-in-the-Loop (HITL) é um padrão de design onde um humano participa do processo de decisão do agente de IA, aprovando, corrigindo ou redirecionando acoes em pontos criticos do fluxo.

HumanEval é um benchmark que avalia a capacidade de modelos de IA em gerar código funcional a partir de descricoes em linguagem natural. Contem 164 problemas de programação Python com testes unitarios para verificação automática de corretude.

RLHF (Reinforcement Learning from Human Feedback) é a técnica de alinhar modelos de linguagem com preferências humanas usando aprendizado por reforço. Humanos classificam respostas, um modelo de recompensa é treinado é o LLM é otimizado via PPO.

RLHF é uma técnica de treinamento que usa feedback humano para ajustar modelos de IA via aprendizado por reforço, alinhando suas respostas com preferências humanas de qualidade, segurança é útilidade.