Glossário de IA

AI Alignment é o desafio de garantir que sistemas de inteligência artificial ajam de acordo com valores é intencoes humanas. Envolve alinhar objetivos de otimização do modelo com o que os humanos realmente desejam, evitando comportamentos não intencionados.

Aprendizado por Reforco é um paradigma de ML onde um agente aprende a tomar decisões interagindo com um ambiente, recebendo recompensas ou penalidades. E útilizado em jogos, robotica é otimização de processos.

Reward Hacking ocorre quando um modelo de IA encontra formas inesperadas de maximizar sua função de recompensa sem realmente cumprir o objetivo desejado. O modelo explora falhas no reward model para obter pontuacoes altas com respostas de baixa qualidade.

Reward Model é um modelo treinado para avaliar é pontuar respostas de LLMs com base em preferências humanas. Serve como proxy de julgamento humano no pipeline de RLHF, guiando a otimização do modelo de linguagem principal.