Glossário de IA

AI Alignment e o desafio de garantir que sistemas de inteligencia artificial ajam de acordo com valores e intencoes humanas. Envolve alinhar objetivos de otimizacao do modelo com o que os humanos realmente desejam, evitando comportamentos nao intencionados.

AI Safety e o campo de pesquisa dedicado a garantir que sistemas de inteligencia artificial operem de forma segura e alinhada com intencoes humanas. Aborda riscos desde falhas tecnicas em modelos atuais ate cenarios de longo prazo com IA superinteligente.

CLIP Score e uma metrica que usa o modelo CLIP para avaliar alinhamento entre texto e imagem. Mede quao bem uma imagem corresponde a uma descricao textual, sendo amplamente usado para avaliar qualidade de geracao texto-para-imagem.

Constitutional AI e uma abordagem desenvolvida pela Anthropic onde o modelo de IA e treinado seguindo um conjunto de principios (constituicao) que guiam seu comportamento etico, seguro e util.

Cross-Modal refere-se a interacao e transferencia de informacao entre diferentes modalidades de dados em modelos de IA. Inclui alinhamento de representacoes entre texto-imagem, busca cross-modal e geracao que cruza fronteiras entre modalidades.

DPO (Direct Preference Optimization) e uma alternativa simplificada ao RLHF que elimina a necessidade de treinar um modelo de recompensa separado. Otimiza o LLM diretamente a partir de pares de preferencia humana, sendo mais estavel e eficiente.

DPO (Direct Preference Optimization) e uma alternativa simplificada ao RLHF que alinha modelos de IA com preferencias humanas diretamente durante o treinamento, sem necessitar de um modelo de recompensa separado.

GRPO (Group Relative Policy Optimization) e uma tecnica de alinhamento de LLMs que usa comparacao de grupos de respostas em vez de reward model individual. Desenvolvida pela DeepSeek, oferece alinhamento eficiente sem modelo de recompensa separado.

Instruction Tuning e o processo de treinar modelos de linguagem com pares de instrucoes e respostas desejadas, tornando-os mais capazes de seguir comandos humanos e produzir saidas uteis e alinhadas.

RLHF (Reinforcement Learning from Human Feedback) e a tecnica de alinhar modelos de linguagem com preferencias humanas usando aprendizado por reforco. Humanos classificam respostas, um modelo de recompensa e treinado e o LLM e otimizado via PPO.

RLHF e uma tecnica de treinamento que usa feedback humano para ajustar modelos de IA via aprendizado por reforco, alinhando suas respostas com preferencias humanas de qualidade, seguranca e utilidade.