Glossário de IA

AI Safety e o campo de pesquisa dedicado a garantir que sistemas de inteligencia artificial operem de forma segura e alinhada com intencoes humanas. Aborda riscos desde falhas tecnicas em modelos atuais ate cenarios de longo prazo com IA superinteligente.

Claude e uma familia de modelos de IA da Anthropic, projetada com foco em seguranca, utilidade e honestidade. Destaca-se em raciocinio longo, analise de documentos e seguimento preciso de instrucoes.

Constitutional AI e uma abordagem desenvolvida pela Anthropic onde o modelo de IA e treinado seguindo um conjunto de principios (constituicao) que guiam seu comportamento etico, seguro e util.

Data Governance e o conjunto de politicas, processos e padroes que garantem a gestao adequada dos dados em uma organizacao. Define quem pode acessar quais dados, como devem ser tratados e quais regras de qualidade e seguranca devem ser seguidas.

Guardrails sao mecanismos de seguranca implementados para controlar e limitar o comportamento de modelos de IA, prevenindo respostas inadequadas, inseguras ou fora do escopo definido.

Hallucination Mitigation engloba estrategias e tecnicas para reduzir a ocorrencia de alucinacoes em modelos de IA, como uso de RAG, grounding, verificacao cruzada e ajustes de temperatura.

Jailbreak em IA e a tentativa de contornar as restricoes de seguranca e limites eticos de um modelo de linguagem atraves de prompts engenhosos que exploram falhas nas barreiras de protecao.

On-Premise AI e a execucao de modelos e infraestrutura de inteligencia artificial em servidores proprios da organizacao, dentro de suas instalacoes fisicas. Oferece controle total sobre dados e seguranca, sendo essencial para setores regulados.

Prompt Injection e um ataque onde instrucoes maliciosas sao inseridas no input do usuario para manipular o comportamento do modelo de IA, fazendo-o ignorar suas instrucoes originais ou executar acoes indesejadas.

Red Teaming em IA e a pratica de testar modelos de forma adversarial, simulando ataques e tentativas de manipulacao para identificar vulnerabilidades e melhorar a seguranca antes do lancamento.

Safety Filter e um sistema de filtragem que avalia e bloqueia conteudo potencialmente danoso, ofensivo ou inapropriado gerado por modelos de IA, protegendo usuarios contra respostas problematicas.

Sandbox e um ambiente computacional isolado e seguro onde agentes de IA podem executar codigo, testar operacoes e interagir com sistemas sem risco de afetar o ambiente de producao real.