Glossário de IA

Mecanismo de Atencao permite que modelos foquem nas partes mais relevantes da entrada ao processar cada elemento. Revolucionou o NLP ao permitir que modelos ponderem a importancia de diferentes tokens.

Autoencoder e uma rede neural que aprende a comprimir dados em uma representacao compacta (encoding) e reconstrui-los. Usado para reducao de dimensionalidade, denoising e geracao de dados.

BERT (Bidirectional Encoder Representations from Transformers) e um modelo de linguagem bidirecional do Google que revolucionou o NLP ao compreender contexto em ambas as direcoes de uma frase.

BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) e um LLM de codigo aberto com 176B parametros, treinado colaborativamente por mais de 1.000 pesquisadores em 46 idiomas.

Claude e uma familia de modelos de IA da Anthropic, projetada com foco em seguranca, utilidade e honestidade. Destaca-se em raciocinio longo, analise de documentos e seguimento preciso de instrucoes.

CLIP (Contrastive Language-Image Pre-training) e um modelo multimodal da OpenAI que aprende a relacionar imagens e textos no mesmo espaco de embeddings, permitindo classificacao zero-shot de imagens.

CNN (Rede Neural Convolucional) e uma arquitetura especializada em processar dados com estrutura de grade, como imagens. Usa filtros convolucionais para detectar padroes visuais hierarquicos.

Codex e um modelo de IA da OpenAI especializado em geracao de codigo, descendente do GPT-3. E a base do GitHub Copilot e capaz de traduzir linguagem natural em codigo funcional em diversas linguagens.

DALL-E e um modelo de IA da OpenAI capaz de gerar imagens a partir de descricoes textuais. Combina tecnicas de modelos de linguagem e difusao para criar imagens originais e criativas.

Modelos de Difusao sao uma classe de modelos generativos que aprendem a criar dados (imagens, audio) revertendo um processo gradual de adicao de ruido. Sao a base do Stable Diffusion e DALL-E.

Falcon e uma familia de modelos de linguagem de codigo aberto desenvolvida pelo TII (Technology Innovation Institute) de Abu Dhabi. Destaca-se pela qualidade de dados de treinamento e eficiencia.

Fine-Tuning e o processo de ajustar um modelo pre-treinado com dados especificos de uma tarefa, adaptando-o para um dominio ou funcao particular. E mais rapido e economico que treinar do zero.

Foundation Model e um modelo de IA de grande escala pre-treinado em dados amplos que serve como base para diversas tarefas. Um unico modelo pode ser adaptado para classificacao, geracao, traducao e mais.

GAN e uma arquitetura composta por duas redes neurais — gerador e discriminador — que competem entre si. O gerador cria dados falsos e o discriminador tenta distingui-los dos reais, melhorando ambos.

Gemini e a familia de modelos multimodais do Google DeepMind, projetada nativamente para processar texto, imagem, audio, video e codigo. Disponivel em versoes Ultra, Pro e Nano.

GGUF (GPT-Generated Unified Format) e um formato de arquivo para modelos de linguagem quantizados, otimizado para inferencia em CPU e GPU. Substitui o antigo GGML e e usado pelo llama.cpp.

GitHub Copilot e um assistente de programacao alimentado por IA que sugere codigo em tempo real dentro do editor. Desenvolvido por GitHub e OpenAI, e a ferramenta de IA para desenvolvedores mais adotada.

GloVe (Global Vectors) e um modelo de word embedding da Stanford que aprende representacoes vetoriais combinando estatisticas globais de co-ocorrencia de palavras com objetivos de aprendizado local.

GPT (Generative Pre-trained Transformer) e uma familia de modelos de linguagem autoregressivos da OpenAI que geram texto prevendo o proximo token. Revolucionou a geracao de texto e assistentes de IA.

GPT-4 e o modelo multimodal mais avancado da OpenAI, capaz de processar texto e imagens. Apresenta raciocinio superior, maior confiabilidade e desempenho de nivel humano em exames profissionais.

Knowledge Distillation e a tecnica de transferir o conhecimento de um modelo grande (teacher) para um modelo menor (student). Permite criar modelos compactos que mantem boa parte do desempenho original.

Llama e uma familia de modelos de linguagem de codigo aberto da Meta, disponivel em diversos tamanhos. Democratizou o acesso a LLMs de alta qualidade para pesquisa e uso comercial.

LLM (Large Language Model) e um modelo de linguagem com bilhoes de parametros, treinado em vastos corpus de texto. Capaz de compreender e gerar linguagem humana com alta qualidade, incluindo GPT, Claude e Llama.

LoRA e uma tecnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional e a memoria necessaria.

LSTM (Long Short-Term Memory) e uma variante de RNN com portas especiais que controlam o fluxo de informacao, resolvendo o problema de dependencias de longo prazo. Usada em series temporais e traducao.

Midjourney e um servico de geracao de imagens por IA conhecido pela qualidade artistica excepcional de suas criações. Acessado via Discord, e amplamente usado por designers, artistas e criativos.

Mistral e uma familia de modelos de linguagem da startup francesa Mistral AI, conhecida por oferecer modelos compactos e eficientes que rivalizam com modelos muito maiores em qualidade.

Mixtral e um modelo de linguagem da Mistral AI que utiliza a arquitetura Mixture of Experts (MoE). Ativa apenas parte dos parametros por token, oferecendo alta qualidade com eficiencia computacional.

Mixture of Experts (MoE) e uma arquitetura que usa multiplos sub-modelos especializados (experts) e um roteador que seleciona quais ativar para cada entrada. Permite escalar modelos com eficiencia.

Multi-Head Attention executa multiplos mecanismos de self-attention em paralelo com diferentes projecoes, permitindo ao modelo capturar diferentes tipos de relacoes entre tokens simultaneamente.