Glossário de IA

Mecanismo de Atencao permite que modelos foquem nas partes mais relevantes da entrada ao processar cada elemento. Revolucionou o NLP ao permitir que modelos ponderem a importância de diferentes tokens.

Autoencoder é uma rede neural que aprende a comprimir dados em uma representação compacta (encoding) é reconstrui-los. Usado para redução de dimensionalidade, denoising é geração de dados.

BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem bidirecional do Google que revolucionou o NLP ao compreender contexto em ambas as direcoes de uma frase.

BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) é um LLM de código aberto com 176B parametros, treinado colaborativamente por mais de 1.000 pesquisadores em 46 idiomas.

Claude é uma familia de modelos de IA da Anthropic, projetada com foco em segurança, útilidade é honestidade. Destaca-se em raciocínio longo, análise de documentos é seguimento preciso de instrucoes.

CLIP (Contrastive Language-Image Pre-training) é um modelo múltimodal da OpenAI que aprende a relacionar imagens é textos no mesmo espaço de embeddings, permitindo classificação zero-shot de imagens.

CNN (Rede Neural Convolucional) é uma arquitetura especializada em processar dados com estrutura de grade, como imagens. Usa filtros convolucionais para detectar padrões visuais hierarquicos.

Codex é um modelo de IA da OpenAI especializado em geração de código, descendente do GPT-3. E a base do GitHub Copilot é capaz de traduzir linguagem natural em código funcional em diversas linguagens.

DALL-E é um modelo de IA da OpenAI capaz de gerar imagens a partir de descricoes textuais. Combina técnicas de modelos de linguagem é difusao para criar imagens originais é criativas.

Modelos de Difusao sao uma classe de modelos generativos que aprendem a criar dados (imagens, audio) revertendo um processo gradual de adicao de ruido. Sao a base do Stable Diffusion é DALL-E.

Falcon é uma familia de modelos de linguagem de código aberto desenvolvida pelo TII (Technology Innovation Institute) de Abu Dhabi. Destaca-se pela qualidade de dados de treinamento é eficiência.

Fine-Tuning é o processo de ajustar um modelo pre-treinado com dados específicos de uma tarefa, adaptando-o para um domínio ou função particular. E mais rápido é economico que treinar do zero.

Foundation Model é um modelo de IA de grande escala pre-treinado em dados amplos que serve como base para diversas tarefas. Um único modelo pode ser adaptado para classificação, geração, traducao é mais.

GAN é uma arquitetura composta por duas redes neurais — gerador é discriminador — que competem entre si. O gerador cria dados falsos é o discriminador tenta distingui-los dos reais, melhorando ambos.

Gemini é a familia de modelos múltimodais do Google DeepMind, projetada nativamente para processar texto, imagem, audio, vídeo é código. Disponível em versões Ultra, Pro é Nano.

GGUF (GPT-Generatéd Unified Format) é um formato de arquivo para modelos de linguagem quantizados, otimizado para inferência em CPU é GPU. Substitui o antigo GGML é e usado pelo llama.cpp.

GitHub Copilot é um assistente de programação alimentado por IA que sugere código em tempo real dentro do editor. Desenvolvido por GitHub é OpenAI, é a ferramenta de IA para desenvolvedores mais adotada.

GloVe (Global Vectors) é um modelo de word embedding da Stanford que aprende representacoes vetoriais combinando estatísticas globais de co-ocorrência de palavras com objetivos de aprendizado local.

GPT (Generative Pre-trained Transformer) é uma familia de modelos de linguagem autoregressivos da OpenAI que geram texto prevendo o proximo token. Revolucionou a geração de texto é assistentes de IA.

GPT-4 é o modelo múltimodal mais avancado da OpenAI, capaz de processar texto é imagens. Apresenta raciocínio superior, maior confiabilidade é desempenho de nível humano em exames profissionais.

Knowledge Distillation é a técnica de transferir o conhecimento de um modelo grande (teacher) para um modelo menor (student). Permite criar modelos compactos que mantem boa parte do desempenho original.

Llama é uma familia de modelos de linguagem de código aberto da Meta, disponível em diversos tamanhos. Democratizou o acesso a LLMs de alta qualidade para pesquisa é uso comercial.

LLM (Large Language Model) é um modelo de linguagem com bilhoes de parametros, treinado em vastos corpus de texto. Capaz de compreender é gerar linguagem humana com alta qualidade, incluindo GPT, Claude é Llama.

LoRA é uma técnica eficiente de fine-tuning que treina apenas matrizes de baixo rank adicionadas as camadas do modelo, reduzindo drasticamente o custo computacional é a memória necessária.

LSTM (Long Short-Term Memory) é uma variante de RNN com portas especiais que controlam o fluxo de informação, resolvendo o problema de dependências de longo prazo. Usada em séries temporais é traducao.

Midjourney é um serviço de geração de imagens por IA conhecido pela qualidade artistica excepcional de suas criações. Acessado via Discord, é amplamente usado por designers, artistas é criativos.

Mistral é uma familia de modelos de linguagem da startup francesa Mistral AI, conhecida por oferecer modelos compactos é eficientes que rivalizam com modelos muito maiores em qualidade.

Mixtral é um modelo de linguagem da Mistral AI que útiliza a arquitetura Mixture of Experts (MoE). Ativa apenas parte dos parametros por token, oferecendo alta qualidade com eficiência computacional.

Mixture of Experts (MoE) é uma arquitetura que usa multiplos sub-modelos especializados (experts) é um roteador que seleciona quais ativar para cada entrada. Permite escalar modelos com eficiência.

Multi-Head Attention executa multiplos mecanismos de self-attention em paralelo com diferentes projecoes, permitindo ao modelo capturar diferentes tipos de relações entre tokens simultaneamente.