Glossário de IA

Audio-Language Model é um modelo múltimodal que processa audio é texto simultaneamente, capaz de transcrever fala, entender conteúdo de audio, gerar fala é responder perguntas sobre sons. Inclui modelos como Whisper, AudioPaLM é GPT-4o com audio.

CLIP (Contrastive Language-Image Pre-training) é um modelo múltimodal da OpenAI que aprende a relacionar imagens é textos no mesmo espaço de embeddings, permitindo classificação zero-shot de imagens.

Gemini é a familia de modelos múltimodais do Google DeepMind, projetada nativamente para processar texto, imagem, audio, vídeo é código. Disponível em versões Ultra, Pro é Nano.

GPT-4 é o modelo múltimodal mais avancado da OpenAI, capaz de processar texto é imagens. Apresenta raciocínio superior, maior confiabilidade é desempenho de nível humano em exames profissionais.

Multi-Modal Learning é a área de IA que trabalha com multiplas modalidades de dados como texto, imagem, audio é vídeo simultaneamente. Modelos múltimodais como GPT-4V é Gemini entendem é geram conteúdo combinando diferentes tipos de informação.

Múltimodal Embedding é a representação vetorial unificada de dados de diferentes modalidades (texto, imagem, audio) no mesmo espaço geometrico. Permite busca é comparação cross-modal, onde textos é imagens similares ficam proximos no espaço vetorial.