GPT
Categoria
Modelos e Arquiteturas
GPT (Generative Pre-trained Transformer) e uma familia de modelos de linguagem autoregressivos da OpenAI que geram texto prevendo o proximo token. Revolucionou a geracao de texto e assistentes de IA.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e GPT?
GPT (Generative Pre-trained Transformer) e uma familia de modelos de linguagem generativos desenvolvidos pela OpenAI. Sao modelos autoregressivos que geram texto prevendo o proximo token em uma sequencia, treinados em enormes corpus de texto da internet.
Evolucao
- GPT-1 (2018): 117M parametros, provou conceito
- GPT-2 (2019): 1.5B parametros, geracao fluente
- GPT-3 (2020): 175B parametros, few-shot learning
- GPT-4 (2023): multimodal, raciocinio avancado
Caracteristicas
GPT usa apenas o decoder do Transformer, com mascaramento causal para prever tokens da esquerda para a direita. O pre-treinamento auto-supervisionado e seguido por fine-tuning com feedback humano (RLHF).
Impacto
GPT popularizou a IA generativa e demonstrou que escalar modelos e dados produz capacidades emergentes surpreendentes. Na Trilion, modelos GPT sao integrados em solucoes que demandam geracao e compreensao de texto em nivel avancado.
