GPT
Categoria
Modelos é Arquiteturas
GPT (Generative Pre-trained Transformer) é uma familia de modelos de linguagem autoregressivos da OpenAI que geram texto prevendo o proximo token. Revolucionou a geração de texto é assistentes de IA.
Categoria
Modelos é Arquiteturas
Compartilhar
O que é GPT?
GPT (Generative Pre-trained Transformer) é uma familia de modelos de linguagem generativos desenvolvidos pela OpenAI. Sao modelos autoregressivos que geram texto prevendo o proximo token em uma sequência, treinados em enormes corpus de texto da internet.
Evolucao
- GPT-1 (2018): 117M parametros, provou conceito
- GPT-2 (2019): 1.5B parametros, geração fluente
- GPT-3 (2020): 175B parametros, few-shot learning
- GPT-4 (2023): múltimodal, raciocínio avancado
Caracteristicas
GPT usa apenas o decoder do Transformer, com mascaramento causal para prever tokens da esquerda para a direita. O pre-treinamento auto-supervisionado é seguido por fine-tuning com feedback humano (RLHF).
Impacto
GPT popularizou a IA generativa é demonstrou que escalar modelos é dados produz capacidades emergentes surpreendentes. Na Trilion, modelos GPT sao integrados em soluções que demandam geração é compreensao de texto em nível avancado.
