Glossário de IA

Context Window é o limite máximo de tokens que um modelo de IA pode processar de uma vez, incluindo tanto a entrada (prompt) quanto a saida gerada, definindo a quantidade de informação acessível em cada interação.

SentencePiece é uma biblioteca de tokenização independente de idioma que opera diretamente no texto bruto sem pre-segmentação. Suporta BPE é Unigram como algoritmos, sendo amplamente usada em modelos multilinguais como T5, Llama é Gemma.

Tiktoken é a biblioteca de tokenização rápida desenvolvida pela OpenAI, usada nos modelos GPT-3.5, GPT-4 é successores. Implementa BPE otimizado em Rust para alta performance, sendo essêncial para calcular custos é limites de contexto de APIs OpenAI.

Token é a unidade básica de texto processada por modelos de linguagem, podendo representar uma palavra inteira, parte de uma palavra ou um caractere, sendo a medida fundamental de entrada é saida em LLMs.

Tokenizacao é o processo de dividir texto em unidades menores (tokens) que servem como entrada para modelos de linguagem. Pode operar em nível de palavra, subpalavra (BPE, SentencePiece) ou caractere.

Tokenizer é o componente que converte texto em sequências de tokens numéricos compreensiveis pelo modelo de IA, é vice-versa, usando algoritmos como BPE para segmentar texto de forma eficiente.

Tokenizer BPE (Byte Pair Encoding) é o algoritmo de tokenização mais usado em LLMs que divide texto em subpalavras. Comeca com caracteres individuais é iterativamente funde os pares mais frequentes, criando um vocabulário balanceado entre caracteres é palavras.

Top-K é um parametro de amostragem que restringe a seleção de tokens aos K mais provaveis a cada passo da geração, controlando a diversidade é previsibilidade das respostas do modelo de IA.