Glossário de IA

Context Window e o limite maximo de tokens que um modelo de IA pode processar de uma vez, incluindo tanto a entrada (prompt) quanto a saida gerada, definindo a quantidade de informacao acessivel em cada interacao.

SentencePiece e uma biblioteca de tokenizacao independente de idioma que opera diretamente no texto bruto sem pre-segmentacao. Suporta BPE e Unigram como algoritmos, sendo amplamente usada em modelos multilinguais como T5, Llama e Gemma.

Tiktoken e a biblioteca de tokenizacao rapida desenvolvida pela OpenAI, usada nos modelos GPT-3.5, GPT-4 e successores. Implementa BPE otimizado em Rust para alta performance, sendo essencial para calcular custos e limites de contexto de APIs OpenAI.

Token e a unidade basica de texto processada por modelos de linguagem, podendo representar uma palavra inteira, parte de uma palavra ou um caractere, sendo a medida fundamental de entrada e saida em LLMs.

Tokenizacao e o processo de dividir texto em unidades menores (tokens) que servem como entrada para modelos de linguagem. Pode operar em nivel de palavra, subpalavra (BPE, SentencePiece) ou caractere.

Tokenizer e o componente que converte texto em sequencias de tokens numericos compreensiveis pelo modelo de IA, e vice-versa, usando algoritmos como BPE para segmentar texto de forma eficiente.

Tokenizer BPE (Byte Pair Encoding) e o algoritmo de tokenizacao mais usado em LLMs que divide texto em subpalavras. Comeca com caracteres individuais e iterativamente funde os pares mais frequentes, criando um vocabulario balanceado entre caracteres e palavras.

Top-K e um parametro de amostragem que restringe a selecao de tokens aos K mais provaveis a cada passo da geracao, controlando a diversidade e previsibilidade das respostas do modelo de IA.