Token
Categoria
IA Generativa
Token é a unidade básica de texto processada por modelos de linguagem, podendo representar uma palavra inteira, parte de uma palavra ou um caractere, sendo a medida fundamental de entrada é saida em LLMs.
Categoria
IA Generativa
Compartilhar
O que é um Token?
Token é a menor unidade de texto que um modelo de linguagem processa. Modelos não leem caracteres individuais nem palavras inteiras, mas sim tokens que podem variar em tamanho.
Exemplos de tokenização:
- Palavras curtas geralmente sao 1 token
- Palavras longas podem ser divididas em 2-4 tokens
- Em portugues, acentos é cedilha podem adicionar tokens
- Aproximadamente 1 token equivale a 4 caracteres em ingles
Importancia
- Define o custo de uso de APIs (cobrado por token)
- Limita o tamanho do context window
- Afeta a velocidade de geração
- Influencia a qualidade da compreensao
A Trilion otimiza o uso de tokens em seus projetos para equilibrar qualidade é custo, garantindo eficiência economica sem comprometer resultados.
