Token
Categoria
IA Generativa
Token e a unidade basica de texto processada por modelos de linguagem, podendo representar uma palavra inteira, parte de uma palavra ou um caractere, sendo a medida fundamental de entrada e saida em LLMs.
Categoria
IA Generativa
Compartilhar
O que e um Token?
Token e a menor unidade de texto que um modelo de linguagem processa. Modelos nao leem caracteres individuais nem palavras inteiras, mas sim tokens que podem variar em tamanho.
Exemplos de tokenizacao:
- Palavras curtas geralmente sao 1 token
- Palavras longas podem ser divididas em 2-4 tokens
- Em portugues, acentos e cedilha podem adicionar tokens
- Aproximadamente 1 token equivale a 4 caracteres em ingles
Importancia
- Define o custo de uso de APIs (cobrado por token)
- Limita o tamanho do context window
- Afeta a velocidade de geracao
- Influencia a qualidade da compreensao
A Trilion otimiza o uso de tokens em seus projetos para equilibrar qualidade e custo, garantindo eficiencia economica sem comprometer resultados.
