Tokens
En una frase: un token es la pieza mínima de texto que maneja un modelo.
Puede ser una palabra, un trozo de palabra, una letra o incluso algo más pequeño. Todo se mide en tokens: lo que cabe en un chat y lo que cuesta. Cuántas palabras es un token cambia con el idioma y con el modelo.
Cómo se ve
El troceado del dibujo es un ejemplo inventado. Cada modelo trocea a su manera.
Qué pasa, paso a paso
- Antes de que el modelo lo lea, tu mensaje se trocea en tokens. El modelo los recibe convertidos en números.
- Quien decide cómo trocear es el tokenizador. Cada modelo tiene el suyo.
- Los tokens largos ahorran trabajo al modelo. Los cortos le sirven para palabras raras o nuevas.
- No solo cuenta tu mensaje. También cuentan las instrucciones que no ves, las imágenes, los PDF y lo que razona.
- Usar herramientas añade unas instrucciones ocultas de unos cientos de tokens.
- Quien programa puede estimarlos antes de enviar el mensaje. Lo que el modelo razone después no se puede contar antes.
Es parecido a separar una palabra en sílabas. Pero los trozos no siempre coinciden con las sílabas.
Un ejemplo de la vida real
Imagina que pegas en un chat un trabajo de clase muy largo. Cada palabra ocupa uno o varios tokens. Todo eso ocupa sitio en la ventana de contexto, la memoria de trabajo del chat.
Si además pegas imágenes o un PDF, también cuentan. Todo suma tokens, aunque no sea texto escrito por ti.
Cuántas palabras es un token
- No hay una cifra única. Anthropic da cifras distintas según la página, y solo para inglés.
- En inglés, una palabra ocupa de media más de un token.
- Son cifras aproximadas. Para saberlo de verdad, hay que contar el texto concreto.
- Para el español no hay cifra oficial. Solo se sabe que cambia con el idioma.
- Los modelos nuevos de Claude trocean distinto: el mismo texto da más tokens. Cuántos más depende del texto.
- Por eso el consejo oficial es recontar con el modelo que vayas a usar.
Por qué importan
- Coste. La API es la puerta por la que otros programas usan un modelo. Lo que pasa por ella se cobra por tokens. Lo que lee y lo que escribe tienen precios distintos.
- Tamaño. Lo que pesa un PDF o una web no dice cuántos tokens tiene. Hay que contar el mensaje real, con sus imágenes y documentos.
- Límites. La ventana de contexto y la respuesta más larga posible se miden en tokens.
- Planes de pago. Los chats de pago no dicen su límite en tokens. Depende de lo largos que sean los mensajes, del modelo y de cuánto razone.
Las cuentas y los pagos son cosa de un adulto. Las cifras exactas están en la versión adulta.
Pruébalo tú
- Pegas un texto muy largo en un chat. ¿Por qué la conversación se llena antes?
- ¿Por qué contar palabras no basta para saber cuántos tokens tiene un texto?
Respuestas
- Porque cada palabra ocupa uno o varios tokens. Todo ese texto entra en la ventana de contexto y ocupa sitio.
- Porque la equivalencia cambia con el idioma y con el modelo. Incluso el mismo texto da más tokens en los modelos nuevos de Claude.
Palabras clave
- Token: pieza mínima de texto con la que trabaja un modelo.
- Tokenizador: herramienta que decide cómo se trocea el texto en tokens.
- API: puerta por la que otros programas usan un modelo.
- Ventana de contexto: todo lo que el modelo tiene a la vista a la vez.