Explicador en lenguaje claro
Tokens y tokenización, explicados
¿Qué es un token, y por qué la IA cuenta tokens en vez de palabras?
Un token es un trozo de texto, a menudo un fragmento de palabra y no una palabra entera. Antes de leer tu texto, el modelo lo parte en tokens y asigna un número a cada uno. Los modelos cobran y presupuestan en tokens, no en palabras, porque los tokens son la unidad real que procesan. La misma idea puede costar más o menos según cómo se parta: las palabras comunes en inglés son un token, mientras que el código, las palabras raras y muchos idiomas no ingleses se rompen en más tokens por palabra.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Cómo la IA parte el texto en tokens →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- Un token es una palabra. Muchas veces es un fragmento, así que 100 palabras rara vez son 100 tokens.
- El número de tokens sigue al de caracteres. Sigue a cómo se parte el texto, por eso el código y algunos idiomas cuestan más.
- La tokenización es un detalle que puedes ignorar. Define el costo, los límites de context y hasta algunos errores raros del modelo.
Dónde lo ves en productos reales
- El precio de las APIs es por token, de entrada y de salida.
- Los límites de context se miden en tokens, así que la tokenización decide cuánto cabe.
- Las apps multilingües pueden salir más caras porque algunos idiomas se tokenizan en más piezas.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.