En la lección anterior viste que un modelo capaz de redactar un ensayo impecable puede fallar contando las letras de "ferrocarril". Te debo la explicación, y aquí va: el modelo nunca vio la palabra "ferrocarril". Tampoco vio letras. Lo que vio fue algo como [ferro][carr][il] — tres piezas numeradas que para él son tan indivisibles como un átomo.
Esas piezas se llaman tokens, y son la unidad real con la que trabaja todo LLM. Cuando entiendes los tokens, de golpe cobran sentido cosas que parecían caprichos: por qué falla deletreando, por qué el inglés le sale "más barato" que el español, por qué las facturas de API se miden en unas unidades raras y por qué la ventana de contexto (próxima lección) se agota antes de lo que crees.