Predice la siguiente palabra

Qué muestra esta lección

El lenguaje necesita contexto.

La pregunta con la que abre

Predice la siguiente palabra usando solo frecuencias de palabras sueltas: es un desastre.

El recorrido, en palabras de la propia lección

• Quita el significado: este modelo de juguete solo sabe la frecuencia de las palabras. Toca la palabra que elige.
• La misma lista, en cada paso. Mira cómo vuelve a elegir la palabra más alta.
• El modelo busca una respuesta que guardó en algún sitio.
• Solo predice el siguiente token a partir de patrones, así que puede sonar seguro y aun así estar equivocado.
• Para decir algo con sentido, un modelo tiene que leer las palabras alrededor del espacio, el contexto.
• La gente dice que un LLM consultó algo o que sabe un dato. Mecánicamente, ¿qué hace en realidad cuando responde?
• Predecir el siguiente token, una y otra vez, a partir de patrones de su entrenamiento, no recuperar un registro de una base de datos. Por eso puede sonar seguro y aun así equivocarse: produce lo que es probable que venga a continuación, no lee un dato guardado.
• Puntuaciones de encaje de juguete, inventadas para mostrar la idea; el ranking de frecuencia refleja promedios reales del inglés.
• «el» es solo la palabra más común, así que gana sin importar la frase.
• Déjalo leer «El gato» y «bebe» se dispara hasta arriba, aunque sea poco frecuente.
• Sin contexto, gana la lista de pura frecuencia y «el» siempre la encabeza.
• «bebe» sí encaja después de «El gato», pero este modelo nunca leyó «gato». En las lecciones 1.2–1.3 una palabra se volvía un vector, así el modelo podía encontrar cuál palabra encajaba. Quita eso y solo queda una cosa: con qué frecuencia aparece cada palabra. Sin contexto, la palabra más común gana cada espacio.

La idea clave

Compruebas de primera mano por qué importa el contexto: ignóralo y el modelo escribe disparates.

Qué puedes hacer después de esta lección

Puedes explicar por qué la frecuencia de palabras por sí sola falla y el contexto es esencial.

¿Prefieres leer primero? Esta lección tiene un explicador de compañía: Predicción del siguiente token

Adónde lleva: ¿Cuánto contexto? Condiciona en la palabra anterior.

Este es el resumen escrito. La lección en sí es interactiva: arriba predices, arrastras y operas el mecanismo, y la revelación te responde.