Predice la siguiente palabra, sin contexto

1. 1Quita el significado. Este modelo solo conoce la frecuencia de cada palabra. Toca la que crees que elige.
2. 2Elige la misma palabra en cada hueco, porque la palabra más común gana sin importar la frase.
3. 3Déjalo leer las dos palabras antes del hueco y mira cómo una palabra rara salta a la cima.

Un modelo de lenguaje hace una sola cosa: ordena todas las palabras que conoce según qué tan probable es que vengan después, y elige de arriba de la lista. Este widget muestra cómo queda ese ranking cuando al modelo no se le permite leer la frase. La única información que queda es la frecuencia de cada palabra en el idioma, así que la palabra de arriba siempre es la más común, y gana cada hueco, cada vez.

Después le das al modelo las dos palabras anteriores al hueco. Ahora la lista está condicionada por el contexto. Una palabra rara en general, como bebe, es muy probable después de El gato, y salta del fondo de la lista a la cima. Nada del modelo cambió. La única diferencia es lo que pudo leer antes de ordenar.

Esa es toda la idea de predecir y luego revelar: te comprometes con una hipótesis sobre lo que hará la máquina, y la máquina te responde. La mayoría apuesta a que el modelo elige una palabra sensata. No lo hace. Sin contexto elige el artículo más común, y lo sigue eligiendo.

Todo lo que hay dentro de un modelo de lenguaje moderno es una forma de usar mejor más contexto. Los embeddings convierten palabras en posiciones para poder comparar el contexto. La attention deja que cada palabra mire a las demás. Las ventanas de contexto largas dejan que el modelo lea más antes de ordenar. Cuando alguien dice que un LLM buscó algo o sabe un dato, este es el mecanismo de abajo: una lista ordenada de palabras siguientes, calculada a partir del texto que tiene delante. Por eso puede sonar seguro y aun así equivocarse.

Pega esto en cualquier página HTML, plataforma de cursos, wiki o herramienta de diapositivas que acepte un iframe. Funciona sin cuenta, no pone cookies propias y enlaza de vuelta aquí.

La atribución ya viene incluida. Si escribes sobre él, un enlace a esta página es todo lo que pedimos.

¿Por qué el modelo sigue eligiendo la misma palabra?

Porque sin contexto la única señal que queda es la frecuencia cruda, y el artículo más común gana. Cada hueco recibe la misma palabra hasta que el modelo puede leer las palabras alrededor del hueco, y ahí el ranking cambia por completo.

¿Así funciona ChatGPT de verdad?

En el núcleo, sí. Un modelo de lenguaje grande produce una probabilidad para cada token de su vocabulario y elige de esa lista, un token a la vez. La diferencia es la escala: lee miles de tokens de contexto mediante attention, y su ranking sale de miles de millones de pesos entrenados, no de una tabla de frecuencias.

¿Puedo insertar este widget en mi página o en mis diapositivas?

Sí. Copia el fragmento iframe de esta página en cualquier página HTML, un sitio de curso o un notebook. No necesita cuenta, no envía datos personales y enlaza de vuelta aquí para que tus lectores puedan profundizar.