Entrenamiento vs inferencia: del internet a una respuesta en vivo

1. 1El modelo se congeló hace meses, y aun así la respuesta del clima es correcta. Toca de dónde crees que salió.
2. 2Entrenamiento: una porción enorme del internet, la mayoría descartada, y después adivinar, fallar, ajustar, repetido durante meses en miles de GPUs. Después los números se congelan.
3. 3Inferencia: tu pregunta llega a la app, una herramienta trae el clima de hoy, el texto se pega junto a tu pregunta y el modelo congelado lo lee.

Entrenamiento e inferencia son las dos mitades de todo producto de IA, y este widget las reproduce una después de la otra. En la primera mitad ves cómo se hace un modelo. Empieza como una porción enorme del internet: páginas, libros, código, foros. La mayoría se descarta como duplicados, spam y basura. Después viene el juego de la primera lección, al revés: mostrar una frase, ocultar la siguiente palabra, dejar que el modelo adivine, ajustar sus números cuando falla. Repetir billones de veces. Cuando el entrenamiento se detiene, los números se congelan. Ese es el modelo que se publica.

En la segunda mitad ves cómo se responde una pregunta hoy. El modelo solo no puede hacerlo, porque su conocimiento se detiene en su fecha de corte, hace meses. La app nota que la pregunta necesita datos frescos, corre una herramienta y pega el resultado junto a tu pregunta. El modelo congelado lee lo que le entregaron y escribe la respuesta. Sin sensores, sin base de datos de hechos, sin pesos que cambien.

La pregunta inicial es una prueba real de intuición: ¿de dónde salió la respuesta correcta del clima? La mayoría dice que el modelo lo buscó o que de alguna forma lo sabe. Ninguna es correcta, y la revelación muestra exactamente qué mitad de la tubería hizo el trabajo.

Casi toda confusión sobre productos de IA se disuelve cuando estas dos mitades están separadas en tu cabeza. El entrenamiento ocurre una vez y cuesta una fortuna. La inferencia ocurre cada vez que alguien pregunta algo, y ahí vive la cuenta continua. La recuperación, las herramientas, la búsqueda y los agentes están del lado de la inferencia, atornillados a un modelo congelado. El fine-tuning y el post-entrenamiento están del lado del entrenamiento, cambiando los números antes de que se congelen.

Pega esto en cualquier página HTML, plataforma de cursos, wiki o herramienta de diapositivas que acepte un iframe. Funciona sin cuenta, no pone cookies propias y enlaza de vuelta aquí.

La atribución ya viene incluida. Si escribes sobre él, un enlace a esta página es todo lo que pedimos.

¿ChatGPT tiene una base de datos de hechos adentro?

No. No hay una base de datos de hechos adentro, solo números congelados ajustados durante el entrenamiento. Cuando cita algo actual, la app corrió una herramienta de búsqueda y pegó los resultados en la conversación para que el modelo los leyera.

¿Qué diferencia hay entre pre-entrenamiento y post-entrenamiento?

El pre-entrenamiento es el juego de la siguiente palabra sobre un corpus enorme, que produce un adivinador crudo. El post-entrenamiento es una fase más corta en la que humanos escriben respuestas de ejemplo y ordenan los intentos del modelo, para que los mismos números se ajusten a comportarse como un asistente. Los dos ocurren antes de congelar.

¿Puedo insertar este widget de la tubería en mi material de enseñanza?

Sí. Copia el fragmento iframe de esta página en la página de un curso, una wiki o una diapositiva. No necesita cuenta y enlaza de vuelta a la lección completa y al explicador de entrenamiento contra inferencia.