Observability: ver por dentro
Los usuarios dicen 'la IA a veces se equivoca'. ¿En qué llamadas? ¿Por qué? No tienes idea.
La idea que hay dentro
Rastrea cada petición: entradas, prompt, salida, llamadas a herramientas, tokens, latencia, coste y errores.
Después de esta lección
Puedes explicar la observability de LLM: qué trazar y por qué es esencial en producción.
Adónde lleva
Ver las fallas es el primer paso; demostrar que un cambio es realmente mejor necesita evals.
Dentro de esta lección
Ese es el escenario real de la lección, en pausa. Reclama tu pase para operarlo.
Mira cómo funciona la IA de verdad, de principio a fin.
Esta lección es solo una parada del arco completo. Desbloquéalo todo y consérvalo de por vida.
Lo que obtienes
- El camino principal de 34 lecciones, una ruta que sí se termina, de una palabra a los agentes
- Rutas por objetivo para usar IA en el trabajo y construir funciones con IA
- Labs de jefe que te hacen aplicar un acto entero, no solo reconocerlo
- Repaso espaciado que trae cada idea de vuelta antes de que la olvides
- Memoria del curso: cada término definido, con enlaces a donde aparece por primera vez
- Una tarjeta de capacidades para compartir cuando termines el camino principal
- Acceso de por vida en cualquier dispositivo, con todas las lecciones futuras incluidas
No son videos para mirar. Predices, operas la máquina y luego lo demuestras. Por eso se queda.
99 lecciones y retos interactivos. Sin videos, sin código.
Pase de lanzamiento gratis: acceso de por vida, sin tarjeta
¿Nuevo por aquí? Las primeras lecciones son gratis para probar. Empieza con la lección 0.1
Qué muestra esta lección
Rastrea cada petición: entradas, prompt, salida, llamadas a herramientas, tokens, latencia, coste y errores.
La pregunta con la que abre
Los usuarios dicen 'la IA a veces se equivoca'. ¿En qué llamadas? ¿Por qué? No tienes idea.
El recorrido, en palabras de la propia lección
- Una request, abierta por dentro: a dónde se van el tiempo, los tokens y el costo.
- Entraron dos requests que se ven idénticas. Toca un span para ver qué hay dentro.
- Filtra el stream en vivo. Detecta las ejecuciones que fallan y las lentas.
- Un trace lo registra todo. Ahora la queja vaga tiene una dirección concreta.
- Desde afuera, cada request se ve idéntica, entra una pregunta, sale una respuesta. “A veces” y “lento” son rumores, no bugs que puedas abrir. No puedes arreglar lo que no puedes ver.
- Una request, dividida en spans con su tiempo. La llamada al modelo es una sola barra, pero casi toda la espera.
- Esto es un trace: una request, dividida en spans con su tiempo (las barras etiquetadas). Toca cualquier barra para ver sus propios datos, tokens, latencia, costo, estado (200 OK = la request tuvo éxito). Jamás adivinarías a dónde se va el tiempo desde afuera.
- Un usuario se quejó de que la respuesta estaba mal, pero devolvió un 200 OK (el código de éxito, sin error). ¿Qué lente sacaría a la luz esa llamada?
- Los errores gritan; las ejecuciones lentas y el 👎 son las fallas silenciosas que los usuarios sienten. Solo el 👎 atrapa una respuesta equivocada-pero-exitosa.
- Los traces registran mensajes reales de usuarios, así que llevan datos personales. Los equipos limitan quién puede abrirlos y los borran después de un período de retención definido; la observabilidad y la privacidad van de la mano.
- Una demo deslumbra, pero una vez en producción el equipo no tiene idea de por qué la respuesta de un usuario salió mal. ¿Qué falta?
- Observabilidad: un trace que registra cada request de punta a punta, sus entradas, el contexto recuperado, las llamadas a herramientas, los tokens, la latencia y la salida, más una forma de filtrar por errores, ejecuciones lentas y feedback 👎. Con eso, una queja de “a veces se equivoca” se vuelve una llamada concreta que puedes abrir, reproducir y arreglar, en lugar de adivinar.
La idea clave
Con el trazado puedes encontrar las llamadas malas, medir costo y latencia, y detectar el drift.
Qué puedes hacer después de esta lección
Puedes explicar la observability de LLM: qué trazar y por qué es esencial en producción.
Ponte a prueba: ¿Por qué añadir trazado / observability a una app de LLM?
- No puedes arreglar fallas que no puedes ver(correcta)
- Hace el modelo más grande
- Elimina la necesidad de evals
- Te permite saltarte los guardrails
Las trazas muestran lo que el modelo de verdad vio e hizo. Sin ellas depuras a ciegas; no puedes arreglar fallos que no puedes observar.
Adónde lleva: Ver las fallas es el primer paso; demostrar que un cambio es realmente mejor necesita evals.
Este es el resumen escrito. La lección en sí es interactiva: arriba predices, arrastras y operas el mecanismo, y la revelación te responde.