Explicador en lenguaje claro
Mixture of Experts, explicado
¿Qué es un modelo Mixture of Experts y por qué lo usan los laboratorios?
Un modelo Mixture of Experts reemplaza algunas capas por muchas sub-redes en paralelo, los experts, más un pequeño router que elige unos pocos para cada token. El modelo puede tener una cantidad enorme de parámetros, pero solo corren los experts elegidos, así que cada token cuesta una fracción del cómputo. Ese es el truco: la capacidad de un modelo gigante a un precio más cercano al de uno pequeño. Las decisiones del router se aprenden, no se programan.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Mezcla de expertos →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- Los experts son especialistas por tema, uno de leyes, otro de medicina. El enrutado se aprende por token y suele seguir patrones como puntuación o sintaxis, no temas humanos.
- Un modelo MoE usa todos sus parámetros en cada petición. Solo corren los pocos experts que el router elige para cada token.
- Más experts siempre da un modelo mejor. Equilibrar el router para que todos se usen por igual es un problema real de ingeniería.
Dónde lo ves en productos reales
- Nombres como Mixtral 8x7B anuncian el número de experts en el propio nombre.
- Los titulares sobre modelos de frontera sorprendentemente baratos suelen deberse a la eficiencia del MoE.
- Cuando un modelo muy grande cuesta menos de lo que sugiere su tamaño, casi siempre significa pocos parámetros activos por token.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.