Cada modelo Mixture-of-Experts (MoE) repite una decisión para cada token: ¿qué expertos deben procesarlo? Esa decisión pertenece al enrutador. Las estrategias de enrutamiento MoE dan forma a la calidad, el equilibrio de carga y el costo de servicio en cada modelo abierto importante. Esta guía explica las 7 estrategias de enrutamiento utilizadas en producción, y los modelos que utilizan cada una.
TL;DR
- Tamaño: Los enrutadores eligen de 8 expertos (Mixtral) a 384 (DeepSeek-V4-Pro), activando 1 a 8 por token.
- Funciona en: El costo de enrutamiento se muestra en la paralelización de expertos multi-GPU, donde cada elección se convierte en tráfico de red de todos a todos.
- Rendimiento: La puntuación sigmoid con equilibrio de sesgo libre de pérdida auxiliar es la receta dominante para 2026 para modelos MoE abiertos de vanguardia.
- Mejor: El equilibrio libre de pérdida redujo MaxVio de 0,72 a 0,04 en 1B, con menor perplexidad.
- Peor: La elección de experto filtra tokens futuros en modelos causales; una prueba mostró una caída de pérdida anormal de aproximadamente el 10%.
- Conclusión: Lo mejor: el equilibrio basado en sesgo no agrega gradientes que interfieran. Lo peor: ningún enrutador elimina la necesidad de soluciones de carga en tiempo de servicio.
¿Qué es el enrutamiento MoE?
El enrutamiento MoE es el mecanismo que envía cada token a un subconjunto pequeño de redes de expertos. Un enrutador puntuación cada experto, mantiene a los candidatos principales y pondera sus salidas. Solo los expertos seleccionados se ejecutan. Mixtral 8x7B, por ejemplo, da a cada token acceso a 47B parámetros pero utiliza 13B parámetros activos.
Las 7 estrategias de enrutamiento MoE utilizadas en producción
1. Elección de token top-k softmax
Cada token puntuación todos los expertos con una capa lineal y mantiene los k más altos. Un softmax sobre esas k puntuaciones establece los pesos de mezcla. Mixtral elige 2 de 8 expertos. gpt-oss-120b elige 4 de 128. Qwen3-235B-A22B elige 8 de 128. Una pérdida auxiliar generalmente mantiene la carga de expertos uniforme.
Utilizado por: Mixtral, gpt-oss, Qwen3.
2. Enrutamiento de conmutación de nivel superior con un factor de capacidad
Switch Transformer mostró que enrutando cada token a 1 experto conserva la calidad y reduce el cálculo del enrutador. Cada experto recibe un búfer fijo: tokens por lote divididos por expertos, multiplicados por un factor de capacidad. Los tokens de desbordamiento omiten la capa a través de la conexión residual. Llama 4 Maverick también envía cada token a 1 experto enrutado, más un experto compartido.
Utilizado por: Switch Transformer, Llama 4 Maverick (con un experto compartido).
3. Expertos compartidos y enrutados
DeepSeekMoE divide cada capa en expertos compartidos siempre activos y expertos enrutados de forma dispersa. El experto compartido captura el conocimiento común, para que los expertos enrutados puedan especializarse. DeepSeek-V3 utiliza 1 experto compartido y 256 expertos enrutados, activando 8. Kimi K2, GLM-4.5 y Qwen3.6-35B-A3B siguen el mismo patrón. Qwen3 fue en la dirección opuesta y eliminó los expertos compartidos.
Utilizado por: DeepSeek-V3 y V4, Kimi K2, GLM-4.5, Qwen3.6, Llama 4.
4. Puerta de sigmoid con sesgo libre de pérdida auxiliar
DeepSeek-V3 puntuación de expertos con una sigmoid en lugar de una softmax. Agrega un sesgo por experto solo cuando se elige el top-k. Después de cada paso, el sesgo disminuye para los expertos sobrecargados y aumenta para los expertos inactivos. Los pesos de mezcla aún provienen de las puntuaciones crudas. GLM-4.5 utiliza enrutamiento de equilibrio de pérdida libre con puertas de sigmoid. DeepSeek-V4 cambia la puntuación a sqrtsoftplus pero mantiene el equilibrio de sesgo.
Utilizado por: DeepSeek-V3, DeepSeek-V4, GLM-4.5, Kimi K2.
5. Enrutamiento limitado por grupo y limitado por nodo
Enviar un token a expertos en muchos nodos es costoso. DeepSeek-V3 limita cada token a 4 nodos, elegidos por sus puntajes de afinidad más altos. Su config divide a los expertos en 8 grupos y mantiene 4 antes de la selección final de los 8 mejores. DeepSeek dice que este límite permite que el entrenamiento casi completamente superponga la computación y la comunicación. Kimi K2 elimina por completo la agrupación, con n_group establecido en 1.
Utilizado por: DeepSeek-V2 y V3.
6. Enrutamiento de elección de expertos
El enrutamiento de elección de expertos de Google invierte la dirección. Cada experto elige sus tokens top-k, por lo que cada experto obtiene un tamaño de cubeta fijo. Los tokens pueden recibir un número variable de expertos. El artículo informa una convergencia de entrenamiento más de 2 veces más rápida. El problema es la causalidad: el experto de un token puede depender de tokens posteriores. Los investigadores de DeepSeek medieron una caída de pérdida anormal de aproximadamente el 10% debido a esta fuga.
Utilizado por: Investigación y configuraciones no causales. Ninguno de los 10 modelos en nuestra tabla companion lo utiliza.
7. Enrutamiento hash y top-k dinámico
El enrutamiento hash asigna expertos desde el ID del token, sin router aprendido. DeepSeek-V4 utiliza enrutamiento hash en sus primeras 3 capas MoE. El top-k dinámico permite que el número de expertos activos varíe por token. SMIDT lo integró en SGLang y mejoró el tiempo de P99 hasta el primer token en 1,21 a 1,26 veces.
Utilizado por: DeepSeek-V4 (enrutamiento hash), sistemas de servicio de investigación (top-k dinámico).
Estrategias de enrutamiento MoE comparadas
| Estrategia | Quién elige | Cómo se equilibra la carga | Riesgo principal | Utilizado por |
|---|---|---|---|---|
| Softmax top-k | Token elige k expertos | Pérdida auxiliar | Pérdida de calidad | Mixtral, gpt-oss, Qwen3 |
| Conmutación top-1 | Token elige 1 experto | Pérdida aux + factor de capacidad | Tokenes de desbordamiento eliminados | Conmutación, Llama 4 Maverick |
| Compartido + enrutado | Token elige enrutado; compartido siempre se ejecuta | Hereda el método enrutado | Computación adicional siempre activa | DeepSeek, Kimi K2, GLM-4.5, Qwen3.6 |
| Sigmoid + sesgo | Selección de tokens mediante puntuación sesgada | Sesgo por experto, sin gradiente de pérdida | Desequilibrio dentro de una secuencia | DeepSeek-V3/V4, GLM-4.5, Kimi K2 |
| Límite de nodos | Selección de tokens dentro de nodos con límite | Hereda método de enrutamiento | Restringe la elección de expertos | DeepSeek-V2/V3 |
| Elección de expertos | Expertos eligen k tokens | Fijado por construcción | Filtración de tokens futuros | Modelos de investigación |
| Hash / dinámico | ID de token o variable k | Asignación fija o k adaptativo | Menos especialización aprendida | DeepSeek-V4, SMIDT |
¿Qué estrategia de enrutamiento MoE debes usar?
La mayoría de los equipos no eligen un enrutador. Heredan uno al elegir un punto de control. Antes de servir, lee 4 campos en config.json: recuento de expertos, expertos por token, expertos compartidos y método topk. Cambiar top-k en la inferencia cambia el modelo en sí, así que trátalo como un experimento de calidad. Para nuevas ejecuciones de preentrenamiento, la puntuación sigmoid con equilibrio de sesgo es el valor predeterminado abierto actual.
Puntos clave
- La elección de tokens top-k es la línea de base; k varía desde 1 (Llama 4) hasta 8 (DeepSeek-V3, Qwen3).
- Los expertos compartidos son estándar en DeepSeek, Kimi, GLM y Qwen3.6; Qwen3 los eliminó.
- La puntuación sigmoid con equilibrio de sesgo es el valor predeterminado para 2026 para los modelos MoE abiertos de vanguardia.
- La elección de expertos equilibra perfectamente pero filtra tokens futuros en LLM causales.
- DeepSeek-V4 agrega enrutamiento hash a sus primeras 3 capas MoE.
Consulte las fuentes primarias: Switch Transformer, Expert Choice, Loss-Free Balancing, informe DeepSeek-V3 y la tarjeta del modelo DeepSeek-V4. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de 150k+ML y suscribirse a nuestro boletín. ¡Espere! ¿Está en Telegram? ahora también puede unirse a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub OR página de Hugging Face OR lanzamiento de producto OR seminario web etc.? Conéctese con nosotros
La publicación Estrategias de enrutamiento MoE explicadas: Top-K, Expert-Choice, Sigmoid Gating y enrutamiento dinámico (guía 2026) apareció por primera vez en MarkTechPost.