Los modelos de Mixture-of-Experts (MoE) abiertos comparten una idea pero discrepan en casi todos los detalles de enrutamiento. La cantidad de expertos varía de 8 a 384. El rango de Top-k varía de 1 a 8. Algunos modelos mantienen un experto compartido siempre activo; otros lo eliminan.

TL;DR

• Tamaño: 10 modelos, desde Qwen3.6-35B-A3B (35B total, 3B activo) hasta DeepSeek-V4-Pro (1.6T total, 49B activo).
• Se ejecuta en: gpt-oss-120b cabe en una GPU de 80 GB con MXFP4; DeepSeek-V4-Pro y Kimi K2 necesitan paralelismo de expertos multi-GPU.
• Rendimiento: La esparsidad enrutada abarca 4x en Mixtral (8 expertos, top-2) hasta 128x en Llama 4 Maverick (128, top-1).
• Mejor: Kimi K2 encontró que la esparsidad 48 necesitaba 1.69x menos FLOPs que la esparsidad 8 con una pérdida de validación igual.
• Peor: Llama 4 Maverick y gpt-oss no publican su método de puerta de enlace o equilibrio en config.json.
• Conclusión: Lo mejor: las configuraciones hacen que el enrutamiento sea completamente auditado. Lo peor: nombres como “17B activo” ocultan enrutadores muy diferentes.

¿Cómo enrutaron los tokens los modelos de MoE abiertos?

Cada modelo a continuación utiliza enrutamiento de selección de token: cada token selecciona sus propios expertos. Difieren en 5 controles. Estos son la cantidad de expertos, expertos por token, expertos compartidos, la función de puntuación y el método de equilibrio de carga. La tabla enumera cada control por modelo.

Tabla de comparación de enrutamiento de MoE (noviembre 2026)

Fuentes: config.json de cada modelo en Hugging Face, tarjeta del modelo o informe técnico, verificado el 7 de noviembre de 2026. Las configuraciones y tarjetas de Qwen3.6 y Llama 4 omiten la compuerta. gpt-oss y Llama 4 omiten el método de equilibrio.

¿Cómo funciona el enrutamiento de DeepSeek-V3?

DeepSeek-V3 califica a 256 expertos enrutados con una sigmoid, luego normaliza las puntuaciones seleccionadas. Un sesgo por experto dirige la selección de los 8 mejores sin tocar los pesos de mezcla. Los expertos se encuentran en 8 grupos, y el enrutador mantiene 4 grupos primero. Cada token alcanza como máximo 4 nodos, según el informe técnico. Un experto compartido se ejecuta para cada token.

¿Qué cambió en el enrutamiento de DeepSeek-V4?

DeepSeek-V4 eleva Pro a 384 expertos enrutados, pero reduce el top-k de 8 a 6. La función de puntuación se convierte en sqrtsoftplus. Las primeras 3 capas MoE utilizan enrutamiento hash, un mapa de token a experto fijo. El equilibrio basado en sesgo noaux_tc permanece.

¿Cuántos expertos utiliza Qwen3 MoE?

Ambos modelos Qwen3 MoE originales utilizan 128 expertos y enrutan cada token a 8. Qwen3 eliminó los expertos compartidos de Qwen2.5-MoE y adoptó una pérdida de equilibrio de lote global. Qwen3.6-35B-A3B cambia de rumbo: 256 expertos, 8 enrutados más 1 compartido, según su tarjeta de modelo.

¿Cómo difiere la ruta de Llama 4 Maverick?

Llama 4 Maverick alterna capas densas y MoE. En cada capa MoE, un token va a 1 experto compartido y 1 de 128 expertos enrutados. Ese diseño de top-1 recuerda al Switch Transformer. Mantiene 17B parámetros activos a pesar de tener 400B en total.

¿Cómo enruta gpt-oss los tokens?

gpt-oss-120b utiliza un enrutador lineal sobre 128 expertos y mantiene los 4 superiores. Su configuración no lista ningún experto compartido. Sus pesos MoE se envían en MXFP4, lo que permite que el modelo de 117B quepa en una sola GPU de 80 GB.

¿Por qué Kimi K2 y GLM-4.5 se parecen a DeepSeek-V3?

Kimi K2 se envía con la clase de arquitectura DeepseekV3ForCausalLM y el enrutador noaux_tc. Eleva los expertos enrutados a 384 al mismo top-8. El informe de Kimi K2 encontró que una mayor esparsidad redujo la pérdida en cálculo de computación fija. GLM-4.5 eligió 160 expertos y más capas en su lugar, favoreciendo la profundidad sobre el ancho.

¿Qué significa la tendencia para el servicio?

Más expertos por capa significa más pesos residentes en memoria y más tráfico de todos a todos. Un top-k más bajo, como en DeepSeek-V4, reduce el cálculo y la comunicación por token. Los expertos compartidos agregan una ruta densa que cada token paga. Verifique estos campos antes de dimensionar las GPU para cualquier implementación de MoE.

Puntos clave

• La cantidad de expertos creció de 8 (Mixtral) a 384 (Kimi K2, DeepSeek-V4-Pro).
• El top-k ahora abarca de 1 (Llama 4) a 8 (DeepSeek-V3, Qwen3, Kimi K2, GLM-4.5).
• 7 de 10 modelos mantienen 1 experto compartido; Mixtral, gpt-oss y Qwen3 no.
• Sigmoid o sqrtsoftplus con equilibrio de sesgo es el estándar de la familia DeepSeek.
• Llama 4 y gpt-oss dejan sin publicar los detalles de la puerta o el equilibrio.

Fuentes del modelo: DeepSeek-V4-Pro, informe de DeepSeek-V3, informe de Qwen3, informe de Kimi K2, informe de GLM-4.5, artículo de Mixtral. También consulte gpt-oss-120b y el anuncio de Llama 4.

Además, siéntase libre de seguirnos en Twitter y no olvide unirse a nuestro SubReddit de 150k+ML y suscribirse a nuestro boletín. ¡Espera! ¿Estás en Telegram? ahora también puedes unirte a nosotros en Telegram

¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub OR Página de Hugging Face OR Lanzamiento de producto OR Seminario web etc.? Conéctese con nosotros

La publicación ¿Qué enrutamiento utiliza cada modelo MoE? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss comparados apareció por primera vez en MarkTechPost.