Servir modelos de lenguaje grandes (LLM) de manera eficiente requiere memoria de GPU suficiente y una coordinación cuidadosa del procesamiento de prompts y la generación de tokens. Los pesos FP8 de GLM-5.3, por ejemplo, superan los 640 GB de memoria de GPU en una sola instancia de ml.p5.48xlarge, antes de considerar la caché KV y la sobrecarga de runtime. Los prompts largos también pueden ralentizar la generación de tokens cuando ambos comparten las mismas GPUs.

Amazon SageMaker HyperPod Inference ahora admite NVIDIA Dynamo, combinando las capacidades de inferencia distribuida de Dynamo con la administración de infraestructura de HyperPod para abordar estos desafíos. Dynamo es un framework de inferencia distribuida de código abierto que admite implementación multi-nodo, prefill y decodificación disagregados, y enrutamiento consciente de KV con motores como vLLM, SGLang y TensorRT-LLM. HyperPod admite estas implementaciones con redes de alta velocidad Elastic Fabric Adapter (EFA), programación de GPU coordinada y monitoreo y recuperación de salud de nodos. En esta publicación, ilustramos la implementación multi-nodo y disagregada a través de un ejemplo de implementación, compartimos resultados de benchmark y esbozamos las mejores prácticas para optimizar la inferencia en HyperPod.

Cómo funciona la integración

El complemento HyperPod Inference instala las definiciones de recursos personalizados de Dynamo y estos componentes de servicio y programación:

  • HyperPod Inference Operator administra la implementación de endpoint a través de un recurso personalizado InferenceEndpointConfig (IEC). Su sección dynamoSpec suministra la configuración de Dynamo.
  • Operador de Dynamo administra los recursos definidos en un DynamoGraphDeployment (DGD), incluyendo el frontend, los workers de modelo, los recuentos de réplicas y los requisitos de recursos.
  • Grove coordina grupos relacionados de pods, incluyendo workers multi-nodo, y sus relaciones de escalado.
  • Programador de Inteligencia Artificial de Kubernetes (KAI) coloca pods en recursos de GPU, utilizando la programación de gang para programar los pods necesarios para un worker multi-nodo juntos.

Los contenedores de aprendizaje profundo de AWS (DLC) proporcionan el runtime de Dynamo, mientras que el complemento administra las versiones de componentes integrados. Para adoptar una versión de Dynamo compatible, actualice el complemento.

Arquitectura de implementación

El siguiente diagrama muestra las rutas de implementación, los componentes de servicio y la administración de infraestructura para la inferencia disagregada en SageMaker HyperPod. El frontend de Dynamo enruta las solicitudes a los trabajadores de prellenado, que procesan las solicitudes, y a los trabajadores de decodificación, que generan tokens. Estos grupos separados permiten un escalado y ajuste independientes. Ambos grupos cargan los pesos completos del modelo, y la caché KV se transfiere entre ellos a través de EFA.

Dynamo también admite el servicio agregado, donde el prellenado y la decodificación se ejecutan en el mismo trabajador. En cualquiera de las topologías, los trabajadores pueden ejecutarse en una instancia o abarcar varias instancias utilizando paralelismo de tensor y pipeline. El enrutador consciente de KV de Dynamo considera el prefijo reusable de la caché KV y la carga activa del trabajador en ambas topologías. La reutilización de prefijos puede reducir la recomputación de solicitudes y mejorar el tiempo hasta el primer token, mientras que la conciencia de carga ayuda a evitar la sobrecarga de los trabajadores. Para obtener más detalles sobre la arquitectura de Dynamo, consulte la visión general de la base de conocimientos de Dynamo.

HyperPod proporciona monitoreo de salud de nodos, GPU y EFA, y administra el reemplazo de nodos, mientras que los componentes de orquestación recrean los trabajadores afectados. Las implementaciones configuradas a través de InferenceEndpointConfig con dynamoSpec admiten la invocación a través de puntos finales de SageMaker.

Diagrama de arquitectura de NVIDIA Dynamo en SageMaker HyperPod con el frontend que enruta a los trabajadores de prellenado y decodificación a través de EFA

Figura 1: Rutas de implementación, componentes de servicio y administración de infraestructura para NVIDIA Dynamo en Amazon SageMaker HyperPod Inference

Dos formas de configurar su implementación

Ya sea que sea nuevo en HyperPod, nuevo en Dynamo o ambos, la extensión ofrece dos rutas de implementación para adaptarse a su flujo de trabajo:

Bring-your-own DynamoGraphDeployment (DGD) permite a los usuarios existentes de Dynamo continuar utilizando la documentación, las recetas y los manifiestos de upstream, con el operador de Dynamo que administra la implementación. Para llevar una DGD existente a HyperPod, use una imagen de contenedor compatible y configure el almacenamiento, la red y la colocación de pods para su cluster.

InferenceEndpointConfig con dynamoSpec permite a los usuarios existentes de HyperPod Inference implementar un nuevo punto final de Dynamo utilizando el mismo formato de configuración y la interfaz compatible con OpenAI que ya conocen. Para el motor de inferencia, puede elegir vLLM, SGLang o TensorRT-LLM, con vLLM utilizado de forma predeterminada. El operador también proporciona valores predeterminados para enrutamiento consciente de KV y recuentos de réplicas.

Ambos caminos admiten implementaciones de instancia única y multi-nodo. En cualquier caso, HyperPod administra la salud del nodo y su reemplazo. La tabla resume las responsabilidades de cada camino.

Bring-your-own DGD InferenceEndpointConfig con dynamoSpec
Escribe Manifest completo de DGD IEC que contiene dynamoSpec
Mejor para Equipos que desean control directo del grafo de servicio o reutilización de DGD existentes Equipos que desean configuración de punto final administrada a través de IEC
Pesos del modelo Configura la descarga o montaje de los pesos El operador prepara los pesos desde Amazon Simple Storage Service (Amazon S3) o Amazon FSx
Punto final, TLS, registro Configura y administra estos recursos Administrado a través del operador de inferencia de HyperPod
Autoscaling Configura y administra la escalabilidad Autoscaling de eventos de Kubernetes (KEDA) a través de autoScalingSpec para implementaciones agregadas y desagregadas

Ejemplo de implementación: GLM-5.3

Los siguientes extractos utilizan el camino de implementación de InferenceEndpointConfig (IEC) con vLLM en instancias ml.p5.48xlarge. Los ajustes específicos de Dynamo pertenecen a spec.dynamoSpec. La fuente del modelo y los ajustes del punto final se incluyen en el manifiesto completo.

Servicio agregado de varios nodos

Esta configuración ejecuta una réplica de modelo-trabajador en dos instancias (16 GPUs), con dos réplicas frontend para el manejo de solicitudes. Establecer dynamoSpec.frontend.routingMode en kv-aware activa el enrutamiento consciente de KV.

spec:
  replicas: 1
  dynamoSpec:
    modelServer: vllm
    frontend:
      replicas: 2
      routingMode: kv-aware
    aggregation:
      nodesPerReplica: 2
      tensorParallelism: 16

Aquí, spec.replicas controla la cantidad de réplicas de modelo-trabajador, mientras que frontend.replicas controla la cantidad de réplicas frontend.

Servicio desagregado de varios nodos

Reemplace aggregation bajo spec.dynamoSpec con el siguiente bloque disaggregation, manteniendo la configuración frontend precedente. Los recuentos de réplicas se establecen por separado para prellenado y decodificación. Este ejemplo ejecuta una réplica de prellenado y dos réplicas de decodificación, cada una abarcando dos instancias, para un total de seis instancias.

disaggregation:
  prefill:
    nodesPerReplica: 2
    tensorParallelism: 16
    replicas: 1
  decode:
    nodesPerReplica: 2
    tensorParallelism: 16
    replicas: 2

Aplicar la implementación

Aplicar el manifiesto completo con kubectl apply. El operador de inferencia de HyperPod hace que los pesos del modelo configurado estén disponibles para los workers y genera el DGD. Grove y KAI Scheduler coordinan la colocación para que los pods necesarios para cada worker multi-nodo se programen juntos.

Después de que el punto de conexión de SageMaker esté listo y configurado para completar conversaciones, los clientes pueden enviar una carga útil de solicitud compatible con OpenAI a través de la API de tiempo de ejecución de SageMaker:

aws sagemaker-runtime invoke-endpoint \
--endpoint-name glm53 \
--content-type application/json \
--body '{"model":"zai-org/GLM-5.3","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}' \
--cli-binary-format raw-in-base64-out \
out.json

Benchmarks

Realizamos benchmarks de Dynamo en SageMaker HyperPod en dos modelos para comparar configuraciones de servicio.

Prefill y decodificación desagregada para Qwen3-235B

Utilizamos AIPerf para comparar el servicio agregado y desagregado para Qwen3-235B-A22B-FP8 utilizando Dynamo con TensorRT-LLM en dos instancias p5en.48xlarge (16 GPUs H200). Las solicitudes contenían 4,000 tokens de entrada y 200 tokens de salida. Mantuvimos los puntos medidos que cumplieron con dos objetivos: tiempo de primer token P90 por debajo de un segundo y velocidad de generación mediana de al menos 50 tokens por segundo por usuario. Entre estos puntos, el servicio desagregado logró 2,05 veces el rendimiento máximo agregado: 207 versus 101 tokens de salida por segundo por GPU, en concurrencia 80 y 32, respectivamente.

Comparación de rendimiento para Qwen3-235B: servicio desagregado a 207 versus servicio agregado a 101 tokens de salida por segundo por GPU

Figura 2: Rendimiento de servicio agregado en comparación con el servicio desagregado para Qwen3-235B-A22B-FP8

Servicio agregado multi-nodo para Qwen3.5-397B

Dynamo admite el servicio multi-nodo en ambos modos agregados y desagregados para modelos que exceden la memoria de GPU de una sola instancia. Para evaluar un worker que abarca nodos, utilizamos AIPerf para realizar pruebas de rendimiento de servicio agregado multi-nodo para Qwen3.5-397B-A17B-FP8 con Dynamo y vLLM, utilizando TP4 × PP2 y ocho GPUs H200 activas. Este modelo cabe en una sola instancia, por lo que en la práctica no lo dividirías. Sirve aquí como una línea de base controlada. Comparamos ocho GPUs en un p5en.48xlarge con cuatro GPUs en cada una de dos instancias, utilizando el mismo modelo, paralelismo y configuración de carga de trabajo. Con una carga de trabajo agente que presenta un alto reuso de prefijo a una concurrencia de 32, la configuración de dos nodos entregó 126,4 tokens de salida por segundo por GPU, manteniendo el 99,1 por ciento del rendimiento de un solo nodo. Esto muestra que Dynamo en SageMaker HyperPod puede servir un modelo que necesita más de una instancia a través de los nodos. El límite del nodo en sí no se convierte en una penalización de rendimiento significativa.

Comparación de rendimiento para Qwen3.5-397B: servicio de dos nodos a 126,4 tokens de salida por segundo por GPU, 99,1% del rendimiento de un solo nodo

Figura 3: Rendimiento de un solo nodo en comparación con el rendimiento de dos nodos para el servicio agregado multi-nodo de Qwen3.5-397B-A17B-FP8

Mejores prácticas para inferencia optimizada

NVIDIA Dynamo proporciona recetas y herramientas para ayudarlo a seleccionar una configuración de servicio, realizar pruebas de rendimiento y ajustar su implementación en SageMaker HyperPod.

  • Comience con una receta coincidente – Elija una receta de Dynamo para su modelo, motor de inferencia y tipo de GPU. Tenga en cuenta los pesos del modelo, la caché KV y la memoria de tiempo de ejecución al dimensionar los workers. Para configuraciones admitidas, AISimulate puede ayudar a comparar el servicio agregado y desagregado, elegir el paralelismo y dimensionar las piscinas de workers de prellenado y decodificación antes de probar en GPUs.
  • Verifique la comunicación antes de realizar pruebas de rendimiento – Para implementaciones que abarcan instancias, confirme que la comunicación utiliza el transporte EFA pretendido, incluidas las transferencias de caché KV entre workers de prellenado y decodificación. Consulte la guía de EFA de Dynamo.
  • Realice pruebas de rendimiento con tráfico representativo – Reproduzca su tráfico con AIPerf, o utilice una traza agente generada con longitudes de prompt representativas, longitudes de salida y reutilización de prefijo. Barra de concurrencia para cada configuración, retenga los puntos que cumplan con sus SLAs y elija en función de las prioridades de costo y latencia.
  • Ajuste a partir de cuellos de botella medidos – Ajuste la topología y la asignación de workers antes de los ajustes del motor, cambiando una variable a la vez. Siga la guía de ajuste de rendimiento, o utilice habilidades de agente de optimización de Dynamo para ayudar con las pruebas de rendimiento y el ajuste. Valide cada candidato en su implementación de HyperPod de destino.

Conclusión

NVIDIA Dynamo en SageMaker HyperPod Inference simplifica la implementación y operación de modelos grandes con servicio multi-nodo, prellenado y decodificación desagregados, y enrutamiento consciente de KV. El complemento administrado instala los componentes de servicio, y los valores predeterminados de configuración simplifican la configuración del punto de conexión. HyperPod administra los pesos del modelo, escalas automáticamente los clusters en función de las métricas de GPU y inferencia, supervisa la salud de los nodos y reemplaza los nodos fallidos. Conjuntamente, estas capacidades reducen el trabajo de infraestructura no diferenciado para que los equipos puedan centrarse en sus modelos y aplicaciones. Comience con las instrucciones de configuración y los ejemplos de implementación completos en el repositorio vinculado.

Reconocimientos

Los autores desean agradecer a Eliuth Triana, Felipe Garcia, Sanjana Checker, Junyuan Yang, Jiahong Liu, Anish Maddipoti, Jacob Kern y Abdullahi Olaoye de NVIDIA por sus contribuciones a esta publicación. También nos gustaría agradecer a Can Sun, Ophelia Yang, Aryaman Kothari, David Oh y Ayush Kumar de AWS por sus contribuciones.


Sobre los autores

Vinay Arora

Vinay Arora

Vinay es un Arquitecto de Soluciones Especialista para Inteligencia Artificial Generativa en AWS, donde colabora con clientes en el diseño de soluciones de inteligencia artificial de vanguardia, aprovechando las tecnologías y la infraestructura de AWS durante los últimos 6 años. Antes de unirse a AWS, Vinay tiene más de dos décadas de experiencia en finanzas, incluyendo roles en bancos y fondos de cobertura, donde ha desarrollado modelos de riesgo, sistemas de trading y plataformas de datos de mercado. Vinay tiene una maestría en ciencias de la computación y administración de empresas.

Piyush Daftary

Piyush Daftary

Piyush es un Ingeniero de Software Principal en AWS, donde construye sistemas de inferencia para grandes modelos de lenguaje en Amazon SageMaker HyperPod. Se enfoca en rutas de acceso optimizadas, servidores desagregados y arquitecturas de escalado automático que ayudan a los clientes a extraer el máximo rendimiento de sus flotas de GPU. Su experiencia abarca sistemas distribuidos, bases de datos y tecnologías de búsqueda. Fuera del trabajo, disfruta viajando y pasando tiempo con su familia.

Xuan Lu

Xuan Lu

Xuan es un ingeniero de desarrollo de software en AWS, donde trabaja en Amazon SageMaker HyperPod Inference para construir y escalar sistemas de inferencia de LLM a gran escala. Su trabajo se centra en la inferencia distribuida, el enrutamiento de solicitudes inteligentes y la optimización del rendimiento, con experiencia en orquestación basada en Kubernetes y infraestructura de servicio de LLM. Fuera del trabajo, disfruta viajando, explorando la naturaleza y leyendo ciencia ficción.

Preethi Ravula

Preethi Ravula

Preethi es una gerente de arquitectura de soluciones para Inteligencia Artificial generativa, Datos, Almacenamiento y Análisis en el equipo ISV de AWS. Lidera un equipo que ayuda a los proveedores de software a construir y escalar la inteligencia artificial generativa en AWS. Trabaja en la estrategia de IA y la optimización de la inferencia, y desarrolla marcos y guías que ayudan a los clientes a ejecutar cargas de trabajo de modelos de lenguaje grande más rápido y de manera más rentable en AWS Trainium y GPUs de NVIDIA. Preethi ha hablado en GHC 2025, SJSU y Women in Tech Dublin. También es defensora de la educación en IA a través de un programa de AWS que enseña a los estudiantes a construir aplicaciones con servicios de IA generativa de AWS.

Sai Devulapalli

Sai Devulapalli

Sai ha liderado el equipo de Amazon SageMaker AI a nivel mundial durante los últimos seis años. Trabaja en estrecha colaboración con líderes de especialistas en IA que se enfrentan a los clientes en todo el mundo de AWS y se reúne con partes interesadas de nivel C/VP en los clientes para entender sus necesidades y ofrecer orientación para construir y ejecutar las estrategias de plataforma de IA de su empresa. Sai trabaja con el liderazgo del servicio de IA de SageMaker para ayudar a guiar la hoja de ruta del servicio para servir mejor a las necesidades de los clientes y ha estado en el espacio de plataforma de IA/ML durante los últimos 16 años, liderando equipos de desarrollo comercial y gestión de productos en Dell EMC y Pivotal, y antes de eso, liderando la práctica de Análisis de Datos y ML para Ericsson en Norteamérica.

Aryaman Kothari

Aryaman es un Gerente de Producto Senior en Amazon SageMaker AI, donde lidera la inferencia de AI en Amazon SageMaker HyperPod, ayudando a las empresas a ejecutar modelos de AI a escala para cargas de trabajo de producción. Graduado de Chicago Booth, Aryaman previamente lideró el producto y el lanzamiento al mercado para el negocio de Conversational AI de Quantiphi. Fuera del trabajo, disfruta jugando fútbol, preparando chai y hacer senderismo.

Kshitiz Gupta

Kshitiz Gupta

Kshitiz es un Arquitecto de Soluciones Senior en NVIDIA, donde ayuda a los clientes en la nube a diseñar y optimizar sistemas de datos y AI acelerados por GPU. Su trabajo abarca el procesamiento de datos, la base de datos de vectores y la inferencia de LLM, trabajando en estrecha colaboración con los equipos de AWS y Amazon para llevar estas capacidades a producción. Fuera del trabajo, disfruta de la música, el yoga y el senderismo.

Marc Karp

Marc Karp

Marc es un Arquitecto de Soluciones Senior en NVIDIA, donde ayuda a los clientes a implementar y escalar la inferencia de AI en GPUs. Trabaja en toda la pila de inferencia, desde la optimización de modelos y el servicio distribuido hasta los motores que los impulsan. Fuera del trabajo, disfruta viajando y explorando nuevos lugares.

Wenhan Tan

Wenhan Tan

Wenhan es un arquitecto de soluciones en NVIDIA, asistiendo a los clientes en la adopción de soluciones de inteligencia artificial de NVIDIA a gran escala. Su trabajo se centra en acelerar aplicaciones de aprendizaje profundo y abordar desafíos de inferencia y entrenamiento.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.