NVIDIA ha lanzado la plataforma completa NVIDIA Run:AI como software de código abierto. El código fuente se distribuye bajo la licencia Apache 2.0 en GitHub. El código abierto NVIDIA Run:AI pone en manos de los desarrolladores la programación de las GPU de producción, las cuotas y la gestión de la carga de trabajo. Este lanzamiento convierte a Run:AI en parte de la plataforma NVIDIA DSX AI Factory. Los equipos de plataformas ahora pueden inspeccionar, bifurcar y autohospedar el paquete sin necesidad
de una suscripción de pago.TL; DR
- Tamaño: Monorepo con plano de control, servicios de clúster, instalador, CLI y servidor MCP. El desarrollador local crea alrededor de 50 servicios de Go .
- Funciona en: clústeres de Kubernetes u OpenShift con GPU NVIDIA. El desarrollador local se ejecuta en macOS o Linux con 8 GPU Tesla-A10 simuladas , sin necesidad de GPU.
- Rendimiento: NVIDIA no publicó ningún punto de referencia a nivel de plataforma para esta versión.
- Lo mejor: el Model Streamer relacionado cargaba los modelos entre 3 y 6 veces más rápido en 8 máquinas virtuales NVIDIA H100 en Azure.
- Lo peor: la edición comunitaria no cuenta con el soporte empresarial de NVIDIA. Las compilaciones locales necesitan 16 GB de RAM y 100 GB de disco en Linux.
¿Qué es NVIDIA Run:AI?
NVIDIA Run:AI es una plataforma de orquestación de GPU y cargas de trabajo de IA para Kubernetes de NVIDIA. Programa las cargas de trabajo de desarrollo, entrenamiento e inferencia en clústeres de GPU compartidos. Se ejecuta sobre Kubernetes y
no lo reemplaza.El plano de control se encarga del envío de la carga de trabajo, la gestión de los recursos y la supervisión. Los servicios de clúster se ejecutan en cada clúster de Kubernetes y añaden una programación compatible con la GPU. Los usuarios acceden a ellos a través de una interfaz de usuario web, una CLI, una API REST y un servidor MCP para los asistentes de inteligencia artificial
.¿Cuáles son los 4 componentes modulares?
NVIDIA dividió la versión en 4 componentes que los equipos pueden adoptar de forma independiente:
- KAI Scheduler es el motor de programación nativo de Kubernetes. Es Apache 2.0 y un proyecto Sandbox de CNCF. Abarca la organización de pandillas, el reparto equitativo en función del tiempo, el conocimiento de la topología, el empaquetado de contenedores y el apoyo a la DRA.
- GPU Fractioning Operator lleva las fracciones de GPU nativas de CUDA 13.4 a Kubernetes. El controlador CUDA impone un límite de memoria fija por carga de trabajo. NVIDIA retiró su sistema de fraccionamientos patentado más antiguo y optó por este enfoque. El operador no depende del programador y exporta las métricas por pod.
- KAI Resource Management agrega proyectos, departamentos, cuotas y grupos de nodos. El ejemplo de NVIDIA garantiza el 50% de un clúster a un equipo de investigación.
- Workload Map es una biblioteca de Go que describe los tipos de cargas de trabajo, como los servicios PyTorchJob, RayCluster y KServe. Funciona sin conexión y no se programa, pone en cola ni escala automáticamente .
¿Cómo ejecutan los desarrolladores NVIDIA Run:AI de forma local?
La guía de desarrollo local se basa en un script, local-dev.sh. Crea alrededor de 50 servicios de Go desde el código fuente y dentro de contenedores. A continuación, crea un clúster tipo clúster de 5 nodos anclado a la versión 1.32.5 de Kubernetes. Un operador de GPU falso simula 8 GPU Tesla-A10, por lo que no se requiere ningún hardware
- Hosts compatibles: macOS o Linux, en amd64 o arm64. Windows no es compatible .
- Los hosts Linux necesitan 4 CPU, 16 GB de RAM y 100 GB de disco libre.
- Las máquinas virtuales de macOS Podman necesitan al menos 12 GB de RAM.
- Una compilación completa deja unos 44 GB de cachés.
La marca --gpu-operator cambia a GPU NVIDIA reales. Ese modo necesita Linux, Docker y el NVIDIA Container Toolkit. Los aceleradores AMD e Intel no son compatibles
¿Cómo pueden implementarlo los equipos en producción?
Los equipos de desarrollo pueden realizar el despliegue desde el código fuente o desde el gráfico NGC Community Product Helm. Esa edición no necesita una suscripción de pago, pero excluye el soporte empresarial de NVIDIA
.Los equipos también pueden adoptarla a través de 8 socios del ecosistema DSX. Estos son Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud y vCluster. Las ediciones comerciales compatibles continúan a través de NVIDIA AI Enterprise, NVIDIA Mission Control y algunos mercados de nube
.¿Qué proyectos de código abierto relacionados van de la mano?
Dos proyectos contiguos completan el conjunto. Model Streamer transfiere los pesos del modelo directamente a la memoria de la GPU. VLLM y SGLang lo habilitan con --load-format runai_streamer.
El punto de referencia publicado por Microsoft utilizó 8 máquinas virtuales NVIDIA H100. Mostró una carga de 3 a 6 veces más rápida que el cargador predeterminado. El rendimiento se mantuvo en 80 Gbps frente a los 40 Gbps de la ruta
predeterminada.Grove organiza las cargas de trabajo de inferencia multicomponente. Inicia componentes como el llenado previo y la decodificación como unidades de tipo «todo
o nada». &&&¿Cómo se compara NVIDIA Run:AI con otros programadores de Kubernetes de código abierto?
| Función | NVIDIA Run:AI (código abierto) | Licencia | Volcano | Kueue | Apache YuniKorn Apache 2.0 Apache |
|---|---|---|---|---|---|
| 2.0 Apache 2.0 | Apache 2.0 | ||||
| Gobernanza | NVIDIA DSX AI Factory org (KAI Scheduler: CNCF) Sandbox) | CNCF Incubating | kubernetes-sigs (wg-batch) | Apache Software Foundation | |
| Scope | Plataforma completa: plano de control, interfaz de usuario, CLI, API REST, servidor MCP | Sistema de programación por lotes | Controlador de colas de trabajos | Programador, alternativa al predeterminado | |
| Reemplaza al programador de kube | No, lo extiende con KAI Scheduler | No se revela | No | , como alternativa | |
| Programación de pandillas | Sí | Sí | Basado en tiempo de espera Todo o nada | Sí | |
| Jerarquía de cuotas | Proyectos, departamentos, grupos de nodos | Colas de varios niveles | Cohortes, reparto equitativo | Colas jerárquicas | |
| Compartir GPU | Fracciones nativas de CUDA 13.4 con límites de memoria dura | vGPU, cuota de GPU dinámica basada en DRA MIG | ; fraccionamiento no está en general | No se divulga | |
| Reconoce la topología | Sí | Sí Sí | No se revela | ||
| Multiclúster | Sí, mediante plano de control | Sí | , MultiKueue | No se revela | |
| Interfaz de usuario web |
La diferencia clave es el alcance. Volcano, Kueue y YuniKorn se centran en programar o hacer colas. Run:AI incluye una plataforma de gestión completa además de su programador
.Conclusiones clave
- NVIDIA Run:AI ahora es completamente de código abierto en Apache 2.0.
- Hay cuatro componentes independientes: KAI Scheduler, GPU Fractioning, Resource Management y Workload Map.
- El fraccionamiento de GPU ahora usa el aislamiento de memoria nativo de CUDA 13.4.
- El desarrollador local se ejecuta en un clúster tipo clúster de 5 nodos con 8 GPU simuladas.
- La edición gratuita no incluye el soporte empresarial de NVIDIA.
Consulta el repositorio de GitHub, la guía para desarrolladores local y el blog técnico de NVIDIA. Todo el mérito es del investigador de este proyecto. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro subReddit de más de 150 000 ml y suscribirte a nuestro boletín. ¡Espera! ¿Estás en Telegram? ahora también puedes unirte a nosotros en Telegram.
The post NVIDIA Open Sources Run:AI Under Apache 2.0 for Kubernetes GPU Orchestration appeared first on MarkTechPost.