Cada punto de inferencia está bien ajustado el día que entra en producción. Los equipos eligen un tipo de instancia, una configuración de servicio y ajustes de escalado que se adaptan al modelo y su tráfico en el lanzamiento. Con el punto de inferencia funcionando sin problemas, es comprensible que pasen a la siguiente prioridad. Sin embargo, la carga de trabajo rara vez permanece estática. Los patrones de tráfico evolucionan, las solicitudes se vuelven más largas, los motores de servicio como vLLM lanzan nuevas versiones, SageMaker inference desarrolla nuevas técnicas de optimización y nuevos puntos de ajuste fine-tuned cambian los recursos que necesita su modelo. Con el tiempo, un punto de inferencia bien ajustado se desvía silenciosamente. La latencia y el tiempo hasta el primer token aumentan. Una configuración que nunca fue ideal pierde las ganancias de rendimiento disponibles. Una GPU provisionada para una demanda que nunca se materializó permanece inactiva semana tras semana. Como nada ha fallado, no suena ninguna alarma y la deriva pasa desapercibida hasta que los usuarios la sienten o la refleja en la factura.

Amazon SageMaker AI ahora monitorea sus puntos de inferencia de AI generativa y le informa cuando un cambio podría mejorar el rendimiento o reducir el costo utilizando la función de recomendaciones de inferencia de AI generativa optimizadas con experiencia Agentic en Amazon SageMaker Studio. La monitorización está activada de forma predeterminada para los puntos de inferencia de SageMaker AI que utilizan contenedores de servicio vLLM y instancias GPU, sin requerir configuración, y puede optar por no participar en los puntos de inferencia. SageMaker AI solo examina señales operativas: latencia, utilización de GPU y configuración de servicio del punto de inferencia. No lee sus solicitudes ni respuestas. A partir de esas señales, presenta tres tipos de hallazgos:

  • Deriva de latencia: Un aumento semana a semana en la latencia de extremo a extremo mediana (p50) o tiempo hasta el primer token.
  • Capacidad no utilizada: GPUs que paga y que permanecen mayormente inactivas.
  • Brechas de configuración: Un contenedor de servicio que falta mejoras de rendimiento más recientes o parches de seguridad, o una optimización como decodificación especulativa o ajuste de kernel de GPU que su modelo admite pero el punto de inferencia no utiliza.

SageMaker AI envía un hallazgo a través de AWS Health, con una notificación por endpoint que cubre los hallazgos de ese endpoint. Cuando llega una notificación, puede actuar sobre ella en un solo lugar. Abre la experiencia de SageMaker AI en Amazon SageMaker Studio con el endpoint y su tráfico reciente ya lleno. Desde allí, ejecuta recomendaciones de inferencia para evaluar su configuración actual contra alternativas y compararlas lado a lado en tiempo de respuesta, rendimiento y costo por millón de tokens. Eso convierte una decisión subjetiva en una decisión respaldada por datos. Las pruebas de referencia se ejecutan en cómputo separado y nada cambia en su endpoint hasta que elige aplicar un resultado.

En esta publicación, mostramos cómo SageMaker AI monitorea sus endpoints y cómo leer las notificaciones que envía a través de AWS Health. Luego mostramos cómo ir de una notificación a una decisión evaluada en SageMaker Studio. Recorremos tres escenarios de ejemplo, mostramos cómo aplicar o descartar una recomendación de manera segura y explicamos cómo optar por un endpoint para que no sea monitoreado.

Visión general de la solución

Las recomendaciones de inferencia de SageMaker AI siguen un ciclo de cuatro pasos: observar, notificar, recomendar y decidir. Cada paso está diseñado para que usted mantenga el control y su endpoint de producción no cambie sin su acción explícita.

  1. Observar – La supervisión de latencia y uso de capacidad está activada de forma predeterminada para endpoints elegibles. No lee sus solicitudes ni respuestas y no conlleva costo adicional de GPU.
  2. Notificar – Cuando hay algo que vale la pena actuar, recibe una notificación en lenguaje claro en AWS Health, además de un correo electrónico, que explica lo que se observó, por qué es importante y el paso recomendado siguiente.
  3. Recomendar (optar por) Una selección abre la experiencia de SageMaker AI en SageMaker Studio, prefilled con el endpoint y su tráfico observado, para que pueda evaluar alternativas en cómputo separado.
  4. Decidir – Compare el tiempo de respuesta, el rendimiento y el costo lado a lado. La producción no cambia hasta que se aplica un resultado.

La característica produce algunos tipos de hallazgos. La siguiente tabla resume qué desencadena cada uno y qué se prueba cuando elige evaluar.

Hallazgo Qué lo desencadena Qué prueba una evaluación
Deriva de latencia El tiempo de respuesta cambia en relación con las tendencias semanales del endpoint Ajustes de paralelismo de tensor y tipos o tamaños de instancia alternativos
GPUs subutilizadas La utilización de GPU permanece muy por debajo de la capacidad durante la ventana Tipos de instancia más baratos y tamaños más pequeños en el tráfico máximo observado
Decodificación especulativa no habilitada El modelo y el contenedor lo admiten, pero está desactivado (basado en configuración) Configuración actual en comparación con la decodificación especulativa habilitada
Contenedor de servicio El contenedor de servicio del endpoint tiene una versión más nueva con una mejora de rendimiento y parches de seguridad para hallazgos críticos y de alto nivel de Common Vulnerabilities and Exposures (CVEs). Actual en comparación con el contenedor actualizado
Núcleos GPU no ajustados La configuración del núcleo no está ajustada para el modelo y el hardware Predeterminado en comparación con núcleos ajustados

Requisitos previos

La supervisión en sí no requiere configuración, está activada de forma predeterminada. Los siguientes requisitos previos se aplican cuando elige actuar sobre un hallazgo ejecutando una referencia y, opcionalmente, aplicando un cambio:

  1. Acceso a AWS Health y la consola de notificaciones de usuario de AWS.
  2. Un dominio de SageMaker Studio y permisos de AWS Identity and Access Management (IAM) para ejecutar trabajos de recomendación de inferencia y actualizar endpoints.
  3. Cuota de servicio suficiente para las instancias de referencia que desee probar.

Nota de costo: La supervisión no tiene costo de GPU. Las referencias utilizan los cargos estándar de SageMaker AI, o su reserva de aprendizaje automático (ML) si tiene una.

Comprender una notificación de hallazgo

Recibe notificaciones en AWS Health en la consola y por correo electrónico, y cada una sigue la misma estructura, por lo que es rápido de escanear:

  1. Endpoint: El endpoint al que se aplica el hallazgo.
  2. Lo que notamos: La observación, expresada de manera clara, con estimaciones claramente etiquetadas como estimaciones.
  3. Por qué es importante: El impacto en la latencia, la capacidad o el costo.
  4. Acción recomendada: Una sola selección en la experiencia de SageMaker Studio para investigar.

Las notificaciones informan sobre observaciones y etiquetan estimaciones. No se ha ejecutado ninguna referencia en este punto. Una notificación representativa se lee como sigue:

Asunto: [Puede ser necesario actuar] Mejoras de inferencia de SageMaker AI para su endpoint

SageMaker AI realiza un seguimiento de la latencia y el uso de capacidad de sus endpoints de inferencia de forma predeterminada, y encontró mejoras para uno de ellos. No lee sus solicitudes ni respuestas.

Lo que notamos: Durante la última semana, el tiempo hasta el primer token en este endpoint aumentó en comparación con la semana anterior.

Acción recomendada: Abra SageMaker Studio para probar alternativas en un cómputo separado. Su endpoint de producción no se modifica.

Cadencia: Cada endpoint recibe una notificación que cubre los hallazgos aplicables. Recibe como máximo una notificación por endpoint a la vez, que cubre todos sus hallazgos, y SageMaker AI limita la cantidad que una cuenta recibe al mismo tiempo. Las notificaciones son específicas de la región de AWS, por lo que ve los hallazgos de un endpoint cuando está conectado a la región de ese endpoint.

Guía: Desde la notificación hasta la decisión

En esta sección, revisamos algunos escenarios de optimizaciones de endpoint que activarán los hallazgos para ser informados.

Escenario 1: Detectar la regresión de latencia semana a semana

Un equipo ejecuta un asistente de chat en un solo endpoint de SageMaker AI. Agregan recuperación para mejorar la calidad de las respuestas, por lo que cada solicitud ahora lleva páginas de contexto recuperado y las solicitudes se vuelven mucho más largas. Nada se rompe, y ninguna alarma que configuraron se dispara, pero las respuestas comienzan más lentamente.

SageMaker AI compara el tiempo mediano (p50) hasta el primer token y la latencia de extremo a extremo mediana del endpoint con la semana anterior. Cuando cualquiera de los dos aumenta lo suficiente durante la semana, marca el cambio. Dado que la comparación es con la propia historia del endpoint, el equipo no necesita establecer un umbral con anticipación.

  • Notificación: AWS Health informa que el tiempo hasta el primer token aumentó con respecto a la semana anterior.
  • Sesión de Studio: Una selección abre la experiencia de agente, prellenada con el endpoint y su tráfico observado.
  • Benchmark: La sesión prueba la configuración de paralelismo de tensor y otros tipos o tamaños de instancia en un cómputo separado.
  • Decisión: El equipo compara la latencia, el rendimiento y el costo, y luego aplica la configuración ganadora a una variante.

La siguiente captura de pantalla muestra un evento de AWS Health para un hallazgo de deriva de latencia. El mensaje informa que el tiempo mediano hasta el primer token aumentó unos 200 ms semana a semana, y el panel de Acciones recomendadas enlaza a SageMaker AI para ejecutar recomendaciones de inferencia.

Evento de AWS Health de deriva de latencia que muestra que el tiempo hasta el primer token aumentó unos 200 ms semana a semana

Figura 1: Evento de AWS Health para un hallazgo de deriva de latencia, con un enlace para ejecutar recomendaciones de inferencia en SageMaker AI

Escenario 2: Activar una optimización que pueda beneficiar a su tráfico

Un equipo de plataforma hospeda un modelo de código interno de finalización en un punto final de AI de SageMaker. Lo implementaron con la configuración de servicio predeterminada y nunca la volvieron a visitar. El modelo y el contenedor de servicio admiten la decodificación especulativa, una técnica para respuestas más rápidas, pero no está habilitada. SageMaker AI la señalaleta como una oportunidad. Si ayuda o no depende del tráfico del punto final, como la cantidad de solicitudes que se ejecutan simultáneamente y la longitud de las solicitudes y respuestas. La notificación recomienda ejecutar recomendaciones de inferencia, que benchmark la decodificación especulativa contra el tráfico reciente del punto final y muestra si vale la pena activarla.

  • Notificación: AWS Health informa que una técnica diseñada para hacer que las respuestas sean más rápidas es compatible pero no está habilitada.
  • Sesión de Studio: La experiencia de agente se abre con la configuración del punto final cargada.
  • Benchmark: La sesión compara la configuración actual con la decodificación especulativa habilitada. Los resultados pueden variar en el tráfico pico en comparación con el tráfico fuera de pico.
  • Decisión: Si el beneficio se mantiene en el tráfico que importa, el equipo lo aplica. De lo contrario, mantienen la configuración actual.

La siguiente captura de pantalla muestra un evento de AWS Health para un hallazgo de decodificación especulativa. El mensaje informa que el modelo y el contenedor de servicio admiten la decodificación especulativa, pero el punto final no la utiliza. El panel de Acciones recomendadas enlaza a SageMaker AI para ejecutar recomendaciones de inferencia.

Evento de AWS Health que muestra que el modelo admite la decodificación especulativa pero el punto final no la utiliza

Figura 2: Evento de AWS Health para un hallazgo de decodificación especulativa, con un enlace para ejecutar recomendaciones de inferencia en SageMaker AI

La notificación explica que la decodificación especulativa puede hacer que las respuestas sean más rápidas, y que el benchmark compara el tiempo de respuesta con y sin ella en el tráfico reciente del punto final.

Escenario 3: Ajustar el tamaño de las GPU subutilizadas

Un punto final de resumen se dimensionó para un lanzamiento que atrajo una fracción de la audiencia planificada, por lo que sus GPU permanecen en gran parte inactivas durante una semana. Este escenario también muestra un caso en el que la decisión correcta puede ser no hacer ningún cambio en absoluto.

  1. Notificación: AWS Health informa que el endpoint pagó por capacidad de GPU que en gran medida no se utilizó.
  2. Sesión de Studio: La experiencia agente se abre con el endpoint y su tráfico pico observado.
  3. Prueba de referencia: La sesión prueba tipos de instancias más económicos y tamaños más pequeños en el tráfico pico observado.
  4. Decisión: El equipo evalúa los ahorros mensuales frente al margen de crecimiento que desean y puede decidir mantener el tamaño actual.

La siguiente captura de pantalla muestra un evento de AWS Health para una capacidad no utilizada. El mensaje informa que durante la mayor parte de la semana, incluso la GPU más ocupada del endpoint utilizó 12 por ciento o menos de su capacidad. El panel de Acciones recomendadas enlaza a SageMaker AI para ejecutar recomendaciones de inferencia.

Evento de AWS Health de capacidad no utilizada que muestra la GPU más ocupada que utilizó 12% o menos de su capacidad durante la mayor parte de la semana

Figura 3: Evento de AWS Health para una capacidad no utilizada, con un enlace para ejecutar recomendaciones de inferencia en SageMaker AI

Puede elegir Abrir en SageMaker AI desde las acciones recomendadas, como se muestra en la captura de pantalla anterior, para aplicar o descartar una recomendación. Ahora vamos a ver esto en la siguiente sección.

Aplicar o descartar una recomendación

Usted mantiene el control en todo momento y nada se implementa automáticamente. Cuando elige Abrir en SageMaker AI desde las acciones recomendadas de una notificación, Amazon SageMaker Studio abre un espacio de JupyterLab y muestra el mensaje que se ejecutará en el chat agente. La siguiente captura de pantalla muestra el mensaje para un hallazgo de deriva de latencia en un endpoint que también ejecuta un contenedor de vLLM más antiguo:

Cuando elige Ejecutar, la experiencia agente se abre en un panel de chat en el espacio de JupyterLab en SageMaker Studio. Resume el hallazgo en lenguaje plano, reafirma lo que le pidió que hiciera y verifica con usted antes de tomar cualquier acción. La siguiente captura de pantalla muestra al agente resumiendo los hallazgos y pidiendo continuar:

Después de confirmar, el agente genera una notebook que crea un trabajo de recomendación de inferencia para el endpoint. La notebook utiliza el SDK de Python de SageMaker, toma el modelo del endpoint y el perfil de tráfico de sus métricas, y etiqueta el trabajo con el evento de AWS Health para que pueda rastrear los resultados hasta el hallazgo. Cada paso es una celda de notebook separada, por lo que puede revisarla o editarla antes de ejecutarla.

La siguiente captura de pantalla muestra las celdas de la notebook que registran los detalles del trabajo y comienzan un trabajo de recomendación en tres tipos de instancias candidatas.

Cuando el trabajo se completa, puede comparar su configuración actual con las alternativas en tiempo de respuesta, rendimiento y costo. Cuando esté listo para actuar en un resultado benchmarking, recomendamos un patrón de implementación segura:

  • Revisar el cambio propuesto antes de aplicarlo, incluyendo la diferencia de configuración y la latencia, el rendimiento y el costo benchmarking.
  • Aplicar a una variante de producción primero y mantener la configuración actual disponible para revertir.
  • Mantener o descartar un hallazgo es un resultado normal. La notificación permanece en su historial de eventos de AWS Health.

Administrar el monitoreo y las notificaciones

Puede administrar el monitoreo y cómo recibe notificaciones:

  1. Administrar cómo recibe notificaciones en la consola de Notificaciones de usuario de AWS.
  2. Opcionalmente, programar recomendaciones recurrentes, por ejemplo, mensuales.

Qué se recopila y qué no: El monitoreo lee la telemetría de latencia y capacidad agregada a nivel de endpoint. No lee el contenido de su solicitud o respuesta, y no conlleva costo de GPU.

Excluirse del monitoreo: Si no desea que SageMaker AI monitoree un endpoint, establezca la variable de entorno OPT_OUT_TRACKING, con un valor de su elección, en el contenedor del modelo. La establece en el mapa Environment cuando llama a CreateModel, ya sea en PrimaryContainer o en otro contenedor del modelo.

Si un contenedor en el endpoint lleva esta variable, SageMaker AI no recopila telemetría de monitoreo para ese endpoint, incluyendo métricas del motor, métricas de GPU y detalles de configuración de inicio. Como resultado, no envía notificaciones para ese endpoint.

Limpieza

Para evitar cargos continuos, limpie los recursos que creó mientras seguía este post:

  1. Elimine cualquier punto final de prueba o recurso que haya creado para el recorrido.
  2. Quitar artefactos de benchmark en Amazon Simple Storage Service (Amazon S3), si corresponde.
  3. Revertir cualquier cambio de configuración de prueba que haya aplicado.

Conclusión

Con las recomendaciones de inferencia de AI de SageMaker monitoreando automáticamente sus puntos finales, la optimización pasa de ser una instantánea en un momento dado a una señal en curso.

Sus puntos finales siguen informándole cuando se han desviado, cuando les falta una mejora o cuando están pagando por capacidad inactiva. Una sola selección lo lleva a una decisión con benchmark y comparación lado a lado que usted controla.

Para obtener más información sobre cómo empezar, visite Amazon SageMaker AI y consulte la documentación de Amazon SageMaker AI.


Acerca de los autores

Hazim Qudah

Hazim Qudah

Hazim es un Arquitecto de Soluciones Especialista en AWS con sede en Dallas, TX. Le gusta ayudar a los clientes a crear y adoptar soluciones de AI/ML utilizando tecnologías y mejores prácticas de AWS. Antes de su función en AWS, pasó muchos años en consultoría tecnológica con clientes de diversas industrias y geografías. En su tiempo libre, disfruta cocinar, mantenerse activo y jugar con su perro Nala.

Mona Mona

Mona Mona

Mona es una Arquitecta de Soluciones Especialista Mundial para AI/ML en AWS, con sede en el área de Washington, D.C. Trabaja con clientes para diseñar y implementar inferencia de AI generativa en Amazon SageMaker AI, centrándose en la optimización de modelos, la eficiencia de costos y las mejores prácticas de producción. Es una frecuente conferencista y autora sobre aprendizaje automático aplicado y codirige la comunidad de Mujeres en AI/ML.

Vineet Sharma

Vineet Sharma

Vineet es un Gerente Senior de Marketing de Producto, Tecnología en AWS, enfocado en Amazon SageMaker AI. Se especializa en estrategia de lanzamiento al mercado, lanzamientos de productos y traducir servicios complejos de AI y ML en un valor para el cliente convincente. Le apasiona crear grandes experiencias para el cliente a través de mensajes claros e impactantes.

Li Zhang

Li Zhang

Li es un Ingeniero Senior de Aprendizaje Automático en AWS, trabajando en la inferencia de AI de Amazon SageMaker. Li lidera y construye el sistema que monitorea los puntos finales de inferencia de AI generativa de los clientes y recomienda cambios que mejoran su rendimiento y costo. En más de 11 años en Amazon, Li ha construido sistemas distribuidos a gran escala y servicios de aprendizaje automático.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.