Servir un modelo desde más de una región de AWS es un patrón bien establecido para inferencia de alta disponibilidad: cuando una región se queda sin capacidad de GPU, las solicitudes se mueven a otra. El patrón es simple de describir y difícil de operar. Hasta ahora, si servías modelos en puntos finales administrados de AI de Amazon SageMaker, la enrutamiento entre regiones era una pieza que todavía tenías que construir tú mismo.

Hoy, estamos introduciendo el enrutamiento de inferencia entre regiones en Amazon SageMaker AI. Utiliza un nuevo recurso, el enrutador de inferencia, que da a tu aplicación una sola ruta de invocación a través de los puntos finales y componentes de inferencia que ya ejecutas, en una o más regiones de AWS y cuentas de AWS. Registra los destinos que sirven un modelo, y tu aplicación invoca al enrutador en lugar de un punto final específico. El enrutador mantiene las solicitudes en su propia región mientras el destino local esté saludable, desvía nuevas solicitudes a otro destino registrado cuando no esté, y devuelve el tráfico gradualmente después de la recuperación.

En esta publicación, explicamos cómo el enrutamiento de inferencia entre regiones decide dónde se ejecuta cada solicitud, pasamos por un ejemplo con un modelo en dos regiones, y cubrimos el monitoreo, los límites y lo que pagas. Para una implementación entre cuentas que sirve varios modelos, consulta Cómo Salesforce está avanzando en la implementación de modelos a escala global con enrutamiento de inferencia entre regiones en Amazon SageMaker AI.

Cuando una región se queda sin capacidad

Un punto final de SageMaker AI se ejecuta en una región de AWS y una cuenta. Cuando el autoscaling no puede agregar instancias del tipo que necesita tu punto final, las solicitudes se limitan y se agotan, incluso cuando el mismo modelo tiene capacidad de sobra en otra región. Para utilizar esa capacidad, tu aplicación debe detectar un punto final que está luchando y cambiar de región, decidir qué errores son seguros para volver a intentar sin ejecutar el modelo dos veces, mover el tráfico hacia atrás después de la recuperación sin fluctuar, y administrar el acceso a puntos finales en otras cuentas. Ese código se encuentra en la ruta crítica de cada solicitud, y cada equipo que sirve modelos en varias regiones mantiene su propia versión de él.

Cómo funciona el enrutamiento de inferencia entre regiones

El enrutamiento de inferencia entre regiones se basa en algunas ideas clave:

  • Tú decides dónde se ejecuta tu modelo – Para cada modelo, elegís qué endpoints y componentes de inferencia puede utilizar el enrutador.
  • SageMaker AI decide qué destino sirve cada solicitud – El enrutador prefiere su propia Región y cambia las nuevas solicitudes a otro destino solo cuando el local no puede servir de manera confiable.
  • Tus endpoints siguen siendo los mismos – Desplegás endpoints como lo haces hoy, con los mismos modelos, configuraciones, grupos de instancias y autoscaling. Las llamadas directas a InvokeEndpoint siguen funcionando, y el enrutador pasa InferenceId y CustomAttributes a través, como lo hace InvokeEndpoint.
  • Puedes ver cada decisión – Cada respuesta en tiempo real te dice qué destino sirvió la solicitud y por qué.

Algunos términos describen las piezas:

  • Enrutador de inferencia – Un recurso de SageMaker AI regional en tu cuenta que tu aplicación invoca.
  • Objetivo de enrutamiento – Un nombre para un modelo lógico en un enrutador, como fraud-model. Un enrutador puede contener muchos objetivos de enrutamiento, y cada uno falla de manera independiente de los demás.
  • Destino – Un endpoint en tiempo real, componente de inferencia o endpoint asíncrono registrado bajo un objetivo de enrutamiento, identificado por su nombre de recurso de Amazon (ARN) completo, que le indica al enrutador su Región y cuenta. Un objetivo de enrutamiento contiene destinos en tiempo real, que pueden combinar endpoints y componentes de inferencia en diferentes Regiones y cuentas, o solo endpoints asíncronos.
  • Destino local – Un destino en la Región del enrutador, preferido mientras esté saludable.
  • Razón de enrutamiento – Un valor devuelto con cada respuesta en tiempo real que explica a dónde fue la solicitud y por qué.
Arquitectura del enrutador de inferencia: un cliente invoca un enrutador en la Región A, que envía solicitudes a un destino local y pasa a destinos en la Región B en la misma cuenta y en otra cuenta

Figura 1: Cada solicitud va a un destino saludable, con el enrutador prefiriendo destinos en su propia Región

Cómo se toman las decisiones de enrutamiento

El enrutador considera solo los destinos que están registrados en el objetivo de enrutamiento y que está autorizado a invocar. Entre ellos, prefiere los destinos en su propia Región, y cuando más de un destino local es saludable, distribuye las solicitudes entre ellos de manera uniforme. Las solicitudes solo salen de la Región cuando los destinos locales no pueden servir de manera confiable. Para detectar esto, SageMaker AI calcula una puntuación de salud para cada destino a partir de sus solicitudes recientes, medidas en la Región del propio destino. Los errores del servidor (5xx), los limites de velocidad y los tiempos de espera reducen la puntuación. Los errores de la plataforma SageMaker AI (por ejemplo, una comprobación de salud fallida) la reducen aún más. Los errores causados por la propia solicitud, como una entrada inválida, no reducen la puntuación, porque la misma solicitud fallaría en cualquier Región. La latencia del modelo no es una entrada, por lo que un endpoint que sigue devolviendo respuestas exitosas mantiene su tráfico. Señales como lanzamientos de instancias fallidos o un endpoint que ejecuta menos instancias que su objetivo de escalado automático hacen que el enrutador reaccione más rápido, pero solo después de que el destino comience a fallar las solicitudes.

El enrutador evalúa la salud de cada destino y la publica en Amazon CloudWatch como uno de tres estados. Un destino healthy sirve normalmente. Un destino overloaded sigue sirviendo, y el enrutador mueve parte de su tráfico. Un destino degraded está fallando o no puede servir, por lo que el enrutador mueve la mayor parte de su tráfico y mantiene una pequeña parte para detectar la recuperación.

Diagrama de los tres estados de salud de destino (saludable, sobrecargado, degradado) y la parte de tráfico que cada uno recibe

Figura 2: Cómo cada estado de salud de destino cambia el tráfico que el enrutador envía a él

SageMaker AI administra los umbrales y la temporización de conmutación por error, por lo que no necesitas ajustar ningún umbral. Si la información de salud de los destinos remotos se vuelve obsoleta, el enrutador mantiene el tráfico en su propia Región, por lo que una brecha en la supervisión nunca mueve el tráfico por sí sola.

Cuándo se mueve el tráfico y cuándo regresa

Cuanto más solicitudes fallan, más tráfico se mueve, por lo que un destino no necesita fallar directamente primero. El tráfico comienza a moverse dentro de aproximadamente un minuto de errores sostenidos, o más tiempo para un destino con poco tráfico. El tráfico que sale de la Región local se distribuye entre los destinos remotos saludables en proporción a su salud. No puedes establecer pesos ni un orden de respaldo. Después de la recuperación, el tráfico regresa en varios minutos, más lentamente de lo que salió. Las solicitudes en curso no se interrumpen.

Cuando un destino falla una solicitud en tiempo real sin ejecutar el modelo, el enrutador reintenta esa solicitud una vez en un destino diferente. Esto cubre, por ejemplo, un estrangulamiento, un error 503, un modelo que no está listo, un rechazo por una limitación de tráfico entre regiones o acceso denegado por el destino. El enrutador nunca reintenta timeouts, errores 500 o errores de modelo.

Para solicitudes asíncronas, el enrutador intenta cada destino elegible una vez, primero los destinos locales, hasta que uno acepte la solicitud.

Diagrama de flujo: una solicitud en tiempo real falla en un destino antes de que se ejecute el modelo y se reintenta una vez en otro destino

Figura 3: El enrutador reintenta una solicitud en tiempo real una vez en otro destino, y solo cuando el modelo no se ejecutó

La Figura 4 muestra dónde se atendieron las solicitudes en una de nuestras pruebas con un modelo de prueba.

Gráfico de dónde se atendieron las solicitudes de prueba mientras el punto de conexión local estaba sobrecargado, un destino en otra cuenta perdió acceso y se recuperó

Figura 4: Dónde se atendieron las solicitudes mientras el punto de conexión local estaba sobrecargado, un destino en otra cuenta perdió y recuperó acceso, y el punto de conexión local se recuperó

Qué puedes enrutar

Los siguientes casos de uso muestran formas comunes de utilizar el enrutamiento de inferencia entre regiones en Amazon SageMaker AI.

  • Mantener el servicio cuando una región se queda sin capacidad de GPU. Cuando su tipo de instancia de la serie G se queda sin capacidad en EE. UU. Este (Ohio) durante el tráfico pico y las solicitudes comienzan a limitarse, el enrutador desvía las nuevas solicitudes al mismo modelo en EE. UU. Oeste (Oregón), donde el escalado automático absorbe el exceso, y mueve el tráfico hacia atrás gradualmente después de que EE. UU. Este (Ohio) se recupere.
  • Enrutar a través de puntos de conexión propiedad de cuentas de AWS separadas. Cuando una cuenta de plataforma central es propietaria del enrutador y otras cuentas son propietarias de los puntos de conexión, cada propietario de punto de conexión otorga acceso a un enrutador con nombre, y las solicitudes llegan a esos puntos de conexión solo a través de ese enrutador. Cubriremos la configuración después de esta lista.
  • Servir muchos modelos desde un enrutador. Cree un enrutador con un objetivo de enrutamiento por modelo, cada uno enumerando los destinos de ese modelo, y pase el nombre del objetivo de enrutamiento en cada solicitud. Cada modelo falla de forma independiente.
  • Poner el enrutador detrás de su propia puerta de enlace. Si opera una puerta de enlace de API o modelo, puede apuntar la integración de SageMaker AI de su puerta de enlace al enrutador, para que SageMaker AI maneje la selección de región para los modelos alojados en SageMaker mientras su puerta de enlace decide cuándo usar un proveedor diferente. Por ejemplo, consulte el post de Salesforce.
  • Enrutar solicitudes asíncronas. Los puntos de conexión asíncronos, en la cuenta del enrutador o en otras cuentas, pueden ser destinos. Su aplicación llama a InvokeInferenceRouterAsync con el nombre del objetivo de enrutamiento y la ubicación de entrada de Amazon Simple Storage Service (Amazon S3), y obtiene un InferenceId y las ubicaciones de salida y falla, como con InvokeEndpointAsync.
  • Proteger un punto de conexión de recepción del exceso de otras regiones. En un punto de conexión en tiempo real, puede establecer un límite de tráfico entre regiones opcional para que las solicitudes de otras regiones solo puedan utilizar una parte de su capacidad. Los llamadores locales de su punto de conexión conservan el resto. Cubriremos los detalles más adelante en esta sección.

Cuando un destino pertenece a una cuenta diferente a la del enrutador, ambas cuentas deben permitir cada solicitud. En el lado del punto de conexión, el propietario adjunta una política basada en recursos que permite que la cuenta del enrutador invoque el punto de conexión, y la clave de condición sagemaker:SourceInferenceRouterArn limita ese acceso a un enrutador con nombre. La siguiente política permite que solo my-router en la cuenta 444455556666 invoque el punto de conexión. Su segunda declaración no tiene condición de enrutador y permite que la cuenta del enrutador lea el estado del punto de conexión. Sin esa declaración, el destino muestra su estado como desconocido.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowOneRouter",
      "Effect": "Allow",
      "Principal": {"AWS": "arn:aws:iam::444455556666:root"},
      "Action": ["sagemaker:InvokeEndpoint", "sagemaker:InvokeEndpointAsync"],
      "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint",
      "Condition": {"ArnEquals": {
        "sagemaker:SourceInferenceRouterArn": "arn:aws:sagemaker:us-east-2:444455556666:inference-router/my-router"}}
    },
    {
      "Sid": "AllowStatusVisibility",
      "Effect": "Allow",
      "Principal": {"AWS": "arn:aws:iam::444455556666:root"},
      "Action": "sagemaker:DescribeEndpoint",
      "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint"
    }
  ]
}

En la cuenta del enrutador, los llamadores necesitan sagemaker:InvokeInferenceRouter (o sagemaker:InvokeInferenceRouterAsync) en el enrutador y sagemaker:InvokeEndpoint (o sagemaker:InvokeEndpointAsync) en cada destino, porque el enrutador invoca cada destino en nombre del llamador. Un enrutador nunca da a un llamador acceso a un endpoint que no pudiera llamar directamente. Para que DescribeInferenceRouter informe el estado de cada destino, los llamadores también necesitan sagemaker:DescribeEndpoint en los endpoints y sagemaker:DescribeInferenceComponent en los componentes de inferencia. Las aplicaciones en otras cuentas llaman al enrutador asumiendo un rol en la cuenta del enrutador. Para una guía paso a paso, consulte Cómo Salesforce está avanzando en la entrega de modelos a escala global con enrutamiento de inferencia entre regiones en Amazon SageMaker AI y Guía del usuario sobre destinos entre cuentas.

Controles que mantiene el propietario del endpoint: una política de endpoint que permite un enrutador con nombre y una capacidad de tráfico entre regiones opcional

Figura 5: Controles que mantiene el propietario del endpoint: una política de endpoint que permite un enrutador con nombre y una capacidad de tráfico entre regiones opcional

Proteger un endpoint receptor con una capacidad de tráfico entre regiones

Cuando el enrutador mueve las solicitudes lejos de una región con poca capacidad, esas solicitudes aterrizan en endpoints que ya sirven a los llamadores de su propia región. Por defecto, un endpoint receptor acepta cualquier cantidad de tráfico entre regiones, por lo que un aumento de desbordamiento puede hacer que entre en estrangulamiento. Con una capacidad de tráfico entre regiones, el propietario del endpoint decide cuánta capacidad del endpoint pueden utilizar otras regiones.

Establece el límite en CreateEndpointConfig con CrossRegionTrafficConfig, que toma dos valores requeridos. MaxInvocationsPerSecondPerInstance es el número de invocaciones por segundo que una instancia puede tomar, que se mide con una prueba de carga de su modelo, tipo de instancia y carga típica de trabajo. MaxCrossRegionPercentPerEndpoint es la parte de esa capacidad que otras regiones pueden utilizar. SageMaker AI multiplica la tasa por instancia por las instancias en servicio y aplica el porcentaje, por lo que el límite sigue el escalado automático. Por ejemplo, con 50 invocaciones por segundo por instancia, un límite del 20 por ciento y 4 instancias en servicio, el punto de conexión acepta hasta 40 solicitudes por segundo de otras regiones. Cuando el escalado automático agrega 2 instancias, el límite aumenta a 60 solicitudes por segundo.

sm = boto3.client("sagemaker", region_name="us-west-2")
sm.create_endpoint_config(
    EndpointConfigName="my-model-config-us-west-2",
    ProductionVariants=[...],  # your existing variants, unchanged
    CrossRegionTrafficConfig={
        "MaxInvocationsPerSecondPerInstance": 50,
        "MaxCrossRegionPercentPerEndpoint": 20,
    },
)

Solo las solicitudes de otras regiones cuentan contra el límite. Las solicitudes de la región propia del punto de conexión, incluidas las llamadas directas InvokeEndpoint y las llamadas desde un enrutador en la misma región, nunca son limitadas por él. Cuando las solicitudes entre regiones exceden el límite, el punto de conexión rechaza las solicitudes adicionales antes de que se ejecute el modelo y el enrutador vuelve a intentar cada una en un destino diferente. Si ningún otro destino puede tomar la solicitud, la aplicación obtiene un error de limitación.

El límite se aplica a los puntos de conexión en tiempo real, y todos los componentes de inferencia en un punto de conexión comparten el mismo. Para un punto de conexión que hospeda componentes de inferencia, pruebe una instancia con su mezcla habitual de componentes de inferencia y cargas de trabajo para medir MaxInvocationsPerSecondPerInstance, y vuelva a ejecutar la prueba cuando cambie esa mezcla o sus cargas de trabajo. Si omite CrossRegionTrafficConfig, el punto de conexión acepta cualquier cantidad de tráfico entre regiones.

Comience: Un modelo en dos regiones

En este ejemplo, implementamos Qwen3-4B con el contenedor vLLM como un componente de inferencia en US East (Ohio) y US West (Oregon), en una cuenta. Dado que el enrutador de inferencia no admite la transmisión de respuestas, la aplicación envía solicitudes no de transmisión, y cada solicitud debe completarse en aproximadamente un minuto, el mismo límite que InvokeEndpoint. Luego creamos un enrutador en US East (Ohio) con un objetivo de enrutamiento que enumera ambos:

sm = boto3.client("sagemaker", region_name="us-east-2")
rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-east-2")

sm.create_inference_router(
    InferenceRouterName="my-router",
    RoutingTargets=[{
        "Name": "my-model",
        "Destinations": [
            {"ResourceArn": "arn:aws:sagemaker:us-east-2:111122223333:inference-component/ic-us-east-2"},
            {"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-component/ic-us-west-2"},
        ],
    }],
)

Ejecute DescribeInferenceRouter y confirme que el RoutingStatus de cada destino sea Routable antes de enviar tráfico.

La aplicación invoca el enrutador con el nombre del objetivo de enrutamiento y la misma carga de trabajo que enviaría a InvokeEndpoint, y lee el destino de servicio y la razón de enrutamiento de la respuesta:

resp = rt.invoke_inference_router(
    InferenceRouterName="my-router",
    RoutingTargetName="my-model",
    ContentType="application/json",
    Body=json.dumps({"messages": [{"role": "user", "content": "Who are you?"}]}),
)
print("Served by:", resp["InvokedRoutedResourceArn"])
print("Reason:   ", resp["RoutingReason"])

Lo que observamos

Paso RoutingStatus en DescribeInferenceRouter (us-east-2 / us-west-2) Servido por Razón de enrutamiento
Ambos componentes de inferencia en ejecución Routable / Routable us-east-2 local-preferred
Componente de inferencia de us-east-2 eliminado Unroutable / Routable us-west-2 only-healthy
Componente de inferencia de us-east-2 restaurado Routable / Routable us-west-2 only-healthy
Traffic de regreso en us-east-2 Routable / Routable us-east-2 local-preferred

El tráfico se mantuvo en US East (Ohio) mientras su componente de inferencia estuvo en ejecución, se movió a US West (Oregon) sin cambios en la aplicación cuando lo eliminamos, y regresó después de restaurarlo.

La notebook completa para este ejemplo está disponible en GitHub.

Consejo: Utilice grupos de instancias y enrutamiento de inferencia entre regiones juntos. Con un grupo de instancias con capacidad, SageMaker AI puede utilizar otro tipo de instancia en la misma región durante la creación y el escalado. El enrutador mueve las nuevas solicitudes a otra región cuando el endpoint local en su conjunto no puede servir. Para obtener más detalles, consulte Inferencia con capacidad: conmutación automática de instancias para endpoints de SageMaker AI.

Vea a dónde fue cada solicitud

El enrutador de inferencia le ofrece dos vistas del enrutamiento: un registro de cada respuesta en tiempo real y métricas en CloudWatch.

Registro de enrutamiento por solicitud

Cada respuesta en tiempo real incluye el ARN del destino que sirvió la solicitud en InvokedRoutedResourceArn, y la razón de enrutamiento en RoutingReason. La razón de enrutamiento es una de las siguientes:

  • local-preferred – Servido por un destino saludable en la región del enrutador.
  • capacity-available – Servido por un destino con capacidad disponible.
  • failover – Alejado de un destino que no podía servir de manera confiable.
  • only-healthy – Servido por el único destino elegible que estaba saludable.

Recomendamos registrar ambos valores con los registros de solicitudes de su propia aplicación.

Las respuestas asíncronas no incluyen el destino de servicio. Las métricas del enrutador en CloudWatch muestran dónde se colocaron las solicitudes asíncronas.

Métricas del enrutador en CloudWatch

El enrutador publica métricas de OpenTelemetry en CloudWatch en su propia cuenta y región, etiquetadas con el enrutador, el objetivo de enrutamiento y el destino:

  • aws.sagemaker.inference_router.invocations – Solicitudes por destino, con una etiqueta error.type en caso de errores (invocation_4xx, invocation_5xx o invocation_model_error).
  • aws.sagemaker.inference_router.destination.duration – Tiempo en el destino, incluyendo su modelo.
  • aws.sagemaker.inference_router.overhead.duration – El trabajo propio del enrutador más el tiempo de red hacia y desde otra región.
  • aws.sagemaker.inference_router.destination.status – Cada destino como healthy, overloaded o degraded.

Alarma en destinos que no están sanos y en la tasa de error en todos los tipos de errores. Consulte Monitorear un enrutador de inferencia con Amazon CloudWatch y AWS CloudTrail.

Gráfico en el tiempo de solicitudes por destino, desde la métrica de invocaciones de CloudWatch del enrutador, durante la prueba en la Figura 4

Figura 6: Solicitudes por destino desde la métrica de invocaciones de CloudWatch del enrutador durante la prueba mostrada en la Figura 4

Cada punto de conexión de destino sigue publicando sus métricas de SageMaker AI existentes en su propia cuenta y región. Para verlas en un solo lugar, use la observabilidad entre cuentas de CloudWatch y los paneles entre cuentas y entre regiones.

AWS CloudTrail registra las llamadas de API del enrutador (crear, actualizar, eliminar, describir y listar) como eventos de administración y las invocaciones del enrutador como eventos de datos. Habilita eventos de datos en su seguimiento como lo hace para otros eventos de datos de SageMaker AI.

Planifique su implementación

Tenga en cuenta lo siguiente al diseñar con el enrutador de inferencia:

  • Coloque el enrutador en la Región donde se origina la mayor parte de su tráfico. El enrutador siempre prefiere los destinos en su propia Región.
  • Dimensione cada Región para su propio tráfico más el desbordamiento que desea que absorba. De forma predeterminada, un punto de conexión receptor acepta cualquier cantidad de tráfico entre Regiones, así que configure el autoscaling con margen para el desbordamiento que espera. Para proteger a los llamadores locales de un punto de conexión, establezca un límite de tráfico entre Regiones, como se describe en Proteja un punto de conexión receptor con un límite de tráfico entre Regiones. Si todos los destinos remotos alcanzan su límite, las solicitudes que superan los límites combinados devuelven errores de limitación.
  • Mantenga una Región de respaldo de bajo costo. Puede registrar un componente de inferencia en otra Región y mantener su costo bajo, pero planifique cómo obtiene capacidad. Un componente de inferencia remoto con cero copias solo recibe una pequeña parte del tráfico durante el failover, y esas solicitudes fallan hasta que tenga copias. Mantenga al menos una copia en ejecución o configure el autoscaling en copias y confirme que se escala antes de que dependa de la Región de respaldo.
  • Planifique la resiliencia en el punto de entrada. Un enrutador es regional, por lo que si su Región se ve afectada, las llamadas a él fallan. Cree enrutadores en dos Regiones y cambie entre ellos en el lado del cliente.
  • Registre solo destinos donde se pueda procesar sus datos. Una solicitud se puede procesar en la Región del enrutador o en cualquier Región donde haya registrado un destino. Para los datos que deben permanecer en una geografía, use un enrutador separado, por ejemplo, uno para los datos de EE. UU. y otro para los datos de la UE. Es responsable de configurar sus enrutadores para que se ajusten a sus obligaciones de residencia y cumplimiento de datos.
  • Mantenga sus propias reintentos modestos. Un error de limitación significa que todos los destinos estaban ocupados, y un error de servicio no disponible significa que ningún destino podía aceptar la solicitud. Un error de servicio no disponible después de aproximadamente un minuto significa que la solicitud se agotó el tiempo de espera y es posible que el modelo se haya ejecutado, así que no la reintente automáticamente.
  • Elimine los destinos eliminados del enrutador. El tráfico ya evita un punto de conexión eliminado, pero el enrutador nunca elimina un destino por sí solo.
  • Llame al enrutador de forma privada. Las aplicaciones en una nube privada virtual (VPC) pueden llamar al enrutador a través de un punto de conexión de interfaz VPC (AWS PrivateLink), que admite IPv4 (no se admite IPv6/dual-stack).

También tenga en cuenta las siguientes limitaciones:

  • La transmisión de respuestas no es compatible.
  • Una solicitud en tiempo real que el destino no responde dentro de aproximadamente un minuto falla con un error de servicio no disponible.
  • Cada enrutador puede contener hasta 20 objetivos de enrutamiento, cada objetivo de enrutamiento puede contener hasta 10 destinos y las cargas de trabajo en tiempo real pueden ser de hasta 6 MB. Para conocer las cuotas predeterminadas, como los enrutadores por cuenta y las tasas de solicitud, y cómo solicitar un aumento, consulte Cuotas de servicio en la documentación de Amazon SageMaker AI.

Conclusión

El enrutamiento de inferencia entre regiones en Amazon SageMaker AI proporciona a su aplicación una ruta de invocación única a través de los puntos de conexión y los componentes de inferencia que ya ejecuta, en varias regiones de AWS y cuentas de AWS. El enrutador prefiere su propia región, cambia las nuevas solicitudes cuando un destino no puede servir de manera confiable, devuelve el tráfico gradualmente después de la recuperación y le muestra dónde se ejecutó cada solicitud y por qué. Sus puntos de conexión, modelos, contenedores y políticas de escalado automático no cambian.

El enrutamiento de inferencia entre regiones está disponible en general a partir de hoy en la mayoría de las regiones comerciales de AWS (excepto me-south-1 y me-central-1), para inferencia en tiempo real y asíncrona.

No hay cargos adicionales por el enrutamiento de inferencia entre regiones en Amazon SageMaker AI. Paga por los puntos de conexión y componentes de inferencia de SageMaker AI que atienden sus solicitudes a precios estándar de SageMaker AI, ya sea que una solicitud los alcance directamente o a través de un enrutador de inferencia. El enrutador de inferencia publica métricas en Amazon CloudWatch en la cuenta del enrutador, y paga las tarifas estándar de CloudWatch por esas métricas y cualquier consulta que ejecute sobre ellas. Para obtener más detalles, consulte Precios de Amazon SageMaker AI.

Para empezar, consulte la documentación de Amazon SageMaker AI sobre el enrutamiento de inferencia entre regiones y explore el cuaderno de muestra en GitHub.


Acerca de los autores

Dmitry Soldatkin

Dmitry Soldatkin

Dmitry es un Líder Mundial de Arquitectura de Soluciones Especializadas, Amazon SageMaker AI Inference en AWS. Ayuda a los clientes a diseñar, construir y optimizar soluciones de inteligencia artificial generativa y aprendizaje automático, con un enfoque en la optimización del rendimiento de inferencia, el aprendizaje profundo y la escalabilidad de ML en toda la empresa. En roles anteriores, lideró equipos en empresas de servicios financieros, seguros y telecomunicaciones.

Apoorva Chandra

Apoorva Chandra

Apoorva es Gerente de Producto en el equipo de Amazon SageMaker AI Inference, donde se enfoca en la experiencia del endpoint y la experiencia de hosting. Trabaja con clientes que despliegan modelos de inteligencia artificial generativa en producción para hacer que el cómputo acelerado sea más fácil de obtener, más rentable y más predecible. Fuera del trabajo, Apoorva disfruta caminando, explorando cafeterías y pasando tiempo con amigos.

Deepti Ragha

Deepti Ragha

Deepti es Ingeniera de Desarrollo de Software Senior en el equipo de Amazon SageMaker AI, especializada en infraestructura de inferencia de ML y optimización de hosting de modelos. Crea características que mejoran el rendimiento de despliegue, la disponibilidad y reducen los costos de inferencia, y hacen que el ML sea accesible para organizaciones de todos los tamaños. Fuera del trabajo, disfruta viajando, caminando y jardinando.

Felipe Lopez

Felipe Lopez

Felipe es Arquitecto de Soluciones Especializadas de AI/ML Principal en AWS. Antes de unirse a AWS, Felipe trabajó con GE Digital y SLB, donde se enfocó en productos de modelado y optimización para aplicaciones industriales.

Barkha Saxena

Barkha Saxena

Barkha es una ingeniera de desarrollo de software en el equipo de inferencia de inteligencia artificial de Amazon SageMaker, especializada en infraestructura de inferencia de ML y optimización de servicio de modelos. Su trabajo abarca la inferencia de multiadaptador eficiente, que sirve a cientos de adaptadores LoRA afinados desde un solo endpoint, y transmisión bidireccional para aplicaciones de baja latencia y tiempo real, como agentes de voz. Fuera del trabajo, disfruta jugando tenis de mesa, pintura y rompecabezas.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.