Reflection AI presentó Beam, un modelo de peso abierto para la codificación de agencias y tareas a largo plazo, como el mantenimiento del código, el uso de herramientas, la interpretación de los resultados y la finalización de flujos de trabajo de varios pasos. Esta versión de formato abierto permite a los desarrolladores e investigadores controlar el tiempo de ejecución, el entorno de implementación y el proceso de personalización

En esta publicación, explicamos la visión de Reflection y mostramos cómo puede implementar Beam en AWS. Comience con un punto de enlace JumpStart en tiempo real de Amazon SageMaker para disponer de una ruta totalmente gestionada. Cuando necesite un control nativo de Kubernetes sobre la infraestructura de GPU distribuidas, utilice Amazon SageMaker HyperPod Inference con JumpStart, SGLang o vLLM. También explicamos cómo el total de 501 000 millones de parámetros de Beam configuran el almacenamiento en puntos de control, el peso de la memoria, la fragmentación y el paralelismo, mientras que sus 23 000 millones de parámetros activos influyen en el cálculo por token

En el momento del lanzamiento, Beam estará disponible en Amazon SageMaker JumpStart en EE.UU. Este (Norte de Virginia) y EE.UU. Este (Ohio).

La visión de Reflection para la inteligencia abierta

La misión de Reflection es hacer que la inteligencia sea abierta y accesible para todos a través de modelos abiertos, investigaciones publicadas y software de código abierto. Su paquete completo de inteligencia artificial abarca modelos, software básico, infraestructura de producción y aplicaciones. Beam ofrece este enfoque a los desarrolladores que crean sistemas agenciales y de ingeniería de software

Acerca de Reflection Beam

Beam es un modelo poco especializado para resolver problemas de software, modificar código, invocar herramientas y actuar sobre la base de resultados intermedios. Cuenta con un total de 501 mil millones de parámetros y 23 mil millones de parámetros activos, y Reflection informa de una longitud efectiva del contexto

Reflection publica los pesos de Beam a través de Hugging Face bajo la licencia Apache 2.0. Beam 1.0 está disponible en las variantes de puntos de control BF16, FP8 y NVFP4. Estos formatos proporcionan diferentes tamaños de memoria y compatibilidad de hardware. Puede implementar el modelo con la configuración de contenedores JumpStart administrada por AWS o inspeccionar y personalizar el modelo con SGLang o vLLM

Comprenda la arquitectura de implementación

Elija la ruta de servicio que cumpla con sus requisitos de control y escalado.

1. Comience con un punto de enlace en tiempo real de SageMaker JumpStart cuando desee un paquete de modelos, un punto de enlace y una API de invocación administrados por AWS sin utilizar Kubernetes.
2. Utilice JumpStart on HyperPod Inference cuando desee configurar el contenedor y el modelo gestionado por AWS en un clúster de HyperPod gestionado por Amazon Elastic Kubernetes Service (Amazon EKS).
3. Utilice SGLang o vLLM en HyperPod Inference cuando necesite controlar la imagen que se publica, los argumentos en tiempo de ejecución, la cuantificación o la ejecución distribuida.
4. Ajuste el tamaño de la implementación en función del almacenamiento en puntos de control, el peso de la memoria, la caché de KV, la longitud del contexto, el procesamiento por lotes, la sobrecarga del tiempo de ejecución y el paralelismo admitido.
5. Defina los objetivos de simultaneidad y latencia esperados y, a continuación, configure las réplicas, el almacenamiento en caché, el enrutamiento y el escalado automático a partir del comportamiento medido de la carga de trabajo.

La ruta en tiempo real de JumpStart empaqueta el modelo, el contenedor y el punto final detrás de un flujo de trabajo de implementación administrado. La ruta HyperPod expone el tiempo de ejecución del clúster y del servidor para que pueda controlar la ejecución distribuida, el almacenamiento en caché, el enrutamiento

El siguiente diagrama muestra los componentes que utiliza la ruta del HyperPod. Beam se puede obtener a través de SageMaker JumpStart, Hugging Face Hub o una réplica opcional de Amazon Simple Storage Service (Amazon S3). Los trabajadores distribuidos utilizan el contenedor JumpStart administrado por AWS o un entorno de ejecución SGLang o vLLM personalizado.

Figura 1: Implementación de Distributed Beam con Amazon SageMaker HyperPod Inference

Requisitos previos

Necesitas:

• Una cuenta de AWS con permisos para la ruta de implementación de SageMaker seleccionada y sus recursos compatibles con AWS Identity and Access Management (IAM), redes y almacenamiento.
• Acceda a Beam a través de SageMaker JumpStart o de uno de los repositorios de puntos de control de Beam 1.0 en Hugging Face.
• Aceptación de los términos del modelo, de la interfaz de línea de comandos de AWS (CLI de AWS) y de Python 3.11 o posterior.
• Cuota y capacidad de GPU para una configuración de Beam compatible.

Planifique y obtenga la capacidad de la GPU

total de 501 mil millones de parámetros de Beam requiere una implementación de varias GPU. El BF16 es el que más memoria necesita, así que planifique una configuración multinodo con suficiente memoria de GPU agregada para cubrir el peso y la sobrecarga de tiempo de ejecución. Para el FP8, usa ml.p5.48xlarge con las GPU NVIDIA H100 o ml.p5e.48xlarge y ml.p5en.48xlarge con las GPU H200. Para la NVFP4, usa ml.p6-b200.48xlarge con las GPU NVIDIA B200. Confirma que el punto de control, el tiempo de ejecución y el diseño paralelo publicados sean compatibles

1. Calcule la memoria para los pesos, la caché de KV y la sobrecarga de tiempo de ejecución para una réplica y, a continuación, confirme la estimación con una prueba de carga.
2. Elija una región de AWS que sea compatible con la instancia acelerada requerida.
3. Compruebe la cuota de servicio y la capacidad disponible para el tipo de instancia seleccionado. Utilice la capacidad bajo demanda cuando esté disponible, o utilice un plan de formación de SageMaker como reserva a corto plazo para el trabajo programado
.
4. Deje tiempo para la transferencia de imágenes, la descarga del peso, la carga de fragmentos y la inicialización del tiempo de ejecución.

Ruta 1: Cómo empezar a usar un punto final en tiempo real de SageMaker JumpStart

Utilice primero un punto de enlace en tiempo real de JumpStart cuando desee disponer de la ruta más corta desde el catálogo de modelos hasta un punto de enlace HTTPS administrado. El ejemplo admite los ID de los modelos BF16, FP8 y NVFP4 mediante un comando que reconoce las variantes. Sus archivos README y Python son la fuente fiable de los tipos de instancias, esquemas de solicitudes, comandos de despliegue y comandos de limpieza compatibles

1. Clona el repositorio de muestras.

   clon de git https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

2. Acceda al directorio de ejemplos de implementación de SageMaker JumpStart.

   cd SageMaker-Genai-Hosting-Examples/01-modelos/ReflectionAI/Beam-1.0-501B-A23B-NVFP4/

3. Cree y active un entorno virtual de Python.

   python3 -m venv .venv
   fuente .venv/bin/activate

4. Instale la dependencia de ejemplo.

python -m pip install -r requirements.txt

5. Ejecute el ciclo de vida limitado de implementación, invocación y limpieza para FP8.

   pitón jumpstart_real_time.py\
   --variante fp8\
   --nombre-punto final reflection-beam-fp8-smoke

   El comando implementa el punto final del FP8, envía una solicitud breve, imprime la respuesta y limpia el punto final. Usa bf16 o nvfp4 para seleccionar otra variante de punto de control; NVFP4 es la predeterminada si omites --variant. Usa las funciones de Python en el archivo README cuando necesites mantener un punto final en

ejecución.

Ruta 2: Implemente con SageMaker HyperPod Inference

Utilice HyperPod Inference cuando necesite un control nativo de Kubernetes sobre la infraestructura de GPU distribuidas. Puede usar la configuración de contenedores JumpStart administrada por AWS o implementar Beam con SGLang o vLLM. El README de muestra de implementación de HyperPod Inference y sus archivos de configuración son la fuente fiable de los manifiestos, los identificadores de modelos e imágenes, las versiones de tiempo de ejecución compatibles y los comandos publicados

Antes de empezar, configura el acceso de kubectl a un clúster de HyperPod orquestado por EKS con el HyperPod Inference Operator y los complementos necesarios. Si habilita el almacenamiento en caché de modelos, también necesitará la nube privada virtual (VPC) del clúster, las subredes, los grupos de seguridad, el acceso a los artefactos de Beam y de tiempo de ejecución seleccionados y la capacidad de NVMe local. Usa un token de acceso aislado de Hugging Face si el

Implementa una revisión fija de Beam desde Hugging Face Hub para su desarrollo y experimentación. Para las implementaciones de producción y el almacenamiento en caché de modelos, copie el punto de control en Amazon S3 o Amazon FSx. El almacenamiento en caché de modelos e imágenes de HyperPod puede precargar los pesos en el almacenamiento NVMe local del nodo y extraer previamente la imagen de servicio

La puerta de enlace de inferencia de HyperPod proporciona una interfaz compatible con OpenAI y dirige las solicitudes entre réplicas. HyperPod Inference también admite el almacenamiento en caché KV gestionado por niveles y el enrutamiento inteligente. Estas son algunas de las capacidades de inferencia de Amazon SageMaker

El siguiente diagrama amplía el flujo de solicitudes de preparación y ejecución del modelo. Cuando se habilita el almacenamiento en caché del modelo, el operador de inferencia calienta los nodos aptos con los pesos y la imagen de servicio seleccionados. Durante el tiempo de ejecución, la puerta de enlace de inferencia y el selector de puntos finales pueden dirigir cada solicitud a una réplica adecuada gestionada por JumpStart

Figura 2: Almacenamiento en caché del modelo HyperPod y enrutamiento de solicitudes

Prepare los artefactos de implementación

Utilice entradas inmutables para poder reproducir los resultados de implementación y rendimiento.

1. Utilice la versión del modelo JumpStart registrada en la muestra de implementación.
2. Elija el punto de control BF16, FP8 o NVFP4 para un tiempo de ejecución personalizado.
3. Para un tiempo de ejecución personalizado, mantén el resumen público de la imagen y el SHA de confirmación de Beam en la configuración de la versión de muestra.
4. Duplique la imagen publicada en un repositorio privado de Amazon Elastic Container Registry (Amazon ECR) solo cuando su clúster no pueda extraer la imagen original o su organización necesite un registro aprobado.
5. Mantén los tokens, los secretos generados, los identificadores de modelos privados, las credenciales de registro y los resultados no publicados fuera del repositorio.

Elija una ruta de servicio

Comience con SageMaker JumpStart, a menos que su carga de trabajo requiera una configuración o un tiempo de ejecución de inferencia específicos.

Implemente con SageMaker JumpStart

SageMaker JumpStart reduce el trabajo de integración de contenedores, mientras que HyperPod conserva el control sobre la capacidad, el escalado y la observabilidad de los clústeres.

1. En SageMaker Studio, abra el catálogo de modelos de JumpStart.
2. En Todos los modelos públicos, elija Beam.
3. Elija SageMaker HyperPod como objetivo de implementación.
4. Seleccione el clúster y el espacio de nombres de Kubernetes.
5. Introduzca un nombre de punto final y elija Deploy.
6. Confirme el estado de la implementación antes de invocar el punto final con el esquema de solicitud JumpStart publicado.

Para un flujo de trabajo de infraestructura como código, usa la configuración JumpStart publicada en el ejemplo de HyperPod. Puedes inspeccionar la plantilla de manifiesto reflection-beam-jumpstart.yaml antes de configurar la implementación

1. Clona el repositorio de muestras e ingresa al directorio HyperPod Beam.

   clon de git https://github.com/aws-samples/sagemaker-genai-hosting-examples.git
   cd Sagemaker-Genai-Hosting-Examples/SagemakerHyperpod/Reflection-Beam/

2. Cree los archivos de configuración local descritos en el archivo README.

   cp config/deployment.env.ejemplo config/deployment.env
   cp config/release.env.ejemplo config/release.env

3. Valide la configuración de JumpStart antes de cambiar el clúster.

   pitón hyperpod_tool.py\
    --config config/deployment.env\
    --config config/release.env\
    validar Jumpstart

4. Implemente la configuración de JumpStart.

   pitón hyperpod_tool.py\
    --config config/deployment.env\
    --config config/release.env\
    implementar jumpstart\
    --tiempo

de espera: 1800 segundos

El ayudante representa y aplica el recurso JumpStartModel publicado sin escribir los valores de versión rellenados en el disco.

Implemente con SGLang o VLLM

Elija SGLang o vLLM cuando necesite un control directo sobre el tiempo de ejecución del servicio. Antes de configurar la implementación, inspecciona la plantilla de manifiesto reflection-beam-sglang.yaml o la plantilla de manifiesto reflection-beam-vllm.yaml. El archivo README de ejemplo sigue siendo la fuente de información veraz sobre los valores y comandos publicados.

1. Clona el repositorio de muestras.

   clon de git https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

2. Ingresa al directorio HyperPod Beam.

   cd Sagemaker-Genai-Hosting-Examples/SagemakerHyperpod/Reflection-Beam/

3. Cree los archivos de configuración locales descritos en el archivo README.

   cp config/deployment.env.ejemplo config/deployment.env
   cp config/release.env.ejemplo config/release.env

4. Valide la configuración seleccionada antes de cambiar el clúster.

   pitón hyperpod_tool.py\
    --config config/deployment.env\
    --config config/release.env\
    validar jerga

5. Implemente Beam y espere a que se produzca el estado de despliegue de la terminal.

   pitón hyperpod_tool.py\
    --config config/deployment.env\
    --config config/release.env\
    implementar sglang\
    --tiempo

   de espera: 1800 segundos

   Sustituya sglang por vllm para usar vLLm. El ayudante valida la configuración seleccionada, aplica el manifiesto renderizado sin escribir los valores de versión en el disco, espera con un tiempo de espera fijo e imprime los diagnósticos si se produce un error

en la implementación.

Invoca Beam

Invoca los puntos finales de JumpStart con el esquema de solicitud del modelo publicado. Para SGLang o vLLM, utilice la prueba de humo acotado incluida en la muestra de HyperPod

Invoca el punto final implementado

1. Instale la dependencia del cliente de ejemplo.

   python3 -m venv .venv
   fuente .venv/bin/activate
   python -m pip install -r requirements.txt

2. Realice un chequeo médico privado y una solicitud breve con la configuración de muestreo inicial recomendada.

   pitón hyperpod_tool.py\
   --config config/deployment.env\
   jerga fumadora\
   --prompt «Enumere tres comprobaciones para comprobar si la implementación del modelo es correcta. »\
   --temperatura 1.0\
   --top 0.7

   Sustituya sglang por vllm para una implementación de vLLM. El ayudante selecciona un trabajador preparado, abre un puerto de reenvío temporal, comprueba el estado del punto final, envía

la solicitud y cierra el reenvío de puertos.

La respuesta es similar a la siguiente:

1. Confirme que los informes de punto final están listos.
2. Envíe una solicitud de inferencia breve.
3. Revise los registros de servicio para ver si hay errores de inicio.

Para una puerta de enlace de inferencia autenticada, utilice el procedimiento bearer-token del README de muestra de HyperPod. Mantén las credenciales alejadas del código fuente, los manifiestos

Mida y ajuste el rendimiento

1. Pruebe cada ruta de entrega con solicitudes de codificación y uso de herramientas repetidas y representativas en la concurrencia esperada.
2. Registre la versión del modelo de Beam, el resumen de la imagen, el tipo de instancia, la precisión, la longitud del contexto, el paralelismo, los argumentos de entrega, el estado de la caché y las repeticiones de las pruebas.
3. Mida la tasa de éxito de las solicitudes, el tiempo de p50 y p95 hasta el primer token, el tiempo por token de salida, la latencia de extremo a extremo y el total de los tokens de salida por segundo.
4. A partir de esos resultados, ajuste el tamaño de los lotes, la asignación de la caché KV, el recuento de réplicas, el escalado automático y el almacenamiento en caché de modelos e imágenes.
5. Vuelva a comprobar la calidad de salida después de cambiar la precisión o la cuantificación.

Limpiar

Elimine los recursos cuando termine las pruebas para evitar cargos continuos.

1. Para un endpoint en tiempo real de SageMaker JumpStart, siga las instrucciones de limpieza del README de muestra de implementación de SageMaker JumpStart.
2. Para JumpStart, SGLang o vLLM en Amazon SageMaker HyperPod Inference, siga las instrucciones de limpieza que aparecen en el archivo README de muestra de la implementación de HyperPod Inference.
3. Elimine un clúster dedicado de HyperPod o Amazon EKS creado para el tutorial.
4. Elimine los pesos en caché no utilizados, los artefactos reflejados, los balanceadores de carga, los grupos de registros, las funciones de IAM temporales y los datos de inferencia capturados.

Conclusión

Reflection Beam ofrece a los desarrolladores un modelo abierto diseñado para la codificación de agencias y las tareas de varios pasos. Comience con un punto final de SageMaker JumpStart en tiempo real para lograr una implementación totalmente gestionada. Utilice SageMaker HyperPod Inference con JumpStart cuando necesite controlar la infraestructura nativa de Kubernetes sin administrar el contenedor de servicio, o elija SGLang o vLLM

Utilice el ejemplo de implementación de SageMaker JumpStart o el ejemplo de implementación de HyperPod Inference y, a continuación, siga las instrucciones.

Para obtener más información sobre Reflection AI y su visión de la inteligencia abierta, visite Reflection AI y lea Introducing Beam.

Recursos

• Variantes de puntos de control de Reflection Beam: BF16, FP8 y NVFP4
• Ejemplo de implementación de SageMaker JumpStart
• Ejemplos de implementación de HyperPod Inference con JumpStart, vLLM y SGLang
• Implemente modelos básicos, desde SageMaker JumpStart hasta HyperPod Inference

Acerca de los autores