El contenido A+ es el widget de medios ricos en la página de detalles del producto de Amazon. A través de activos visuales, las marcas comunican el valor único del producto y la marca para ayudar a los clientes a tomar decisiones de compra informadas. Los socios de ventas que utilizan contenido A+ de alta calidad aumentan sus ventas en un 8-20 por ciento en comparación con aquellos que no lo tienen. Una amplia variedad de marcas, desde marcas establecidas con grandes equipos de diseño internos hasta marcas con recursos limitados, utilizan contenido A+, lo que crea inconsistencia en la calidad del contenido. Un proyecto de contenido A+ típico combina texto, imágenes y video en una historia de producto coherente. Evaluar cada activo de forma aislada pasa por alto la calidad que surge de cómo esos activos trabajan juntos. Cuando su contenido abarca múltiples módulos heterogéneos y necesita una señal de calidad holística en lugar de controles por activo, el enfoque de fusión multi-modelo descrito en esta publicación puede ayudar. En esta publicación, examinamos este problema en el contexto del contenido A+.

El contenido A+ proporciona libertad creativa a los socios de ventas para expresar su auténtico ser en sus páginas de detalles de productos, sin especificaciones de contenido estrictas como la relación de imagen y el recuento de palabras de texto.

Aunque esta flexibilidad permite una narrativa de marca atractiva, también crea una variación sustancial en la composición y calidad del contenido.

Con la evaluación de la calidad y las recomendaciones de mejora, las marcas pueden transformar el contenido promedio en contenido de alta calidad que sea más coherente, relevante y útil. Este contenido mejorado ayuda a los clientes a tomar decisiones de compra más informadas y a establecer relaciones duraderas con las marcas, lo que conduce a una mejora de los ingresos para los socios de ventas.

Para lograr este objetivo, un sistema de evaluación debe evaluar la experiencia de contenido completa, proporcionar recomendaciones accionables más allá de las puntuaciones numéricas y reflejar las nuances a través de las categorías de productos. Los enfoques existentes luchan por cumplir con todos estos requisitos simultáneamente, por lo que en esta publicación, verá un nuevo enfoque que utiliza Modelos de Visión-Lenguaje (VLM) para comprender y evaluar el contenido de forma holística, y un componente de generación basado en difusión que produce activos visuales mejorados a partir de las señales de calidad resultantes.

En esta publicación, aprenderá a:

• Representar el contenido de comercio electrónico completo como una sola instantánea y evaluarlo de forma holística con un VLM.
• Combinar puntuaciones semánticas de VLM con señales de legibilidad de OCR en un clasificador CatBoost ligero entrenado en anotaciones de expertos.
• Utilizar SHAP para explicar las decisiones de calidad y generar recomendaciones de mejora accionables para los socios de ventas.
• Implementar la canalización de extremo a extremo en Amazon SageMaker AI, desde la ingesta de datos y anotación hasta la alojamiento de modelos, explicabilidad y monitoreo de producción.

Oportunidades y desafíos en la evaluación basada en VLM

Un modelo de lenguaje de visión (VLM) empareja un codificador de imagen con un gran modelo de lenguaje (LLM). El codificador, a menudo un transformador de visión (ViT), divide una imagen en parches y los convierte en incrustaciones, y un pequeño conector mapea esas incrustaciones en el espacio de entrada del modelo de lenguaje (Flamingo, LLaVA). Muchos VLMs reutilizan el codificador de imagen de CLIP, que aprendió a emparejar imágenes con sus subtítulos. Debido a que los VLMs están entrenados para seguir instrucciones, puedes darle una imagen junto con un rubric de criterios de evaluación y obtener una evaluación escrita sin entrenamiento específico de tarea. Cuando necesitas un acuerdo más cercano con los revisores humanos, puedes ajustar el modelo en ejemplos etiquetados. Esto hace que los VLMs sean un punto de partida práctico para verificar imágenes de productos contra tus pautas de contenido a escala.

Los modelos de visión convencionales ya pueden puntuar activos individuales, por ejemplo, marcar una imagen borrosa o un error de gramática en una lista de viñetas. Usar un VLM para calificar cada activo por separado agrega poco más allá de eso. Una página de detalles de producto, sin embargo, combina imágenes, texto y módulos de diseño en una sola historia, y su calidad depende de cómo funcionan esas piezas juntas. Nuestro enfoque renderiza la página completa como una sola instantánea y le pide al VLM que la evalúe como la ven los clientes.

Considera una página de licuadora con una imagen de héroe, una lista de características con viñetas que resalta la velocidad y la capacidad de la cuchilla, y una foto de estilo de vida de la licuadora en una cocina moderna. Revisados uno por uno, cada activo pasa: la imagen es nítida, las viñetas son gramaticales y la foto está bien iluminada. Vistos juntos, aparecen problemas. Las viñetas podrían anunciar un pitcher de 64 oz mientras que la foto de estilo de vida muestra un modelo de un solo servicio, o la foto de estilo de vida podría estar sobre la imagen de héroe para que los clientes vean la cocina antes del producto. Debido a que el significado de un activo depende de dónde aparezca y qué lo rodee, estos problemas solo se muestran cuando la página se evalúa en su totalidad. La instantánea le da al VLM esa vista completa. Usarlo en producción agrega tres requisitos: las puntuaciones deben coincidir con los estándares de calidad de expertos, la evaluación debe ser precisa y eficiente a escala, y cada resultado debe explicar qué corregir.

Como se muestra en la Figura 1, abordamos estas consideraciones a través de una arquitectura de fusión de modelos múltiples basada en VLM diseñada alrededor de la adaptabilidad, el rendimiento y la explicabilidad. Las siguientes secciones describen cada componente.

Figura 1: Diagrama de bloques del enfoque de fusión de modelos múltiples basado en VLM, que incluye modelos VLM, OCR y clasificador

Evaluación de contenido de VLM adaptativa con anotaciones de expertos

Un VLM preentrenado con una rúbrica puntuación de contenido de su conocimiento general, y esas puntuaciones no siempre coinciden con los estándares de calidad de ecommerce. La fine-tuning del VLM para cerrar esa brecha requeriría infraestructura de entrenamiento de GPU y, con solo unos pocos miles de ejemplos etiquetados, conlleva un riesgo real de sobreajuste. En su lugar, mantenemos el VLM y la rúbrica de prompt fijos, usamos las salidas estructuradas del VLM como características y entrenamos un clasificador CatBoost en ellas para predecir etiquetas de calidad de expertos. CatBoost, una biblioteca de árboles de decisión de impulso de gradiente, funciona bien en conjuntos de datos tabulares pequeños como este. Como solo el clasificador se vuelve a entrenar, actualizar el sistema a medida que se acumulan anotaciones o cambian los criterios lleva un trabajo de CPU corto en lugar de una carrera de fine-tuning de modelo de base.

El VLM recibe la instantánea de la página y una rúbrica de prompt que cubre cuatro dimensiones de calidad: Narrativa visual, Presentación de características, Diseño A+ y Optimización de conversión. Cada dimensión tiene criterios explícitos y reglas de deducción de puntos. Para cada dimensión, el VLM devuelve una puntuación de 0 a 10, un valor de confianza y una justificación en lenguaje natural. Por ejemplo, reduce la puntuación y explica por qué cuando una página carece de módulos diversos o imágenes de estilo de vida, o repite información. Las puntuaciones y los valores de confianza se convierten en características del clasificador, y las justificaciones ayudan a los socios de ventas a entender el resultado.

Para construir las etiquetas de entrenamiento, un experto en marketing de ecommerce y cuatro anotadores profesionales calificaron de forma independiente 5,478 páginas de detalles de productos de 10 categorías de productos como de alta o baja calidad, utilizando los mismos criterios. Evaluamos sus calificaciones y tomamos el voto de la mayoría para crear una etiqueta de consenso. Las clases están casi equilibradas (49.6 por ciento de alta calidad), por lo que un clasificador no puede obtener una buena puntuación prediciendo la clase de la mayoría. Para medir la confiabilidad de la etiqueta, usamos el kappa de Cohen, que mide con qué frecuencia dos calificadores están de acuerdo después de tener en cuenta el acuerdo que alcanzarían por casualidad. Una puntuación de 0 significa que el acuerdo no es mejor que el azar, 1 significa un acuerdo perfecto, y los valores superiores a 0.8 suelen considerarse fuertes. Cada anotador obtuvo una puntuación entre 0.845 y 0.915 cuando se comparó con la etiqueta de consenso.

Figura 2: Rendimiento del annotator y distribución de la dificultad del contenido. La división casi equitativa de las clases descarta el sesgo de la clase mayoritaria (izquierda), y la distribución de la dificultad explica el desacuerdo residual (derecha)

Comparamos el clasificador con una línea de base en un conjunto de retención del 20 por ciento (alrededor de 1,100 páginas). La línea de base promedia las cuatro puntuaciones de VLM y aplica un umbral fijo, por lo que cada dimensión cuenta igual. La línea de base alcanzó una precisión de 0,80 y una puntuación F1 de 0,84 en la clase de alta calidad. El clasificador CatBoost, entrenado en las mismas puntuaciones, alcanzó una precisión de 0,89 y una puntuación F1 de 0,90. Debido a que el clasificador aprende cuánto importa cada dimensión y cómo interactúan las dimensiones, sus predicciones coinciden más estrechamente con las decisiones de los expertos.

Evaluación de contenido de VLM de alto rendimiento con OCR

Los VLM capturan bien el significado general y la composición visual de una página, pero son menos confiables en cuestiones de legibilidad de granularidad fina, como cuán congestionado está el texto o cuánto espacio separa las líneas. Debido a su fundamento en el modelo de lenguaje, también pueden favorecer descripciones largas y detalladas incluso cuando los clientes prefieren texto conciso que puedan escanear rápidamente. En una página con mucho texto, un VLM podría calificar la información del producto densa como útil mientras los clientes luchan por leer oraciones largas empaquetadas en un área pequeña. Para capturar estos problemas, usamos un modelo de reconocimiento óptico de caracteres (OCR) alojado en SageMaker AI Inference para extraer cada bloque de texto y su posición, y luego calcular cuatro señales cuantitativas: Densidad de texto, Densidad de caracteres, Espaciado y Legibilidad general. Combinar estas puntuaciones de OCR con la evaluación semántica y visual de VLM agrega información complementaria que mejora la clasificación de calidad.

A partir de esa salida, calculamos cuatro puntuaciones de legibilidad:

• Densidad de texto: La proporción del área de la página cubierta por texto.
• Densidad de caracteres: La cantidad de caracteres por unidad de área de la página.
• Espaciado: Cuán consistente y suficiente es el espacio en blanco entre palabras, líneas y párrafos.
• Legibilidad general: Una señal combinada de las tres puntuaciones anteriores.

Como estas puntuaciones dependen del diseño en lugar de la redacción, dos páginas con texto idéntico pueden obtener puntuaciones diferentes.

El modelo de fusión combina las cuatro puntuaciones de la rúbrica VLM y las cuatro puntuaciones OCR en ocho características y entrena un clasificador CatBoost en las mismas etiquetas de expertos. La Tabla 1 lo compara con modelos entrenados en cada conjunto de características por separado, utilizando el mismo conjunto de retención del 20 por ciento.

En el mismo conjunto de retención del 20 por ciento, el modelo CatBoost que solo utiliza características OCR alcanzó una precisión de 0,82 y una puntuación F1 de 0,83, mientras que el modelo que solo utiliza características VLM alcanzó 0,89 y 0,90. El modelo fusionado OCR-VLM-CatBoost superó a ambos modelos independientes, alcanzando una precisión de 0,94 y una puntuación F1 de 0,95. La mejora de 0,05 en ambas métricas sobre el modelo solo VLM demuestra que OCR no es una señal de reemplazo. Complementa el juicio holístico de VLM con información de legibilidad de texto de grano fino.

Evaluación explicable de contenido VLM con SHAP

Una etiqueta de calidad sola no le dice a los socios de venta qué arreglar primero. Para encontrar qué dimensiones impulsaron cada decisión, utilizamos SHapley Additive exPlanations (SHAP), que asigna a cada característica un valor que muestra cuánto empujó una predicción hacia alta o baja calidad. Dado que las puntuaciones VLM y OCR alimentan el mismo clasificador, SHAP mide ambas en una escala común. Las puntuaciones crudas no pueden hacer esto: una puntuación de Narración Visual de 6 y una alta Densidad de Caracteres no le dicen cuál fue más importante para la decisión.

En todo el conjunto de retención, las características más influyentes fueron la Densidad de Caracteres OCR (valor absoluto de SHAP medio 1,1), la Legibilidad General OCR (1,0) y la Narración Visual VLM (1,0). Les siguieron el Diseño A+ (0,8), la Presentación de Características (0,6) y la Optimización de Conversión (0,4). Tanto las características OCR como VLM se encuentran cerca de la parte superior, por lo que el clasificador depende de ambas fuentes.

Figura 3: Distribuciones de valores SHAP globales para todas las características VLM y OCR

Para una página individual, SHAP muestra qué características redujeron la decisión. Para cada página clasificada como de baja calidad, clasificamos las ocho características por valor SHAP, luego pasamos las características más negativas, la categoría de producto y las mejores prácticas de ecommerce, junto con las razones de la VLM, a un LLM, que las convierte en acciones específicas y priorizadas.

La Figura 4 muestra dos tramas de SHAP locales con la razón del LLM basada en los resultados de SHAP, para una muestra de contenido A+ de baja calidad y una de alta calidad. Por ejemplo, si el diseño A+ tiene un valor SHAP de -1,2 y la narración visual tiene -0,3, el sistema prioriza la reestructuración del diseño y el rebalanceo de texto e imágenes, seguido de mejoras en la imagen.

Figura 4: Dos distribuciones de valores de SHAP locales para todas las características de VLM y OCR: (a) un caso de baja calidad, donde la mayoría de las características contribuyen negativamente y impulsan una recomendación de mejora solicitada; (b) un caso de alta calidad, donde la mayoría de las características contribuyen positivamente

Validamos la efectividad de estas recomendaciones basadas en explicaciones midiendo las puntuaciones de calidad después de que los socios de ventas revisaron su contenido. La puntuación de calidad promedio después de la revisión aumentó en 1,4 puntos en una escala de 10 puntos en una muestra estadísticamente significativa. Las contribuciones de SHAP pueden traducirse, por lo tanto, de explicaciones de decisiones a prioridades y métodos de mejora accionables. La explicabilidad no es, por lo tanto, solo una capacidad auxiliar para comprender el modelo, sino que funciona como un mecanismo de retroalimentación que mejora materialmente la calidad del contenido.

Resultados

El sistema completo califica cada instantánea de página con VLM y OCR, combina las cuatro puntuaciones de VLM y las cuatro puntuaciones de OCR en un solo vector de características y lo pasa a un clasificador CatBoost entrenado con etiquetas de expertos. Luego, SHAP identifica qué características impulsaron cada decisión. Para medir qué agrega cada componente, comparamos cuatro configuraciones en el mismo conjunto de retención del 20%. El conjunto de retención proviene de 5,478 páginas de detalles de productos en 10 categorías de productos, incluyendo Muebles, Zapatos, Alimentos, Belleza y Ropa.

La línea de base promedia las cuatro puntuaciones de VLM y aplica un umbral fijo, por lo que cada dimensión cuenta igual. Alcanzó una precisión de 0.80 y una puntuación F1 de 0.84. Entrenar un clasificador CatBoost en las mismas puntuaciones permite que el modelo aprenda qué dimensiones son más importantes y cómo interactúan, lo que aumentó la precisión a 0.89 y la puntuación F1 a 0.90. Un clasificador entrenado solo en las puntuaciones de OCR alcanzó una precisión de 0.82 y una puntuación F1 de 0.83. Combinar las puntuaciones de VLM y OCR dio los mejores resultados, con una precisión de 0.94 y una puntuación F1 de 0.95. Eso es 14 puntos porcentuales de precisión más alta y 11 puntos más altos de F1 que la línea de base.

Figura 5: Comparación de precisión y F1 en las configuraciones de evaluación de VLM y OCR

Examinar cada ganancia de rendimiento por separado aclara el valor del enfoque integrado. La calibración de CatBoost reduce primero las limitaciones de un umbral fijo al aprender pesos y límites de decisión no lineales específicos de la dimensión. Luego, agregar características de OCR suministra señales de legibilidad de texto que VLM puede pasar por alto. En general, el modelo de fusión final mejora la precisión en 0.14 y la puntuación F1 en 0.11 con respecto a la línea de base.

También cambiamos el backbone de VLM en un experimento adicional en un conjunto de datos de una sola categoría que contiene 499 proyectos de contenido. Con una variante de VLM más ligera, la línea de base alcanzó una precisión de 0.74 y una puntuación F1 de 0.72, mientras que el modelo OCR-VLM-CatBoost alcanzó 0.90 para ambas métricas. Con una variante de VLM más capaz, la línea de base alcanzó una precisión de 0.79 y una puntuación F1 de 0.84, mientras que el modelo de fusión alcanzó 0.94 y 0.95. El enfoque de fusión mejoró la precisión en 0.16 y 0.15 para los dos VLM, respectivamente, demostrando que las características de OCR complementarias entregan ganancias consistentes sin depender de un modelo de base en particular.

Para reducir los costos de desarrollo y mantener el acceso a modelos base de alto rendimiento, el sistema congela el VLM y entrena solo el clasificador de bajo overhead. En producción, un experimento A/B a nivel mundial que ajustó la visibilidad del contenido A+ de baja calidad según las decisiones de calidad del modelo produjo una mejora estadísticamente significativa en las Ventas de Productos Ordenados (OPS). Más allá de alinearse estrechamente con el juicio de expertos, el sistema integrado proporciona una señal de calidad que puede respaldar las decisiones de experiencia del cliente y empresariales a gran escala.

Implementación en Amazon SageMaker AI

Figura 6: Arquitectura del sistema de calidad de contenido en Amazon SageMaker AI

1. Renderización de instantánea de contenido e ingesta de datos: Se renderiza la experiencia completa de contenido A+, capturando cómo los clientes ven realmente la página.

Trabajos de procesamiento de SageMaker ejecutan trabajos de renderización contenerizados a gran escala, desacoplando la preparación de datos del entrenamiento y la inferencia de cómputo.

2. Puntuación del VLM y alojamiento del modelo: Los anotadores etiquetan de forma independiente el contenido utilizando la rúbrica de calidad. Sus etiquetas de consenso agregadas se convierten en los objetivos de entrenamiento. El VLM congelado recibe cada instantánea más un prompt de rúbrica y produce cuatro puntuaciones del 0 al 10 (Narración visual, Presentación de características, Diseño A+, Optimización de conversión), cada una con un valor de confianza y justificación. SageMaker AI Inference aloja el VLM con la opción de implementación que se adapta a la carga de trabajo:

• Puntos de conexión en tiempo real para puntuación sincrónica y baja latencia de listados individuales.
• Puntos de conexión asíncronos para cargas grandes, como instantáneas de alta resolución, donde se acepta un ligero retraso.
• Transformación por lotes para puntuación por lotes sin conexión a escala de catálogo.

Estas opciones admiten escalado automático, infraestructura administrada y selección de instancias de GPU.

Trabajos de entrenamiento de SageMaker se pueden utilizar opcionalmente para ajustar o destilar aún más el VLM (por ejemplo, adaptadores de adaptación de baja rango (LoRA), destilación de conocimientos en un modelo más pequeño) si los equipos desean una variante especializada con menor latencia. Evite esto para mantener el costo de recalibración rentable y agnóstico de VLM.

3. Extracción de legibilidad de OCR: En paralelo, OCR extrae texto y posiciones de cuadros delimitadores de cada instantánea y calcula cuatro señales de legibilidad: densidad de texto, densidad de caracteres, espaciado y legibilidad general.

SageMaker JumpStart proporciona modelos preentrenados y desplegables de una sola acción desde su centro de modelos, evitando la necesidad de buscar, empaquetar y evaluar modelos desde cero. Los equipos seleccionan un modelo, lo ajustan opcionalmente sin administrar la infraestructura utilizando Personalización de modelo sin servidor de SageMaker en contenido de comercio electrónico, y lo despliegan directamente. Inferencia de IA de SageMaker luego hospeda el modelo de OCR seleccionado como un punto de conexión.

4. Agregación y almacenamiento de características:

Almacén de características de SageMaker proporciona acceso en línea (inferencia de baja latencia) y fuera de línea (entrenamiento por lotes) a las mismas características, evitando la inclinación de entrenamiento-servicio. Los equipos pueden compartir características en toda la organización, para que los consumidores downstream puedan reutilizar las mismas características curadas.

5. Entrenamiento de clasificador: Un clasificador CatBoost se entrena en el vector de características de ocho dimensiones contra anotaciones de expertos para aprender pesos de dimensiones no uniformes y límites de decisión no lineales. Trabajos de entrenamiento de SageMaker se pueden utilizar aquí nuevamente. Puede registrar modelos entrenados directamente en el Registro de modelos de SageMaker para control de versiones, flujos de trabajo de aprobación y despliegue de producción.

6. Explicabilidad y recomendaciones de SHAP: Trabajos de procesamiento de SageMaker admiten Código de procesamiento de su propiedad (BYO), que puede utilizar para derivar valores de SHAP y métricas de explicabilidad del modelo.

7. Monitoreo de producción y re-entrenamiento: En producción, los modelos de ML se degradan naturalmente con el tiempo. Las estéticas de los clientes cambian, se lanzan nuevos tipos de módulos A+, las categorías de productos evolucionan y el comportamiento de los vendedores cambia. Los patrones de puntuación que el clasificador aprendió de las anotaciones históricas se desalinean gradualmente con lo que significa la calidad hoy en día, lo que lleva a una erosión silenciosa de la precisión si no se controla. La monitorización continua cierra esta brecha detectando cuándo la distribución de datos en vivo o las predicciones del modelo se han desviado lo suficiente de la línea de base de entrenamiento como para justificar una recalibración.

SageMaker AI ModelOps proporciona una colección de ejemplos y recursos para ayudarlo a operacionalizar las cargas de trabajo de inteligencia artificial generativa y aprendizaje automático en SageMaker AI.

SageMaker AIOps proporciona la herramienta para rastrear la calidad de los datos, la calidad del modelo y el desplazamiento de la atribución de características. SageMaker Pipelines también automatiza el flujo de trabajo de re-entrenamiento de extremo a extremo cuando se superan los umbrales de desplazamiento.

8. Generación de contenido basada en difusión: Cerrando el ciclo, las puntuaciones de calidad y las recomendaciones derivadas de SHAP condicionan un modelo de difusión que genera activos de imagen A+ mejorados. En lugar de dejar que los vendedores interpreten las recomendaciones y creen nuevo contenido desde cero, el sistema produce activos visuales listos para usar (imágenes de estilo de vida mejoradas, diseños reequilibrados o tomas de producto mejoradas) que abordan directamente las dimensiones que SHAP señaló como las que contribuyen más negativamente. Estos activos generados y las sugerencias de mejora de lenguaje natural se presentan a los vendedores, para que puedan mejorar sus listados en amazon.com.

Conclusión

En esta publicación, mostramos cómo evaluar las páginas de detalles de productos como los ven los clientes al renderizar cada página como una sola instantánea y puntuarla con un VLM. También pasamos por la implementación del sistema en Amazon SageMaker AI. Construimos el sistema alrededor de tres objetivos. Para la adaptabilidad, mantenemos el VLM fijo y entrenamos un clasificador CatBoost en sus puntuaciones de rubric, para que el sistema coincida con el juicio experto y pueda actualizarse con un trabajo de solo CPU. Para el rendimiento, agregamos puntuaciones de legibilidad OCR que capturan el texto denso o mal espaciado que el VLM pasa por alto. Para la explicabilidad, SHAP identifica qué características impulsaron cada decisión, y un LLM convierte esos resultados en recomendaciones prioritarias para los socios de ventas.

En 5,478 páginas de detalles de productos de 10 categorías de productos, el modelo fusionado alcanzó una precisión de 0.94 y una puntuación F1 de 0.95, 14 y 11 puntos porcentuales por encima de la línea de base de puntuación promedio. Las páginas revisadas utilizando las recomendaciones mejoraron su puntuación de calidad en un promedio de 1.4 puntos en una escala de 10.

Los estándares de calidad de contenido difieren en las categorías de productos, idiomas y mercados, y nuestras anotaciones de expertos no pueden representar completamente cada contexto. A continuación, planeamos evaluar esqueletos de VLM más eficientes y métodos de inferencia para ejecutar el sistema en un catálogo global.

Sobre los autores