Los equipos que envían inteligencia artificial generativa a producción saben que un modelo es tan bueno como sus datos. Es por eso que preparar datos de entrenamiento y evaluación de alta calidad es lo primero. Afilar un modelo de peso abierto, ejecutar aprendizaje por refuerzo o construir una suite de evaluación todos dependen de datos que son precisos, bien etiquetados y representativos de su tarea. Para tareas estrechas y bien definidas, un modelo más pequeño personalizado en datos limpios y específicos de la tarea puede igualar o superar la precisión de un modelo general de propósito más grande que se ha adaptado, a un costo inferior por inferencia.

En la práctica, sin embargo, preparar esos datos es a menudo la parte más lenta del proyecto. Los ejemplos etiquetados son escasos o costosos, y las reglas de privacidad limitan lo que puedes utilizar. Los problemas de calidad como los duplicados, el ruido de etiqueta y la fuga de respuestas pasan desapercibidos hasta que una ejecución de entrenamiento es decepcionante, y cada técnica de entrenamiento espera que los datos estén en su propio formato. Como resultado, los científicos de datos pasan semanas manipulando datos en lugar de construir modelos.

Hoy, estamos expandiendo Amazon SageMaker AI con nuevas capacidades de preparación de datos de IA para flujos de trabajo de desarrollo de modelos. Puedes generar ejemplos sintéticos, evaluar y mejorar conjuntos de datos existentes, y llevar comentarios de expertos al proceso a través de API de SDK de Python y la habilidad del agente de IA-ML de AWS. Trabajas en tu cuaderno o IDE, con especificaciones y código que puedes inspeccionar y cambiar.

Preparar datos sin construir pipelines a mano

Con las capacidades de Preparación de Datos de IA, no necesitas combinar herramientas de etiquetado, scripts de generación y trabajos de validación. Cada capacidad es un bloque de construcción independiente. Puedes usar uno de ellos por sí solo o encadenarlos según el flujo de trabajo que desees.

  • Etiquetado automático: Etiqueta datos a gran escala a partir de un conjunto de datos no etiquetados, un conjunto de semillas etiquetadas pequeño o sin etiquetas en absoluto. Los tipos de tareas integrados incluyen clasificación, reconocimiento de entidades nombradas, respuesta a preguntas extractiva, calificación ordinal y resumen, y puedes definir tareas personalizadas. Describes la tarea en una especificación de etiquetado breve, que se valida contra tus propios ejemplos antes de que se etiquete el conjunto de datos completo. Para tareas con un conjunto fijo de posibles respuestas, como la clasificación, el reconocimiento de entidades nombradas y la respuesta a preguntas extractiva, un jurado de varios modelos etiqueta cada fila, y su nivel de acuerdo se convierte en la puntuación de confianza de esa fila.
  • Revisión humana: Las filas por debajo de tu umbral de confianza van a una cola de revisión en Amazon SageMaker Studio, que utiliza la edición comunitaria de Label Studio de código abierto. Los expertos en la materia externos pueden acceder a la aplicación de revisión a través del enlace en la caja de la aplicación asociada en SageMaker Studio. Las correcciones del revisor se retroalimentan en el etiquetado automático, y puedes generar métricas de consenso y informes de etiquetado.
  • Generación de datos sintéticos: Genera datos de entrenamiento, evaluación y prueba a partir de una especificación. Puedes basar la salida en tus propios datos y documentos de semillas, y el servicio genera una tubería de generación de datos basada en código que puedes revisar, modificar, reutilizar y escalar.
  • Evaluación de la calidad de los datos: Verifica los conjuntos de datos contra tus propias reglas comerciales, métricas integradas y métricas de juez como LLM. Encuentra duplicados y casi duplicados, y saca a la superficie problemas que no pensaste en verificar, como ruido de etiqueta o fuga de respuestas.
  • Transformación de datos: Limpia y reforma los datos para tu técnica de entrenamiento objetivo. Describe el cambio en lenguaje plano y haz que se genere el código para ti, utiliza operaciones integradas como dedupe, merge, split y filter, o ejecuta tu propio Python a escala.

Trabajas donde ya trabajas. Utiliza el SDK de Python de SageMaker directamente o proporciona a tu agente de codificación la habilidad de AI-ML en la caja de herramientas del agente y deja que tu agente invoque las API según las mejores prácticas establecidas de ciencia de datos. Describe lo que necesitas, y el agente selecciona y ejecuta la capacidad correcta en SageMaker Studio JupyterLab, Kiro o tu IDE local con tu asistente de codificación de elección.

Para los equipos que construyen modelos especializados, la parte más difícil es a menudo encontrar suficientes datos específicos de la tarea. Splunk, una empresa de Cisco, enfrentó exactamente esto al construir modelos de evaluación para su producto de Observabilidad de Agentes.

“Para Splunk Agent Observability, nuestra capacidad para entrenar modelos de evaluación de GenAI robustos depende del acceso a conjuntos de datos de alta calidad y diversidad que son difíciles de curar para tareas muy específicas. Las capacidades de preparación de datos de Amazon SageMaker para la generación de datos sintéticos nos están ayudando significativamente a escalar estas capacidades. Hemos podido generar conjuntos de datos sintéticos estadísticamente representativos de manera confiable y rápida, preservando los patrones subyacentes en los que dependen nuestros modelos. La integración sin problemas con el resto de nuestro flujo de trabajo de SageMaker significa que nuestros científicos de datos y clientes dedican menos tiempo a manejar datos y más tiempo a construir modelos que impulsan un valor empresarial real a través de Splunk.”

— Yash Sheth, Director de Ingeniería, Splunk Agent Observability

Encadenar capacidades desde los datos brutos hasta el entrenamiento

El valor crece cuando se combinan las capacidades. Algunos patrones comunes:

Crear un conjunto de datos de evaluación dorado: Auto-etiquetar sus datos brutos a partir de un conjunto de semillas pequeño. Las filas de alta confianza se aceptan automáticamente, y las filas de baja confianza se envían a revisores humanos. Sus correcciones mejoran la siguiente pasada de etiquetado, lo que resulta en un conjunto de datos validado y validado por humanos para benchmarkear sus modelos.

Pasar de documentos brutos a un modelo entrenado en un solo flujo de trabajo:

  1. Generar datos: La generación de datos sintéticos crea ejemplos específicos de la tarea basados en sus documentos y datos de semillas.
  2. Transformarlos: La transformación de datos reforma los datos en el formato que su técnica de entrenamiento espera, como afinamiento supervisado (SFT), optimización de preferencia directa (DPO) o aprendizaje por refuerzo (RL).
  3. Validarlos: La evaluación de la calidad de los datos verifica el conjunto de datos en busca de duplicados, fugas y violaciones de reglas antes de gastar recursos de cómputo en el entrenamiento.
  4. Entrenar: Entrenar con la personalización del modelo de SageMaker AI.

Cómo funciona

Considere un equipo que prepara datos para evaluar asistentes de soporte de cliente agente. Su guía de producto dice que un restablecimiento de fábrica borra la configuración guardada. El equipo quiere probar si el asistente conserva esa advertencia al responder preguntas de restablecimiento.

Un paso a través del flujo de trabajo de preparación se ve así:

  1. Define los requisitos: Proporciona la guía del producto como contexto y describe las preguntas y respuestas de referencia que necesitas. Incluye el requisito de que las respuestas sobre una restauración de fábrica preserven la advertencia sobre la configuración guardada. Revisa la especificación producida con tu agente de codificación.
  2. Genera y inspecta una muestra: Genera un lote pequeño y verifica los registros contra la guía. Revisa la generación y verifica el código. Confirma que los ejemplos cubren las preguntas previstas y que las respuestas de referencia siguen el material de origen.
  3. Evalúa y revisa: Ejecuta una evaluación de la calidad de los datos y inspecta los hallazgos a nivel de registro. Pide a un experto en la materia que revise las respuestas ambiguas o las evaluaciones disputadas. Utiliza los resultados y anotaciones para solicitar recomendaciones de mejora.
  4. Aplica cambios y repite: Revisa la especificación si los requisitos necesitan aclaración o transforma el conjunto de datos para abordar problemas como los duplicados. Genera ejemplos adicionales según sea necesario, luego vuelve a evaluar el conjunto de datos revisado antes de utilizarlo para evaluar al asistente.

Mantén el control de tu flujo de trabajo de preparación y datos

Con la habilidad de AI-ML, describes la tarea en lenguaje natural mientras tu agente de codificación ayuda a construir especificaciones, preparar código y coordinar los pasos de preparación de datos. Puedes abrir esos artefactos para ver cómo está configurado el flujo de trabajo y hacer cambios directamente.

Si prefieres invocar las APIs tú mismo, utiliza las APIs de SDK de Python para llamar a capacidades individuales desde tu propio código. Las APIs de SDK toman una especificación como entrada, así que recomendamos crearla con la ayuda de un agente. Puedes agregar una evaluación de la calidad a un proceso existente, generar datos para una nueva tarea o combinar varias operaciones. Tú eliges los pasos de preparación que tu proyecto necesita y cómo se ajustan a tus procesos de personalización y evaluación de modelos.

La preparación de datos de AI se ejecuta con un rol de ejecución de AWS Identity and Access Management (IAM) que tú controlas. Tus datos de origen, conjuntos de datos generados y etiquetas permanecen en tus propios buckets de Amazon Simple Storage Service (Amazon S3), en la región de AWS que elijas.

Comienza hoy

Las capacidades de preparación de datos de AI están disponibles en general en las regiones US East (N. Virginia) y US West (Oregon).

Hay dos formas de comenzar:

  • Con su agente de codificación – Configure las habilidades de preparación de datos en su cuaderno o IDE compatible. Describa una tarea de entrenamiento o evaluación y revise la especificación resultante antes de generar una muestra.
  • Con Python – Utilice el SDK de Python de SageMaker directamente para ejecutar capacidades de preparación de datos individuales desde su propio código. El SDK toma una especificación como entrada, por lo que recomendamos crear sus especificaciones con la habilidad de AI-ML primero, y luego utilizar el SDK para ejecutarlas en su flujo de trabajo.

Para obtener más información, consulte la documentación de Amazon SageMaker AI.


Acerca de los autores

Varun Rajan

Varun Rajan

Varun es un arquitecto senior de ML en el equipo de Amazon SageMaker AI. Con más de dos décadas de experiencia en la creación de soluciones en la nube, ayuda a los clientes a diseñar y llevar aplicaciones de inteligencia artificial generativa desde la fase de prototipo hasta la producción a gran escala.

Nivashini Muthuvel

Nivashini Muthuvel

Nivashini es una gerente de marketing de productos técnicos para Amazon SageMaker AI. Con un fondo en ciencia de datos y estrategia de productos de inteligencia artificial, ayuda a los clientes a comprender y adoptar capacidades de inteligencia artificial para resolver sus desafíos comerciales.

Mike Diamond

Mike Diamond

Mike es un gerente de productos principal en AWS. Con más de 15 años de experiencia en la creación de productos de inteligencia artificial responsables, ayuda a los clientes de SageMaker a obtener los datos correctos detrás de sus modelos, desde la preparación de datos de evaluación y entrenamiento hasta la personalización de modelos que se ejecutan de manera confiable en producción.

Sreedevi Srinivasan

Sreedevi Srinivasan

Sreedevi es una gerente de ingeniería en el equipo de AI de Amazon SageMaker. Ella es apasionada de construir productos innovadores y de impacto que ayuden a los científicos de datos y a los ingenieros de ML en su camino de creación de modelos.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.