Anunciando capacidades de preparación de datos de inteligencia artificial en Amazon SageMaker: Cree conjuntos de datos de alta calidad para flujos de trabajo de desarrollo de modelos
Announcing AI data preparation capabilities in Amazon SageMaker: Build high-quality datasets for model development workflows
Varun Rajan
Los equipos que envían inteligencia artificial generativa a producción saben que un modelo es tan bueno como sus datos. Es por eso que preparar datos de entrenamiento y evaluación de alta calidad es lo primero. Afilar un modelo de peso abierto, ejecutar aprendizaje por refuerzo o construir una suite de evaluación todos dependen de datos que son precisos, bien etiquetados y representativos de su tarea. Para tareas estrechas y bien definidas, un modelo más pequeño personalizado en datos limpios y específicos de la tarea puede igualar o superar la precisión de un modelo general de propósito más grande que se ha adaptado, a un costo inferior por inferencia.
En la práctica, sin embargo, preparar esos datos es a menudo la parte más lenta del proyecto. Los ejemplos etiquetados son escasos o costosos, y las reglas de privacidad limitan lo que puedes utilizar. Los problemas de calidad como los duplicados, el ruido de etiqueta y la fuga de respuestas pasan desapercibidos hasta que una ejecución de entrenamiento es decepcionante, y cada técnica de entrenamiento espera que los datos estén en su propio formato. Como resultado, los científicos de datos pasan semanas manipulando datos en lugar de construir modelos.
Hoy, estamos expandiendo Amazon SageMaker AI con nuevas capacidades de preparación de datos de IA para flujos de trabajo de desarrollo de modelos. Puedes generar ejemplos sintéticos, evaluar y mejorar conjuntos de datos existentes, y llevar comentarios de expertos al proceso a través de API de SDK de Python y la habilidad del agente de IA-ML de AWS. Trabajas en tu cuaderno o IDE, con especificaciones y código que puedes inspeccionar y cambiar.
Preparar datos sin construir pipelines a mano
Con las capacidades de Preparación de Datos de IA, no necesitas combinar herramientas de etiquetado, scripts de generación y trabajos de validación. Cada capacidad es un bloque de construcción independiente. Puedes usar uno de ellos por sí solo o encadenarlos según el flujo de trabajo que desees.
Etiquetado automático: Etiqueta datos a gran escala a partir de un conjunto de datos no etiquetados, un conjunto de semillas etiquetadas pequeño o sin etiquetas en absoluto. Los tipos de tareas integrados incluyen clasificación, reconocimiento de entidades nombradas, respuesta a preguntas extractiva, calificación ordinal y resumen, y puedes definir tareas personalizadas. Describes la tarea en una especificación de etiquetado breve, que se valida contra tus propios ejemplos antes de que se etiquete el conjunto de datos completo. Para tareas con un conjunto fijo de posibles respuestas, como la clasificación, el reconocimiento de entidades nombradas y la respuesta a preguntas extractiva, un jurado de varios modelos etiqueta cada fila, y su nivel de acuerdo se convierte en la puntuación de confianza de esa fila.
Revisión humana: Las filas por debajo de tu umbral de confianza van a una cola de revisión en Amazon SageMaker Studio, que utiliza la edición comunitaria de Label Studio de código abierto. Los expertos en la materia externos pueden acceder a la aplicación de revisión a través del enlace en la caja de la aplicación asociada en SageMaker Studio. Las correcciones del revisor se retroalimentan en el etiquetado automático, y puedes generar métricas de consenso y informes de etiquetado.
Generación de datos sintéticos: Genera datos de entrenamiento, evaluación y prueba a partir de una especificación. Puedes basar la salida en tus propios datos y documentos de semillas, y el servicio genera una tubería de generación de datos basada en código que puedes revisar, modificar, reutilizar y escalar.
Evaluación de la calidad de los datos: Verifica los conjuntos de datos contra tus propias reglas comerciales, métricas integradas y métricas de juez como LLM. Encuentra duplicados y casi duplicados, y saca a la superficie problemas que no pensaste en verificar, como ruido de etiqueta o fuga de respuestas.
Transformación de datos: Limpia y reforma los datos para tu técnica de entrenamiento objetivo. Describe el cambio en lenguaje plano y haz que se genere el código para ti, utiliza operaciones integradas como dedupe, merge, split y filter, o ejecuta tu propio Python a escala.
Trabajas donde ya trabajas. Utiliza el SDK de Python de SageMaker directamente o proporciona a tu agente de codificación la habilidad de AI-ML en la caja de herramientas del agente y deja que tu agente invoque las API según las mejores prácticas establecidas de ciencia de datos. Describe lo que necesitas, y el agente selecciona y ejecuta la capacidad correcta en SageMaker Studio JupyterLab, Kiro o tu IDE local con tu asistente de codificación de elección.
Para los equipos que construyen modelos especializados, la parte más difícil es a menudo encontrar suficientes datos específicos de la tarea. Splunk, una empresa de Cisco, enfrentó exactamente esto al construir modelos de evaluación para su producto de Observabilidad de Agentes.
“Para Splunk Agent Observability, nuestra capacidad para entrenar modelos de evaluación de GenAI robustos depende del acceso a conjuntos de datos de alta calidad y diversidad que son difíciles de curar para tareas muy específicas. Las capacidades de preparación de datos de Amazon SageMaker para la generación de datos sintéticos nos están ayudando significativamente a escalar estas capacidades. Hemos podido generar conjuntos de datos sintéticos estadísticamente representativos de manera confiable y rápida, preservando los patrones subyacentes en los que dependen nuestros modelos. La integración sin problemas con el resto de nuestro flujo de trabajo de SageMaker significa que nuestros científicos de datos y clientes dedican menos tiempo a manejar datos y más tiempo a construir modelos que impulsan un valor empresarial real a través de Splunk.”
— Yash Sheth, Director de Ingeniería, Splunk Agent Observability
Encadenar capacidades desde los datos brutos hasta el entrenamiento
El valor crece cuando se combinan las capacidades. Algunos patrones comunes:
Crear un conjunto de datos de evaluación dorado: Auto-etiquetar sus datos brutos a partir de un conjunto de semillas pequeño. Las filas de alta confianza se aceptan automáticamente, y las filas de baja confianza se envían a revisores humanos. Sus correcciones mejoran la siguiente pasada de etiquetado, lo que resulta en un conjunto de datos validado y validado por humanos para benchmarkear sus modelos.
Pasar de documentos brutos a un modelo entrenado en un solo flujo de trabajo:
Generar datos: La generación de datos sintéticos crea ejemplos específicos de la tarea basados en sus documentos y datos de semillas.
Transformarlos: La transformación de datos reforma los datos en el formato que su técnica de entrenamiento espera, como afinamiento supervisado (SFT), optimización de preferencia directa (DPO) o aprendizaje por refuerzo (RL).
Validarlos: La evaluación de la calidad de los datos verifica el conjunto de datos en busca de duplicados, fugas y violaciones de reglas antes de gastar recursos de cómputo en el entrenamiento.
Entrenar: Entrenar con la personalización del modelo de SageMaker AI.
Cómo funciona
Considere un equipo que prepara datos para evaluar asistentes de soporte de cliente agente. Su guía de producto dice que un restablecimiento de fábrica borra la configuración guardada. El equipo quiere probar si el asistente conserva esa advertencia al responder preguntas de restablecimiento.
Un paso a través del flujo de trabajo de preparación se ve así:
Define los requisitos: Proporciona la guía del producto como contexto y describe las preguntas y respuestas de referencia que necesitas. Incluye el requisito de que las respuestas sobre una restauración de fábrica preserven la advertencia sobre la configuración guardada. Revisa la especificación producida con tu agente de codificación.
Genera y inspecta una muestra: Genera un lote pequeño y verifica los registros contra la guía. Revisa la generación y verifica el código. Confirma que los ejemplos cubren las preguntas previstas y que las respuestas de referencia siguen el material de origen.
Evalúa y revisa: Ejecuta una evaluación de la calidad de los datos y inspecta los hallazgos a nivel de registro. Pide a un experto en la materia que revise las respuestas ambiguas o las evaluaciones disputadas. Utiliza los resultados y anotaciones para solicitar recomendaciones de mejora.
Aplica cambios y repite: Revisa la especificación si los requisitos necesitan aclaración o transforma el conjunto de datos para abordar problemas como los duplicados. Genera ejemplos adicionales según sea necesario, luego vuelve a evaluar el conjunto de datos revisado antes de utilizarlo para evaluar al asistente.
Mantén el control de tu flujo de trabajo de preparación y datos
Con la habilidad de AI-ML, describes la tarea en lenguaje natural mientras tu agente de codificación ayuda a construir especificaciones, preparar código y coordinar los pasos de preparación de datos. Puedes abrir esos artefactos para ver cómo está configurado el flujo de trabajo y hacer cambios directamente.
Si prefieres invocar las APIs tú mismo, utiliza las APIs de SDK de Python para llamar a capacidades individuales desde tu propio código. Las APIs de SDK toman una especificación como entrada, así que recomendamos crearla con la ayuda de un agente. Puedes agregar una evaluación de la calidad a un proceso existente, generar datos para una nueva tarea o combinar varias operaciones. Tú eliges los pasos de preparación que tu proyecto necesita y cómo se ajustan a tus procesos de personalización y evaluación de modelos.
La preparación de datos de AI se ejecuta con un rol de ejecución de AWS Identity and Access Management (IAM) que tú controlas. Tus datos de origen, conjuntos de datos generados y etiquetas permanecen en tus propios buckets de Amazon Simple Storage Service (Amazon S3), en la región de AWS que elijas.
Comienza hoy
Las capacidades de preparación de datos de AI están disponibles en general en las regiones US East (N. Virginia) y US West (Oregon).
Hay dos formas de comenzar:
Con su agente de codificación – Configure las habilidades de preparación de datos en su cuaderno o IDE compatible. Describa una tarea de entrenamiento o evaluación y revise la especificación resultante antes de generar una muestra.
Con Python – Utilice el SDK de Python de SageMaker directamente para ejecutar capacidades de preparación de datos individuales desde su propio código. El SDK toma una especificación como entrada, por lo que recomendamos crear sus especificaciones con la habilidad de AI-ML primero, y luego utilizar el SDK para ejecutarlas en su flujo de trabajo.
Teams that ship generative AI to production know that a model is only as good as its data. That is why preparing high-quality training and evaluation data comes first. Fine-tuning an open-weight model, running reinforcement learning, or building an evaluation suite all depend on data that is accurate, well-labeled, and representative of your task. For narrow, well-defined tasks, a smaller model customized on clean, task-specific data can often match or exceed the accuracy of a larger general-purpose model prompted into shape, at a lower cost per inference.
In practice, though, preparing that data is often the slowest part of the project. Labeled examples are scarce or expensive, and privacy rules limit what you can use. Quality problems such as duplicates, label noise, and answer leakage go unnoticed until a training run disappoints, and every training technique expects data in its own format. As a result, data scientists spend weeks wrangling data instead of building models.
Today, we’re expanding Amazon SageMaker AI with new AI data preparation capabilities for model development workflows. You can generate synthetic examples, assess and improve existing datasets, and bring expert feedback into the process through Python SDK APIs and the AWS AI-ML agent skill. You work in your notebook or IDE, with specifications and code that you can inspect and change.
Prepare data without hand-building pipelines
With AI Data Preparation capabilities, you don’t need to stitch together labeling tools, generation scripts, and validation jobs. Each capability is a standalone building block. You can use one of them on its own or chain them together according to the workflow you want.
Auto-labeling: Label data at scale from an unlabeled dataset, a small labeled seed set, or no labels at all. Built-in task types include classification, named entity recognition, extractive question answering, ordinal rating, and summarization, and you can define custom tasks. You describe the task in a short labeling spec, which is validated against your own examples before the full dataset is labeled. For tasks with a fixed set of possible answers, such as classification, named entity recognition, and extractive question answering, a jury of several models labels each row, and their level of agreement becomes that row’s confidence score.
Human review: Rows below your confidence threshold go to a review queue in Amazon SageMaker Studio, which uses the open-source Label Studio Community Edition. Outside subject matter experts can access the review app through the link in the partner app box in SageMaker Studio. Reviewer corrections feed back into auto-labeling, and you can generate consensus metrics and labeling reports.
Synthetic data generation: Generate training, evaluation, and test data from a specification. You can ground the output in your own seed data and documents, and the service generates a code-based data generation pipeline that you can review, modify, reuse, and scale.
Data quality evaluation: Check datasets against your own business rules, built-in metrics, and LLM-as-a-judge metrics. Find duplicates and near-duplicates, and surface issues you didn’t think to check for, such as label noise or answer leakage.
Data transformation: Clean and reshape data for your target training technique. Describe the change in plain language and have the code generated for you, use built-in operations such as dedupe, merge, split, and filter, or run your own Python at scale.
You work wherever you already work. Use the SageMaker Python SDK directly or provide your coding agent the AI-ML skill in the agent toolkit and let your agent invoke the APIs according to established data science best practices. Describe what you need, and the agent selects and runs the right capability in SageMaker Studio JupyterLab, Kiro, or your local IDE with your coding assistant of choice.
For teams building specialized models, the hardest part is often finding enough task-specific data. Splunk, a Cisco company, faced exactly this when building evaluation models for its Agent Observability product.
“For Splunk Agent Observability, our ability to train robust GenAI Eval models relies on access to high-quality, diverse datasets which are hard to curate for very specific tasks. Amazon SageMaker AI data preparation capabilities for synthetic data generation is meaningfully helping us scale these capabilities. We’ve been able to generate statistically representative synthetic datasets reliably and fast, while preserving the underlying patterns our models depend on. The seamless integration with the rest of our SageMaker workflow means our data scientists and customers spend less time wrangling data and more time building models that drive real enterprise value through Splunk.”
— Yash Sheth, Director of Engineering, Splunk Agent Observability
Chain capabilities from raw data to training
The value grows when you combine the capabilities. Some common patterns:
Build a golden evaluation dataset: Auto-label your raw data from a small seed set. High-confidence rows are accepted automatically, and low-confidence rows go to human reviewers. Their corrections improve the next labeling pass, resulting in a trusted, human-validated dataset to benchmark your models against.
Go from raw documents to a trained model in one workflow:
Generate data: Synthetic data generation creates task-specific examples grounded in your documents and seed data.
Transform it: Data transformation reshapes the data into the format your training technique expects, such as supervised fine-tuning (SFT), direct preference optimization (DPO), or reinforcement learning (RL).
Validate it: Data quality evaluation checks the dataset for duplicates, leakage, and rule violations before you spend compute on training.
Train: Train with SageMaker AI model customization.
How it works
Consider a team preparing data to evaluate agentic customer support assistants. Its product guide says that a factory reset erases saved settings. The team wants to test whether the assistant preserves that warning when answering reset questions.
One pass through the preparation workflow looks like this:
Define the requirements: Supply the product guide as context and describe the questions and reference answers you need. Include the requirement that answers about a factory reset preserve the warning about saved settings. Review the specification produced with your coding agent.
Generate and inspect a sample: Generate a small batch and check the records against the guide. Review the generation and check the code. Confirm that the examples cover the intended questions and that the reference answers follow the source material.
Assess and review: Run a data quality assessment and inspect the record-level findings. Ask a subject matter expert to review ambiguous answers or disputed assessments. Use the results and annotations to request improvement recommendations.
Apply changes and repeat: Revise the specification if the requirements need clarification or transform the dataset to address issues such as duplicates. Generate additional examples where needed, then reassess the revised dataset before using it to evaluate the assistant.
This example workflow illustrates how the capabilities fit together.
Keep control of your preparation workflow and data
With the AI-ML skill, you describe the task in natural language while your coding agent helps build specifications, prepare code, and coordinate the data preparation steps. You can open those artifacts to see how the workflow is configured and make changes directly.
If you prefer to invoke the APIs yourself, use the Python SDK APIs to call individual capabilities from your own code. The SDK APIs take a specification as input, so we recommend creating it with the help of an agent. You can add quality assessment to an existing process, generate data for a new task, or combine several operations. You choose the preparation steps your project needs and how they fit into your model customization and evaluation processes.
AI Data Preparation runs with an AWS Identity and Access Management (IAM) execution role that you control. Your source data, generated datasets, and labels stay in your own Amazon Simple Storage Service (Amazon S3) buckets, in the AWS Region you choose.
Get started today
The AI data preparation capabilities are generally available in the US East (N. Virginia) and US West (Oregon) Regions.
There are two ways to get started:
With your coding agent – Set up the data preparation skills in your supported notebook or IDE. Describe one training or evaluation task and review the resulting specification before generating a sample.
With Python – Use the SageMaker Python SDK directly to run individual data preparation capabilities from your own code. The SDK takes a specification as input, so we recommend creating your specifications with the AI-ML skill first, then using the SDK to run them in your workflow.