Mistral AI ha lanzado Timestral, su primera familia de modelos básicos de series temporales. Timestral es un conjunto de 4 modelos de predicción sin precedentes de Mistral AI, con un tamaño que oscila entre 5 y 209 millones de parámetros. El punto de control más grande ocupa el primer lugar entre los modelos preentrenados y de tiro cero en Gift-Eval, TIME y fev-bench. Lo hace sin necesidad de usar una GPU en el momento de la inferencia.
Para los desarrolladores, este modelo basado en series temporales cronológicas se basa en previsiones probabilísticas en CPU de servidor estándar, con ponderaciones abiertas y código de inferencia.TL; DR
- Tamaño: 4 modelos: parámetros de 5 M, 28 M, 123 M, 209 M (densos). Contexto: hasta 32 768 intervalos de tiempo.
- Funciona con: CPU de servidor estándar, no se necesita GPU. Los pesos de 209 M equivalen a 837 MB en fp32. GPU opcional.
- Rendimiento: #1 entre los modelos preentrenados sin tiro en Gift-eval, TIME y fev-bench (según Mistral).
- Mejor: 50,39 puntos en habilidades SQL de fev-bench, por delante de TimeSFM-3 con 48,99.
- Lo peor: un MASE de 0,658 con una valoración de regalo supera a t0-gamma (0,661) por solo 0,003.
¿Qué es Timestral?
Timestral es un modelo básico de series temporales (TSFM). Está preentrenado en un corpus grande y diverso, y luego pronuncia pronósticos con datos que nunca ha visto. Las herramientas clásicas como ARIMA se adaptan a una serie a la vez. Los modelos profundos como PatchtST suelen entrenarse desde cero en cada conjunto de datos. En cambio, Timestral transfiere patrones entre dominios.
Cada modelo genera 21 cuantiles por paso de tiempo. Predice objetivos multivariantes de forma conjunta. Solo acepta covariables categóricas y del pasado conocido y
del futuro.¿Cómo funciona Timestral?
Timestral es un transformador causal basado en parches que presta atención temporal y atención variable. El modelo 209M utiliza 24 capas y una dimensión de incrustación de 768. Cada parche cubre 32 intervalos de tiempo. Un único pase anticipado prevé un máximo de 1024 pasos. Los horizontes más largos recorren bloque por bloque, retroalimentando la mediana de cada bloque como contexto
.Mistral enumera 4 contribuciones técnicas:
- Previsión de horizonte desacoplada (DHF): los tokens de pronóstico aprendidos leen el historial completo. Los valores observados permanecen en su contexto en lugar de enmascararse, a diferencia del enmascaramiento de parches contiguos en Toto 2.0 y TimesFM-3 .
- Atención a las covariables: cada serie es un objetivo, una covariable del pasado o una covariable del futuro conocido. La información fluye únicamente de las covariables a los objetivos, lo que evita futuras filtraciones.
- Datos que priorizan la síntesis: la mayoría de los datos de entrenamiento son sintéticos, con tendencias, estacionalidad, ruido y dependencias no lineales entre series.
- Entrenamiento en dos etapas: entrenamiento previo con datos sintéticos en un contexto 8 192 y, a continuación, entrenamiento posterior con datos mixtos con un contexto 4 veces más largo. La pérdida es la pérdida de más de 21 cuantiles en el pinball .
¿Cómo se desempeña Timestral en los puntos de referencia?
Todas las puntuaciones que aparecen a continuación son de tiro cero, desde un solo punto de control sin unirse.
Provienen de la tarjeta modelo Timestral-209M.- Evaluación de regalos: MASE 0.658, CRPS 0.446 (cuanto más bajo, mejor).
- TIEMPO: MASE 0.626, CRPS 0.522 (cuanto más bajo, mejor).
- fev-bench: puntuación de habilidad en SQL 50,39, puntuación de habilidad en MASE 39,49 (cuanto más alto, mejor).
La escala de tamaño es plana en la parte superior. Timestral-123M obtiene una puntuación de 0,659 MASE en Gift-Eval, frente a 0,658 de 209M. El equipo de Mistral afirma que el modelo 28M supera a Chronos-2 en Gift-eval y TIME. Chronos-2 es
aproximadamente 4 veces más grande.¿Qué tan rápido es Timestral en la CPU?
Elequipo de Mistral probó una CPU de servidor estándar con 8 subprocesos. La tarea: hacer pronósticos con 1 día de antelación a partir de 3 semanas de historial de 15 minutos. El modelo 5M tardó 10 ms y el modelo 209M tardó 140 ms. El modelo 28M es 5 veces más rápido que el 209M. El modelo 123M se sitúa a un 0,2% de la puntuación de 209 M a las tres cuartas partes de su
latencia.¿Cómo se compara Timestral con TimeSFM-3, Chronos-2 y Toto 2.0?
| Característica | Timestral-209M | TimeSFM-3 Chronos-2 Toto-2.0-2.5B Desarrollador Mistral AI Google Research Amazon Datadog | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Parámetros | :209M, | 330 M, | 120 M | ,2,5 B | , | ||||||
| arquitectura | :transformador de parches causal, solo decodificador DHF, enmascaramiento de parches contiguos, solo codificador, atención grupal, solo decodificador, enmascaramiento de parches contiguos | ||||||||||
| Revelado | 8.192 escalones Horizonte de paso único 1.024 peldaños No divulgado | 1.024 pasos | (máximo) No divulgado | ||||||||
| Quantiles 21 9 | No divulgado 9 Ponderaciones Licencia modificada MIT Non-Commercial v1.0Apache | ||||||||||
* Como se indica en la tarjeta modelo Timestral-209M. Google y Amazon no publican las cifras coincidentes en sus propias páginas de modelos. ** De la tarjeta modelo de Datadog. La carta de Mistral muestra 0.642
/0.539.¿Cómo pueden los desarrolladores implementar Timestral?
Instala el paquete con pip install git+ https://github.com/mistralai/timestral.git. Necesita Python 3.10+ y Torch 2.4+. Las dependencias son PyTorch, NumPy, safetensors y huggingface_hub. Pesos descargados desde Hugging Face: 21 MB para 5 millones, 111 MB para 28 millones, 490 MB
El ajuste de los datos privados se realiza a través de Mistral Forge. La canalización se puede implementar de forma local, en una VPC o de forma aislada
.Conclusiones clave
- 4 tamaños, de 5 M a 209 M, todos con la misma precisión que el tamaño de Pareto.
- 209M lidera a Gift-eval, TIME y fev-bench entre los modelos que no tienen nada que hacer.
- Inferencia solo con CPU: de 10 ms (5 M) a 140 ms (209 M).
- Contexto de 32.768 pasos, 21 cuantiles, compatibilidad con covariables nativas.
- Se modificaron los pesos del MIT, a diferencia de la licencia no comercial de TimeSFM-3.
Consulta la entrada del blog, el repositorio de GitHub y los pesos de los modelos en Hugging Face. Todo el mérito es para el investigador de este proyecto. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro subReddit de más de 150 000 ml y suscribirte a nuestro boletín. ¡Espera! ¿Estás en Telegram? ahora también puedes unirte a nosotros en Telegram.
The post Mistral AI lanza Timestral: una familia de modelos de pronóstico de 209 millones que supera al TimesFM-3 de Google appeared first on MarkTechPost.