Más allá de los modelos mundiales de dominios específicos: Jepa-Anything usa 1 receta para 7 campos

Investigadores de Phai Labs, CUHK, Fudan, Stanford, Oxford y Princeton han publicado JEPA-Anything, un marco independiente del dominio para construir modelos mundiales. En lugar de diseñar un nuevo modelo predictivo para cada campo, aplica una receta de aprendizaje compartido a sistemas muy diferentes. Amplía las arquitecturas predictivas integradas en conjunto (JEPA) con un método denominado factorización predictiva ortogonal (OPF). El equipo de investigación lo probó en 7 ámbitos: visión, biología, trayectorias clínicas, control, dinámica molecular,

campos físicos y clima.

¿Qué problema resuelve Jepa-anything?

Un JEPA estándar, como el I-JEPA o el V-JEPA 2, utiliza un codificador de contexto, un codificador de destino EMA y un predictor. El predictor genera una incrustación de objetivos monolítica. El equipo de investigación llama a esto un problema de asignación de capacidad: predomina la estructura de alta varianza y los modos más débiles tienen gradientes conflictivos

¿Cómo funciona la factorización predictiva ortogonal?

OPF divide el objetivo latente de ancho d en K subespacios aprendidos de ancho r, con d = K × r. La mayoría de los experimentos utilizan K = 4. Cada factor recibe un predictor dedicado. Luego, las predicciones de los factores se recombinan mediante la pseudoinversa de Moore-Penrose de la matriz del proyector. El resultado es un estado latente completo para la decodificación, la planificación o el despliegue.

Tres regularizadores mantienen la utilidad de los factores:

Pérdida de ortogonalidad: mantiene las columnas dentro de cada proyector de forma ortonormal y los diferentes proyectores en subespacios que no se superponen.
Pérdida de actividad factorial: depende de la desviación estándar por coordenada, por lo que ningún factor pierde valor.
Pérdida de varianza del codificador: envía una señal directa contra el colapso al codificador en línea.

La pérdida de OPF simplemente se agrega a la pérdida de entrenamiento original de cada dominio.

Los adaptadores de dominio gestionan la tokenización y los codificadores; la biblioteca principal expone el núcleo compartido como OrthogonalFactorProjection.

La ortogonalidad es importante para una síntesis estable. En CITRIS Interventional Pong, un modelo multicabezal sin restricciones de capacidad equivalente tenía un número de condición de 438,52. La versión ortogonal llegó a 1,00005, con una superposición entre factores cercana a cero

. &

¿Qué resultados arroja la investigación?

Grupo I, lectura terminal: En el caso de los datos de una sola célula, el agrupamiento en clústeres de PBMC (AVGBio) sin ningún tipo de prueba aumentó a 0,7752, frente a los 0,7194 de Cell-JEPA. La perturbación normanda de Pearson aumentó de 0,787 a 0,814. Para pronosticar más de 1000 eventos clínicos a partir de los datos del Biobanco del Reino Unido, la media del PRAUC fue

de 0,718 frente a 0,711 para la JEPA estándar equivalente.

Grupo II, Dinámica mundial latente: En cuanto al Pong intervencionista, el MSE de intervención única cayó un 34,83%. Las intervenciones combinadas no vistas mejoraron un 12,90%, y la implementación gratuita en seis pasos mejoró un 8,58%. Jepa-anything mejoró las métricas reportadas en las 10 tareas dinámicas coincidentes. Los puntos de referencia incluyen CausalWorld, DeepMind Control, PDEbench y WeatherBench2. En ApeBench Burgers, el error de lanzamiento en 6 pasos se redujo alrededor de un 44,7%, mejorando en todas las semillas. En cuanto a los lanzamientos moleculares de 100 pasos con una estructura básica tipo TrajCast, registró los niveles más bajos de MAE y RMSD en agua, cuarzo, paracetamol y benceno

Los resultados de la planificación son dispares. Con parámetros igualados en un 0,3%, Jepa-Anything mejoró el rendimiento de la CEM en Walker2D y HalfCheetah. Hopper se

decantó por la JEPA estándar.

Grupo III, análisis científico: El análisis factorial determinó que el bloqueo de la IL-18 más el CD73 era una intervención contra el cáncer. Las pruebas de laboratorio húmedo confirmaron su eficacia en cocultivos, organoides derivados de pacientes, fragmentos de tumores y ratones. Los modos orbitales latentes también recuperaron la ley de Kepler con una pendiente ajustada de −1,4991 frente

a la −1,5 teórica.

¿Cómo se compara Jepa-anything con otros modelos mundiales?

DreamerV3 Idea básica JEPA Objetivo latente Dominios de Política de a partir de despliegues de MIT

Incluye	JEPA-anything V-JEPA	2	DINO-WM	TD-MPC2	con K factores predictivos ortogonales Vídeo JEPA más V-JEPA
		2-AC World, acondicionado para la acción	modelo sobre características visuales preentrenadas	Modelo mundial más actor-crítico capacitado en imaginación	Dinámica latente sin decodificadores más MPC
Estructura objetivo	Factorizado, recombinado a través de pseudoinverso	único Objetivo latente	único Estados latentes	categóricos	estado latente único
que se muestran	7: visión, células, clínico, control, moléculas, PDE, clima, comprensión del video,	manipulación de robots	PointMaze, PusHT, Wall, deformables	Dominios RL diversos, hiperparámetros fijos	104 tareas de control continuo, 4 dominios
Planificación/implementación Implementación latente, planificación	de CEM	Planificación a partir de objetivos de imagen	planificación de CEM	imaginarios	Planificación de MPC
Puntos de control públicos	por dominio Puntos de control de investigación por dominio en HF	Sí, 300 millones a 1 B (V-JEPA 2)	PointMaze, PusHT, Wall	No figura en el repositorio	Más de 300 puntos de control, hasta 317 millones
licencia	Apache-2.0	MIT (algunos archivos -2.0)	MIT		MIT

Fuentes: el archivo README de GitHub de cada proyecto, enlazado en la fila del encabezado. El estado del punto de control de Jepa-Anything aparece en su tarjeta Hugging Face. Verificado

el 5 de octubre de 2026.

Conclusiones clave

OPF divide 1 objetivo de JEPA en K factores ortogonales con predictores dedicados.
Superó las líneas de base de la JEPA coincidentes en las 10 tareas de dinámica.
El error intervencionista de Pong en una sola intervención se redujo en un 34,83%.
Los beneficios de la planificación dependen del medio ambiente; Hopper estaba a favor de la JEPA estándar.
El código principal es Apache-2.0; los puntos de control de investigación se encuentran en Hugging Face.

Consulta los puntos de control de Paper, GitHub Repo y Model. Todo el mérito es para el investigador de este proyecto. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro subReddit de más de 150 000 ml y suscribirte a nuestro boletín. ¡Espera! ¿Estás en Telegram? ahora también puedes unirte a nosotros en Telegram.

¿Necesitas asociarte con nosotros para promocionar tu repositorio de GitHub, tu página de Hugging Face, el lanzamiento de un producto, un seminario web, etc.? ¡Conéctate con nosotros

The post Más allá de los modelos mundiales específicos de un dominio: Jepa-Anything usa 1 receta para 7 campos appeared first on MarkTechPost.

Researchers from PhAI Labs, CUHK, Fudan, Stanford, Oxford and Princeton have released JEPA-Anything, a domain-agnostic framework for building world models. Instead of designing a new predictive model for each field, it applies one shared learning recipe to very different systems. It extends joint-embedding predictive architectures (JEPAs) with a method called Orthogonal Predictive Factorization (OPF). The research team tested it across 7 domains: vision, biology, clinical trajectories, control, molecular dynamics, physical fields and weather.

What problem does JEPA-Anything solve?

A standard JEPA, such as I-JEPA or V-JEPA 2, uses a context encoder, an EMA target encoder and one predictor. The predictor outputs one monolithic target embedding. The research team call this a capacity-allocation problem: high-variance structure dominates, and weaker modes get conflicting gradients.

How does Orthogonal Predictive Factorization work?

OPF splits the latent target of width d into K learned subspaces of width r, with d = K × r. Most experiments use K = 4. Each factor gets a dedicated predictor. The factor predictions are then recombined through the Moore-Penrose pseudoinverse of the projector matrix. The result is 1 complete latent state for decoding, planning or rollout.

Three regularizers keep the factors useful:

Orthogonality loss: keeps columns within each projector orthonormal and different projectors in non-overlapping subspaces.
Factor-activity loss: a hinge on per-coordinate standard deviation so no factor goes dead.
Encoder-variance loss: sends a direct anti-collapse signal to the online encoder.

The OPF loss is simply added to each domain’s original training loss. Domain adapters handle tokenization and encoders; the core library exposes the shared core as OrthogonalFactorProjection.

Orthogonality matters for stable synthesis. On CITRIS Interventional Pong, a capacity-matched unconstrained multi-head model had a condition number of 438.52. The orthogonal version reached 1.00005, with cross-factor overlap near zero.

What results does the research report?

Group I, terminal readout: On single-cell data, zero-shot PBMC clustering (AvgBIO) rose to 0.7752 versus 0.7194 for Cell-JEPA. Norman perturbation Pearson rose from 0.787 to 0.814. For forecasting over 1,000 clinical events on UK Biobank data, mean PRAUC was 0.718 versus 0.711 for the matched standard JEPA.

Group II, latent world dynamics: On Interventional Pong, single-intervention MSE fell 34.83%. Unseen combined interventions improved 12.90%, and 6-step free rollout improved 8.58%. JEPA-Anything improved reported metrics on all 10 matched dynamics tasks. Benchmarks include CausalWorld, DeepMind Control, PDEBench and WeatherBench2. On APEBench Burgers, 6-step rollout error dropped about 44.7%, improving in every seed. For 100-step molecular rollouts with a TrajCast-style backbone, it posted the lowest MAE and RMSD on water, quartz, paracetamol and benzene.

Planning results are mixed. With parameters matched within 0.3%, JEPA-Anything improved CEM return on Walker2d and HalfCheetah. Hopper favored standard JEPA.

Group III, scientific analysis: Factor analysis nominated IL-18 plus CD73 blockade as a cancer intervention. Wet-lab tests supported it in co-cultures, patient-derived organoids, tumor fragments and mice. Latent orbital modes also recovered Kepler’s law with a fitted slope of −1.4991 against the theoretical −1.5.

How does JEPA-Anything compare with other world models?

Feature	JEPA-Anything	V-JEPA 2	DINO-WM	DreamerV3	TD-MPC2
Core idea	JEPA with K orthogonal predictive factors	Video JEPA plus action-conditioned V-JEPA 2-AC	World model on pretrained visual features	World model plus actor-critic trained in imagination	Decoder-free latent dynamics plus MPC
Target structure	Factorized, recombined via pseudoinverse	Single latent target	Single latent target	Categorical latent states	Single latent state
Domains shown	7: vision, cells, clinical, control, molecules, PDEs, weather	Video understanding, robot manipulation	PointMaze, PushT, Wall, deformables	Diverse RL domains, fixed hyperparameters	104 continuous-control tasks, 4 domains
Planning / rollout	Latent rollout, CEM planning	Planning from image goals	CEM planning	Policy from imagined rollouts	MPC planning
Public checkpoints	Per-domain research checkpoints on HF	Yes, 300M to 1B (V-JEPA 2)	PointMaze, PushT, Wall	Not listed in repo	300+ checkpoints, up to 317M
License	Apache-2.0	MIT (some files Apache-2.0)	MIT	MIT	MIT

Sources: each project’s GitHub README, linked in the header row. JEPA-Anything checkpoint status from its Hugging Face card. Verified October 5, 2026.

Key Takeaways

OPF splits 1 JEPA target into K orthogonal factors with dedicated predictors.
It beat matched JEPA baselines on all 10 dynamics tasks.
Interventional Pong single-intervention error fell 34.83%.
Planning gains are environment-dependent; Hopper favored standard JEPA.
Core code is Apache-2.0; research checkpoints sit on Hugging Face.

Check out the Paper, GitHub Repo and Model Checkpoints. All credit goes to the researcher of this project. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.

Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us

The post Beyond Domain-Specific World Models: JEPA-Anything Uses 1 Recipe for 7 Fields appeared first on MarkTechPost.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.

Chatear por WhatsApp

Tags: news AI News