Meta ha movido Catching Just-in-Time Tests (JiTTests) desde un prototipo de investigación hasta su infraestructura de producción. Meta JiTTests es un sistema basado en LLM que escribe pruebas ejecutables diseñadas para fallar en un cambio de código riesgoso. Una prueba fallida es una prueba concreta de que una diferencia cambió el comportamiento. El equipo de Meta informa que JiTTests detectó 74 SEVs de privacidad en la etapa de diferencia en el primer semestre de 2026. El método se describe en el papel de investigación FSE 2026 ‘Generación de pruebas de captura en tiempo real en Meta‘.

TL;DR

  • Escala: Se ejecuta en el código de backend de Meta con cientos de millones de líneas. El papel de investigación analiza 22,126 pruebas generadas.
  • Se ejecuta en: La infraestructura interna de Meta, durante la noche en capacidad de sobra. Los modelos de juez en el papel: Llama3.3-70B, Gemini 3 Pro, Claude Sonnet 4. No están disponibles públicamente.
  • Rendimiento: Los ingenieros informan una tasa de verdaderos positivos del 60% a escala completa (autoinformada).
  • Mejor: 74 SEVs de privacidad detectados antes de aterrizar en H1 2026; la ocurrencia de SEVs de privacidad disminuyó un 20%.
  • Peor: La implementación inicial confirmó solo 8 de 41 capturas informadas (19,5%).
  • Resumen: Mejor: prueba ejecutable de un error antes de la fusión. Peor: solo interno, con números autoinformados.

¿Qué son Catching JiTTests?

Catching JiTTests son pruebas generadas por LLM que deberían fallar cuando una diferencia introduce un error. Las pruebas de endurecimiento tradicionales pasan cuando se escriben y protegen contra futuras regresiones. Las pruebas de captura se dirigen al cambio bajo revisión, antes de que aterrice. Meta formalizó los detalles en su papel de 2025 ‘Harden y Catch’.

La mayoría de las herramientas de errores de IA actúan como revisores humanos más rápidos. Leen la diferencia y dejan comentarios. JiTTests, en cambio, ejecutan código y muestran una diferencia de comportamiento concreta. El equipo de Meta reconoce que esto requiere más pasos computacionales. Argumenta que el enfoque detecta clases de errores que la revisión de LLM o agente pueden pasar por alto.

¿Cómo funciona la tubería de JiTTests?

La tubería de producción tiene 5 etapas:

  1. Selección de objetivos: Se ejecuta durante la noche en capacidad de sobra. Selecciona las diferencias de riesgo del día anterior, utilizando un mecanismo similar a la puntuación de riesgo de diferencias de Meta.
  2. Generación de pruebas: 2 flujos de trabajo que tienen en cuenta las diferencias producen pruebas candidatas (explicadas a continuación).
  3. Conjunto de LLM como juez: Varios LLM califican cada prueba que falla utilizando el código de la prueba, la traza de fallo, la diferencia y la intención inferida.
  4. RubFake: El entorno de asesinato de falsos positivos basado en reglas agrega comprobaciones deterministas. Sus reglas marcan patrones como la reflexión, los mocks rotos y las excepciones no implementadas.
  5. Humano en el ciclo: El sistema decide si contactar a un ingeniero, según la clasificación combinada.

Diferencia entre diff sospechosa e intent-aware: ¿cuál es la diferencia?

El flujo de trabajo de diff sospechosa asume que cada diferencia es defectuosa. Trata la diferencia como una mutante de su padre y genera pruebas que las distinguen.

El flujo de trabajo intent-aware primero infiere qué debe hacer la diferencia a partir de su código, título y resumen. Enumera los riesgos, construye una mutante para cada uno y escribe pruebas para eliminarlos. Las pruebas que luego fallan en la diferencia real se convierten en 'capturas débiles'.

¿Qué muestran las pruebas de referencia?

El equipo de investigación analiza 22,126 pruebas generadas. Los métodos que tienen en cuenta las diferencias produjeron 4 veces más capturas candidatas que las pruebas de endurecimiento. Produjeron 20 veces más que las pruebas que fallaron por casualidad.

El flujo de trabajo intent-aware produjo capturas débiles en el 6.4% de sus pruebas y en el 7.9% de las diferencias. La diff sospechosa obtuvo un 2.5% y un 4.0%. La puntuación de mutación guiada por ACH de Meta obtuvo un 0.8% y un 1.6%. Los evaluadores basados en reglas y LLM redujeron la carga de revisión humana en un 70%.

&&&

CaracterísticaCatching JiTTests, intent-awareCatching JiTTests, diff sospechosaACH mutation-guidedTestGen-LLM
Org / primera publicaciónMeta, 2026Meta, 2026Meta, 2025Meta, FSE 2024
ObjetivoCapturar errores en el diff bajo revisiónCapturar errores en el diff bajo revisiónFortalecer el código contra clases de fallos específicasMejorar las pruebas escritas por humanos existentes
La prueba generada debeFallar en un diff defectuosoFallar en un diff defectuosoAprobarse cuando se generaAprobarse cuando se genera
Conocimiento del diffSí, infiere la intención y los riesgosSí, sin conocimiento de la intenciónNoNo
Capturas débiles por prueba*6.4% (52 de 811)2.5% (41 de 1,621)0.8% (6 de 754)2.0% (89 de 4,499)
Diffs con una captura débil*7.9%4.0%1.6%3.6%
Filtro de falsos positivosConjunto de jueces LLM + reglas RubFakeConjunto de jueces LLM + reglas RubFakeNo divulgadoFiltros de compilación, aprobación y cobertura
Disponibilidad públicaSolo internoSolo internoSolo internoSolo interno

*Figuras de la Tabla 1 del documento JiTTests (autoinformado, base de código de Meta). La fila TestGen-LLM utiliza la configuración "no es necesario agregar cobertura". Una captura débil es un candidato a falla, no un error confirmado.

¿Qué cambió a escala completa?

La implementación inicial fue modesta. Meta informó 41 capturas de candidatos a los ingenieros. 8 fueron confirmados como verdaderos positivos, con una tasa del 19,5%. 4 de ellos habrían causado fallos graves en producción.

La publicación de ingeniería de octubre de 2026 informa números de producción mucho más fuertes:

  • 589 ingenieros interactuaron con JiTTests, el 64% de los contactados.
  • Los ingenieros informaron una tasa de verdaderos positivos del 60%.
  • Se capturaron 74 SEV de privacidad en la etapa de diff en el primer semestre de 2026.
  • La ocurrencia general de SEV de privacidad disminuyó un 20% en el mismo período.

¿Qué significa human-on-the-loop?

Human-in-the-loop significa que una persona revisa cada salida. Human-on-the-loop significa que los ingenieros establecen criterios y monitorean los resultados de forma agregada. Intervienen a nivel de política, no en cada prueba. El equipo de Meta rara vez necesita leer el código de la prueba. Solo confirman si un cambio de comportamiento observado fue intencional.

¿Pueden los desarrolladores usar JiTTests?

La respuesta es No. JiTTests es infraestructura interna de Meta. Meta no ha lanzado código, modelos ni una API. Los equipos aún pueden copiar el patrón: generación de pruebas de mutación guiada por diff, un conjunto de jueces LLM, filtros deterministas y supervisión humana agregada.

Puntos clave

  • Meta’s JiTTests escribe pruebas LLM destinadas a fallar en diffs con errores.
  • 74 SEVs de privacidad detectados pre-fusión en H1 2026; SEVs de privacidad disminuidos un 20%.
  • Los ingenieros informan una tasa de verdaderos positivos del 60%, frente al 19,5% en el documento.
  • Las pruebas conscientes de la intención golpean capturas débiles en un 6,4%, en comparación con el 0,8% para el endurecimiento de ACH.
  • Internamente solo: no se ha lanzado código, modelo ni API.


Consulte la publicación de ingeniería, el documento FSE 2026 y el anuncio de Meta en X. Puede verificar las opciones de implementación y especificaciones aquí a través de nuestra extensión de chrome GPULeaderboard.com.

Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de 150k+ML y suscribirse a nuestro boletín. ¡Espera! ¿Estás en Telegram? Ahora también puedes unirte a nosotros en Telegram.

¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub o su página de Hugging Face o su lanzamiento de producto o seminario web, etc.? Conéctese con nosotros

La publicación Conozca JiTTests de Meta: pruebas generadas por LLM diseñadas para fallar antes de que aterrice el código de riesgo apareció por primera vez en MarkTechPost.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.