Meta ha movido Catching Just-in-Time Tests (JiTTests) desde un prototipo de investigación hasta su infraestructura de producción. Meta JiTTests es un sistema basado en LLM que escribe pruebas ejecutables diseñadas para fallar en un cambio de código riesgoso. Una prueba fallida es una prueba concreta de que una diferencia cambió el comportamiento. El equipo de Meta informa que JiTTests detectó 74 SEVs de privacidad en la etapa de diferencia en el primer semestre de 2026. El método se describe en el papel de investigación FSE 2026 ‘Generación de pruebas de captura en tiempo real en Meta‘.
TL;DR
- Escala: Se ejecuta en el código de backend de Meta con cientos de millones de líneas. El papel de investigación analiza 22,126 pruebas generadas.
- Se ejecuta en: La infraestructura interna de Meta, durante la noche en capacidad de sobra. Los modelos de juez en el papel: Llama3.3-70B, Gemini 3 Pro, Claude Sonnet 4. No están disponibles públicamente.
- Rendimiento: Los ingenieros informan una tasa de verdaderos positivos del 60% a escala completa (autoinformada).
- Mejor: 74 SEVs de privacidad detectados antes de aterrizar en H1 2026; la ocurrencia de SEVs de privacidad disminuyó un 20%.
- Peor: La implementación inicial confirmó solo 8 de 41 capturas informadas (19,5%).
- Resumen: Mejor: prueba ejecutable de un error antes de la fusión. Peor: solo interno, con números autoinformados.
¿Qué son Catching JiTTests?
Catching JiTTests son pruebas generadas por LLM que deberían fallar cuando una diferencia introduce un error. Las pruebas de endurecimiento tradicionales pasan cuando se escriben y protegen contra futuras regresiones. Las pruebas de captura se dirigen al cambio bajo revisión, antes de que aterrice. Meta formalizó los detalles en su papel de 2025 ‘Harden y Catch’.
La mayoría de las herramientas de errores de IA actúan como revisores humanos más rápidos. Leen la diferencia y dejan comentarios. JiTTests, en cambio, ejecutan código y muestran una diferencia de comportamiento concreta. El equipo de Meta reconoce que esto requiere más pasos computacionales. Argumenta que el enfoque detecta clases de errores que la revisión de LLM o agente pueden pasar por alto.
¿Cómo funciona la tubería de JiTTests?
La tubería de producción tiene 5 etapas:
- Selección de objetivos: Se ejecuta durante la noche en capacidad de sobra. Selecciona las diferencias de riesgo del día anterior, utilizando un mecanismo similar a la puntuación de riesgo de diferencias de Meta.
- Generación de pruebas: 2 flujos de trabajo que tienen en cuenta las diferencias producen pruebas candidatas (explicadas a continuación).
- Conjunto de LLM como juez: Varios LLM califican cada prueba que falla utilizando el código de la prueba, la traza de fallo, la diferencia y la intención inferida.
- RubFake: El entorno de asesinato de falsos positivos basado en reglas agrega comprobaciones deterministas. Sus reglas marcan patrones como la reflexión, los mocks rotos y las excepciones no implementadas.
- Humano en el ciclo: El sistema decide si contactar a un ingeniero, según la clasificación combinada.
Diferencia entre diff sospechosa e intent-aware: ¿cuál es la diferencia?
El flujo de trabajo de diff sospechosa asume que cada diferencia es defectuosa. Trata la diferencia como una mutante de su padre y genera pruebas que las distinguen.
El flujo de trabajo intent-aware primero infiere qué debe hacer la diferencia a partir de su código, título y resumen. Enumera los riesgos, construye una mutante para cada uno y escribe pruebas para eliminarlos. Las pruebas que luego fallan en la diferencia real se convierten en 'capturas débiles'.
¿Qué muestran las pruebas de referencia?
El equipo de investigación analiza 22,126 pruebas generadas. Los métodos que tienen en cuenta las diferencias produjeron 4 veces más capturas candidatas que las pruebas de endurecimiento. Produjeron 20 veces más que las pruebas que fallaron por casualidad.
El flujo de trabajo intent-aware produjo capturas débiles en el 6.4% de sus pruebas y en el 7.9% de las diferencias. La diff sospechosa obtuvo un 2.5% y un 4.0%. La puntuación de mutación guiada por ACH de Meta obtuvo un 0.8% y un 1.6%. Los evaluadores basados en reglas y LLM redujeron la carga de revisión humana en un 70%.
&&&| Característica | Catching JiTTests, intent-aware | Catching JiTTests, diff sospechosa | ACH mutation-guided | TestGen-LLM |
|---|---|---|---|---|
| Org / primera publicación | Meta, 2026 | Meta, 2026 | Meta, 2025 | Meta, FSE 2024 |
| Objetivo | Capturar errores en el diff bajo revisión | Capturar errores en el diff bajo revisión | Fortalecer el código contra clases de fallos específicas | Mejorar las pruebas escritas por humanos existentes |
| La prueba generada debe | Fallar en un diff defectuoso | Fallar en un diff defectuoso | Aprobarse cuando se genera | Aprobarse cuando se genera |
| Conocimiento del diff | Sí, infiere la intención y los riesgos | Sí, sin conocimiento de la intención | No | No |
| Capturas débiles por prueba* | 6.4% (52 de 811) | 2.5% (41 de 1,621) | 0.8% (6 de 754) | 2.0% (89 de 4,499) |
| Diffs con una captura débil* | 7.9% | 4.0% | 1.6% | 3.6% |
| Filtro de falsos positivos | Conjunto de jueces LLM + reglas RubFake | Conjunto de jueces LLM + reglas RubFake | No divulgado | Filtros de compilación, aprobación y cobertura |
| Disponibilidad pública | Solo interno | Solo interno | Solo interno | Solo interno |
*Figuras de la Tabla 1 del documento JiTTests (autoinformado, base de código de Meta). La fila TestGen-LLM utiliza la configuración "no es necesario agregar cobertura". Una captura débil es un candidato a falla, no un error confirmado.
¿Qué cambió a escala completa?
La implementación inicial fue modesta. Meta informó 41 capturas de candidatos a los ingenieros. 8 fueron confirmados como verdaderos positivos, con una tasa del 19,5%. 4 de ellos habrían causado fallos graves en producción.
La publicación de ingeniería de octubre de 2026 informa números de producción mucho más fuertes:
- 589 ingenieros interactuaron con JiTTests, el 64% de los contactados.
- Los ingenieros informaron una tasa de verdaderos positivos del 60%.
- Se capturaron 74 SEV de privacidad en la etapa de diff en el primer semestre de 2026.
- La ocurrencia general de SEV de privacidad disminuyó un 20% en el mismo período.
¿Qué significa human-on-the-loop?
Human-in-the-loop significa que una persona revisa cada salida. Human-on-the-loop significa que los ingenieros establecen criterios y monitorean los resultados de forma agregada. Intervienen a nivel de política, no en cada prueba. El equipo de Meta rara vez necesita leer el código de la prueba. Solo confirman si un cambio de comportamiento observado fue intencional.
¿Pueden los desarrolladores usar JiTTests?
La respuesta es No. JiTTests es infraestructura interna de Meta. Meta no ha lanzado código, modelos ni una API. Los equipos aún pueden copiar el patrón: generación de pruebas de mutación guiada por diff, un conjunto de jueces LLM, filtros deterministas y supervisión humana agregada.
Puntos clave
- Meta’s JiTTests escribe pruebas LLM destinadas a fallar en diffs con errores.
- 74 SEVs de privacidad detectados pre-fusión en H1 2026; SEVs de privacidad disminuidos un 20%.
- Los ingenieros informan una tasa de verdaderos positivos del 60%, frente al 19,5% en el documento.
- Las pruebas conscientes de la intención golpean capturas débiles en un 6,4%, en comparación con el 0,8% para el endurecimiento de ACH.
- Internamente solo: no se ha lanzado código, modelo ni API.
Consulte la publicación de ingeniería, el documento FSE 2026 y el anuncio de Meta en X. Puede verificar las opciones de implementación y especificaciones aquí a través de nuestra extensión de chrome GPULeaderboard.com.
Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de 150k+ML y suscribirse a nuestro boletín. ¡Espera! ¿Estás en Telegram? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub o su página de Hugging Face o su lanzamiento de producto o seminario web, etc.? Conéctese con nosotros
La publicación Conozca JiTTests de Meta: pruebas generadas por LLM diseñadas para fallar antes de que aterrice el código de riesgo apareció por primera vez en MarkTechPost.