Kyutai, junto con Inria y École des Ponts, ha lanzado REKI, un modelo de visión, lenguaje y acción (VLA) de 2,4 B para la manipulación de robots. El modelo REKI de visión, lenguaje y acción está preentrenado solo con datos públicos. También guarda un recuerdo barato de su pasado reciente. En tres puntos de referencia fuera de distribución, solo los modelos de aproximadamente el doble de su tamaño lo superaron. Todos los pesos están disponibles hoy en Hugging Face.
TL; DR
- Tamaño: 2,4 B de parámetros (2,2 GB de Qwen3.5-2B VLM + 0,2 B de experto en acciones de igualación de flujo). La memoria cubre los últimos 3 fotogramas, separados por 1 segundo.
- Funciona con: Se comparó con 1 NVIDIA H100. 21,8 ms por fragmento de acción, compilado, desde 2 cámaras a 256 × 256. Las pesas se envían en BF16. No se han anunciado variantes cuantificadas.
- Rendimiento: el mejor entre los VLA previamente entrenados con datos públicos en Libero-plus y RoboTwin Clean2Rand.
- Mejor: 90,4% en Libero-plus, la puntuación más alta en la comparación de Kyutai.
- Lo peor: un 38,4% en RoboCasa365, muy por detrás de Xiaomi-Robotics-1 (57,4%).
¿Qué es REKI?
REKI es un modelo de visión, lenguaje y acción de Kyutai que mapea las vistas de la cámara y da instrucciones a las acciones de los robots. Combina una estructura troncal de Qwen3.5-2B con un experto en acción de 200 millones de parámetros. El experto genera fragmentos de acción mediante la combinación de flujos, integrados en 10 pasos de Euler. El estado y el tiempo de flujo del robot ingresan a través de una norma RMS adaptativa. Cada diseño de estado de robot tiene su propio MLP de estado pequeño
.¿Cómo funciona la memoria de REKI?
La mayoría de los VLA actúan únicamente sobre el marco actual. Los métodos de memoria anteriores enviaban los fotogramas anteriores a la VLM, desenrollaban el entrenamiento o añadían módulos. Cada opción supone un coste adicional
. En su lugar,REKI coloca la memoria en el experto en acción. Antes de las fichas de acción de cada cuadro hay 32 fichas de registro aprendidas. Intercambian el mensaje codificado y las vistas de ese marco. También autogestionan los registros de fotogramas anteriores.
Los registros nunca leen los tokens de acción. Por lo tanto, dependen únicamente de las observaciones, no del tiempo de flujo ni del estado del robot. Se calculan una vez por cuadro y se almacenan en caché en una ventana móvil
.El costo es pequeño, según la página del proyecto:
- La lectura de registros en caché agrega 0,1 ms a un fragmento de 21,8 ms.
- La caché utiliza aproximadamente 2 MiB de memoria de GPU por fotograma anterior.
- El entrenamiento agrupa una ventana de 3 fotogramas en 1 pasada por lotes.
La memoria también corrige un modo de fallo. Sin ella, los brazos suelen oscilar entre 2 posturas. En RoboTwin, los episodios oscilantes caen del 18,6% al 4,1% con la memoria. Kyutai
lo atribuye al aliasing perceptual.¿Cómo funciona REKI en los puntos de referencia?
REKI se preentrena una vez y, a continuación, se ajusta por separado para cada punto de referencia. Las puntuaciones que aparecen a continuación provienen de la tarjeta modelo y de la página del proyecto
.- Libero-plus: 90,4%, por delante de Qwen-RobotManip (89,0%) y π 0,5 (85,7%).
- RoboTwin Clean2R: 65,8%, solo por detrás de Qwen-RobotManip (68,5%).
- RoboCasa365: 38,4%, por delante de RLDX-1 (36,0%) y Qwen-RobotManip (35,9%).
- LIBERO (4 suites): 97,6%.
- RoboTwin 2.0 Fácil/Difícil: 85,9%/84,6%.
La capacitación previa es la que más ayuda fuera de la distribución. Suma 13,8 puntos en Clean2Rand y 30,3 en Under Clutter. La memoria suma 1,5 puntos en Libero-plus y 5,4 en RoboCasa365
.¿Cómo se compara REKI con otros VLA?
| Cuenta con | REKI (Kyutai) Qwen-RobotManip (Qwen) | π 0,5 (Inteligencia física) | ABOT-M0 | (AMAP) Tamaño total 2,4 B4,7 B (por Kyutai) 3,3 B | ( | ||||
|---|---|---|---|---|---|---|---|---|---|
| por Kyutai) 4,6 B (por Kyutai) Red troncal de VLM Qwen3,5-2B Qwen3,5-4B Datos previos al entrenamiento No divulgados No divulgados Solo vídeo humano o de código abierto | |||||||||
| Incluye datos propios del robot | Memoria | de código abierto (UniAct) 32 registros | , 3 fotogramas Variante en contexto Ninguno Libero-plus 90.4 89.0 85.7 (evaluación de Kyutai) 80.5 | RoboTwin Clean2Rand (media) 65.8 | |||||
| 63,8 | 55,7 | RoboCasa365 | 38,4 | | |||||
Notas: Las medias de Clean2Rand se calculan a partir de las 6 condiciones de la tabla 5 del informe Qwen-Robotmanip.
El informe de Qwen indica que Libero-plus tiene entre 0,5 y 84,4.¿Con qué datos se entrenó REKI?
La combinación contiene 1 000 millones de fotogramas más 12,2 millones de muestras de lenguaje visual. La teleoperación con robots reales proporciona 639,8 millones de fotogramas, 193,9 M de simulación y 170,9 M de vídeo humano egocéntrico. Las fuentes incluyen DROID, BridgeData V2, AgiBot World, EgoDex y eGoVerse. El entrenamiento previo realizó 200 000 pasos en 32 GPU H100. Kyutai mantiene la convención de control nativa de cada conjunto de datos en lugar de reasignar
las acciones.¿Cómo se implementa REKI?
Se enumeran seis puntos de control: la base previamente entrenada y los ajustes para LIBERO, RoboTwin (2 variantes), RoboCasa365 y RoboCasa-GR1. La implementación de robots reales utiliza el protocolo gRPC de inferencia asíncrona de LeRobot. En un brazo UR5, REKI se ajustó con precisión durante 3000 pasos (1 hora) con 50 demostraciones por tarea
.de reki import RekiPolicy
policy = rekipolicy.from_pretrained («kyutai/reki-2b-libero», device="cuda»)
policy.reset () # borra la caché de registro al inicio del episodio
actions = policy.predict (images= {"camera_top»: img0, «camera_wrist_left»: img1},
state=proprio, task="ponConclusiones clave
- REKI es un VLA de 2,4 B previamente entrenado solo en datos públicos.
- Tiene una puntuación del 90,4% en Libero-plus, la mejor en la comparación de Kyutai.
- 32 fichas de registro almacenadas en caché proporcionan 0,1 ms de memoria extra.
- Los cortes de memoria suponen oscilaciones del 18,6% al 4,1% en RoboTwin.
- Las pesas están abiertas pero no son comerciales (CC BY-NC-SA 4.0).
Consulta el documento, la página del proyecto, los pesos del modelo y el repositorio de GitHub. Todo el mérito es para el investigador de este proyecto. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro subReddit de más de 150 000 ml y suscribirte a nuestro boletín. ¡Espera! ¿Estás en Telegram? ahora también puedes unirte a nosotros en Telegram.
The post Conoce a Kyutai REKI: el modelo VLA de 2.4 B que aporta una memoria eficiente a la manipulación de robots appeared first on MarkTechPost.