Tsinghua AI abre el código fuente de AKV, un servidor de ingeniería de caché para agentes de LLM en SGLang
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
Asif Razzaq
Los investigadores de la Universidad Tsinghua y la CUHK han abierto el código de AKV, un sistema de servicio para la ingeniería de caché KV en agentes LLM. En lugar de resumir la historia antigua, los agentes eliminan las entradas de caché KV seleccionadas y siguen reutilizando el resto. En 3 modelos y 4 benchmarks de agentes, el costo promedio disminuye un 27,7%. La puntuación promedio de la tarea aumenta 1,7 puntos. El código está licenciado Apache-2.0 y se basa en SGLang.
TL;DR
¿Qué es: Sistema de servicio más biblioteca de políticas, sin pesos. Probado en GPT-OSS-120B (5,1 mil millones activos), MiniMax-M2.7 (230 mil millones totales, 10 mil millones activos) y MiroThinker-1.7-Mini (30 mil millones totales, 3 mil millones activos).
Se ejecuta en: Tarjetas gráficas NVIDIA a través de SGLang. El artículo utilizó 8 tarjetas gráficas A800-80GB en BF16. El inicio rápido sirve GPT-OSS-120B en 2 tarjetas gráficas (paralelismo de tensor 2).
Rendimiento: 27,7% de costo promedio más bajo y +1,7 puntos de puntuación promedio versus resumen de umbral.
Mejor: GPT-OSS-120B en SWE-bench Verificado: costo por tarea de 20,0 a 9,7 centavos, puntuación de 40,0 a 43,2.
Peor: MiniMax-M2.7 en BrowseComp-Plus obtiene una puntuación de 58,9, 3,4 puntos por debajo de los 62,3 de Text Engineering.
¿Qué es la ingeniería de caché y cómo se diferencia de la ingeniería de contexto?
AKV es un sistema de servicio de la Universidad Tsinghua que permite a los agentes LLM eliminar y reubicar su propia caché KV.
La ingeniería de contexto recorta o resume la historia del texto. Editar ese prefijo invalida cada estado de caché KV posterior. El sufijo conservado debe rellenarse nuevamente. Los arneses, por lo tanto, resumen tarde y de manera agresiva, lo que puede perder detalles de las rondas intermedias.
La ingeniería de caché deja intacta la trayectoria del texto. Solo cambia qué entradas de caché KV están visibles para la atención. Las entradas conservadas se reutilizan sin recomputación. Todavía pueden llevar información de los mensajes eliminados. En el análisis de costos del artículo de investigación, las lecturas de caché KV representaron el 82,4% del costo total de la API.
¿Cómo funciona AKV?
AKV define 3 operaciones de caché. Append es la actualización estándar para nuevos tokens. Drop elimina entradas seleccionadas del futuro sin cambiar posiciones. Repos reescribe claves retenidas a posiciones 0 a través de r-1 utilizando una rotación RoPE. Los valores permanecen sin cambios, por lo que no se recomputan estados ocultos. En ablaciones, agregar Repos aumentó la tasa de aprobación de BrowseComp-Plus de GPT-OSS-120B del 55% al 62%.
La parte difícil es servir. Tokens idénticos pueden producir diferentes estados de caché bajo diferentes historias de operaciones. La coincidencia de prefijo simple podría reutilizar estados incorrectos. AKV extiende el árbol radix de SGLang con nodos de caída y reubicación. Libera KV descartados solo cuando no hay solicitudes activas que lo necesiten. La atención de segmento-lote restaura estados expulsados en una sola pasada de prellenado.
¿Cómo se ve la API de AKV?
La interfaz es sin estado y compatible con OpenAI. Los clientes envían el historial de mensajes completo y dos campos opcionales. drop_message asigna un índice de mensaje de activación a los mensajes que se van a eliminar. reposition enumera los índices después de los cuales se compactan las posiciones.
Un CachePolicy construye esos campos a partir de un activador, un selector y una regla de reubicación. Las políticas integradas son basadas en turnos, tokens o modelos. Un CacheTool permite que el modelo llame a drop_context él mismo.
¿Cómo se desempeña AKV en las pruebas de agente?
La política principal es una caída de respuesta de herramienta de desplazamiento que mantiene las últimas 12 respuestas de herramientas. La Estándar baseline resume en 96K tokens (192K para MiroThinker). Ingeniería de texto resume en 48K. Las pruebas son BrowseComp-Plus, GAIA-Text, SWE-bench Verificado y xbench-DeepSearch-2510.
Modelo
Puntuación estándar / costo
Puntuación de ingeniería de texto / costo
Puntuación de AKV / costo
MiniMax-M2.7
52.4 / 5.0
52.8 / 5.7
53.7 / 4.4
GPT-OSS-120B
51.0 / 11.2
48.3 / 10.2
53.1 / 7.3
MiroThinker-1.7-Mini
44.1 / 20.4
37.1 / 18.1
45.8 / 14.8
Tasa de aprobación promedio (%) y costo (centavos de dólar estadounidense por tarea) en 4 benchmarks. Fuente: Tabla 1 del artículo.
AKV también reduce el costo en un 21,9% en comparación con Text Engineering. La brecha de precisión se abre en ejecuciones largas. En BrowseComp-Plus con 96K tokens o más, GPT-OSS-120B obtiene un 37% con AKV. La puntuación estándar es del 24% y Text Engineering obtiene un 32%, según la página del proyecto.
Los costos son estimaciones equivalentes a la API a partir de las tarifas publicadas. Los tokens reubicados se cobran a la tasa de acierto en caché, una elección deliberadamente conservadora.
¿Cuán rápido es AKV en las pruebas de rendimiento?
Las pruebas de servicio ejecutaron GPT-OSS-120B en 80 tareas de contexto largo verificadas de SWE-bench. En la configuración de pico de cada método, AKV entrega 1,18 veces la salida de rendimiento y 1,53 veces el rendimiento de entrada. La latencia de la solicitud P95 es 1,51 veces más rápida.
En concurrencia 16, la latencia P95 de Standard alcanza 229,90 segundos frente a 30,63 para AKV. La presión de KV hace que Standard entre en relleno repetido. Por cada paso de decodificación, el tiempo de atención completa disminuye de 7,082 a 2,849 ms.
En 100 tareas de SWE-bench Verified con un presupuesto de GPU, AKV alcanzó una tasa de aprobación de aproximadamente el 47%. Standard alcanzó el 40,7% y la ingeniería de texto el 32,3%.
¿Pueden los agentes ajustar su propia política de caché?
MiniMax-M2.7 refinó las políticas en 20 tareas de BrowseComp-Plus, luego ejecutó 100 tareas mantenidas. La política de iteración 6 redujo el costo en un 17,8% en comparación con Standard en la precisión base. El informe abstracto informa de un ahorro del 7,1% más allá de la política diseñada por expertos.
Exponer el control de caché como una herramienta también ayudó a la precisión. GPT-OSS-120B aumentó de 52,1 a 61,0 en un subconjunto de 100 tareas. El costo de MiniMax-M2.7 aumentó, sin embargo, de 5,4 a 5,9 centavos.
¿Necesitas asociarte con nosotros para promocionar tu GitHub Repo o tu página de Hugging Face o tu lanzamiento de producto o webinar, etc.? Conéctate con nosotros
Tsinghua University and CUHK researchers open-sourced AKV, a serving system for KV cache engineering in LLM agents. Instead of summarizing old history, agents drop selected KV cache entries and keep reusing the rest. Across 3 models and 4 agent benchmarks, average cost falls 27.7%. Average task score rises 1.7 points. The code is Apache-2.0 licensed and builds on SGLang.
TL;DR
What it is: Serving system plus policy library, no weights. Tested on GPT-OSS-120B (5.1B active), MiniMax-M2.7 (230B total, 10B active) and MiroThinker-1.7-Mini (30B total, 3B active).
Runs on: NVIDIA GPUs via SGLang. Paper used 8 A800-80GB GPUs in BF16. Quick start serves GPT-OSS-120B on 2 GPUs (tensor parallel 2).
Performance: 27.7% lower average cost and +1.7 points average score versus threshold summarization.
Best: GPT-OSS-120B on SWE-bench Verified: cost per task 20.0 to 9.7 cents, score 40.0 to 43.2.
Worst: MiniMax-M2.7 on BrowseComp-Plus scores 58.9, 3.4 points below Text Engineering’s 62.3.
What is cache engineering, and how is it different from context engineering?
AKV is a Tsinghua serving system that lets LLM agents drop and reposition their own KV cache.
Context engineering trims or summarizes the text history. Editing that prefix invalidates every later KV state. The retained suffix must then be re-prefilled. Harnesses therefore summarize late and aggressively, which can lose details from middle rounds.
Cache engineering leaves the text trajectory untouched. It only changes which KV entries stay visible to attention. Retained entries are reused without recomputation. They can still carry information from dropped messages. In the research paper’s cost analysis, KV cache reads made up 82.4% of total API cost.
How does AKV work?
AKV defines 3 cache operations. Append is the standard update for new tokens. Drop removes selected entries from future attention without changing positions. Repos rewrites retained keys to positions 0 through r-1 using a RoPE rotation. Values stay unchanged, so no hidden states are recomputed. In ablations, adding Repos raised GPT-OSS-120B’s BrowseComp-Plus pass rate from 55% to 62%.
The hard part is serving. Identical tokens can produce different cache states under different operation histories. Plain prefix matching could reuse the wrong states. AKV extends SGLang’s radix tree with drop and reposition nodes. It frees dropped KV only when no active request still needs it. Segment-batch attention restores evicted states in 1 prefill pass.
What does the AKV API look like?
The interface is stateless and OpenAI-compatible. Clients send the full message history and two optional fields. drop_message maps a trigger message index to the messages to drop. reposition lists the indices after which positions get compacted.
A CachePolicy builds those fields from a trigger, a selector and a reposition rule. Built-in policies are turn-based, token-based or model-based. A CacheTool lets the model call drop_context itself.
How does AKV perform on agent benchmarks?
The main policy is a tool-response rolling drop that keeps the latest 12 tool responses. The Standard baseline summarizes at 96K tokens (192K for MiroThinker). Text Engineering summarizes at 48K. Benchmarks are BrowseComp-Plus, GAIA-Text, SWE-bench Verified and xbench-DeepSearch-2510.
Model
Standard score / cost
Text Eng. score / cost
AKV score / cost
MiniMax-M2.7
52.4 / 5.0
52.8 / 5.7
53.7 / 4.4
GPT-OSS-120B
51.0 / 11.2
48.3 / 10.2
53.1 / 7.3
MiroThinker-1.7-Mini
44.1 / 20.4
37.1 / 18.1
45.8 / 14.8
Average pass rate (%) and cost (US cents per task) across 4 benchmarks. Source: Table 1 of the paper.
AKV also cuts cost 21.9% versus Text Engineering. The accuracy gap opens on long runs. On BrowseComp-Plus at 96K tokens and above, GPT-OSS-120B scores 37% with AKV. Standard scores 24% and Text Engineering 32%, per the project page.
Costs are API-equivalent estimates from published rates. Repositioned tokens are charged at the cache-hit rate, a deliberately conservative choice.
Serving tests ran GPT-OSS-120B on 80 long-context SWE-bench Verified tasks. At each method’s peak setting, AKV delivers 1.18x output throughput and 1.53x input throughput. P95 request latency is 1.51x faster.
At concurrency 16, Standard’s P95 latency hits 229.90 seconds versus 30.63 for AKV. KV pressure pushes Standard into repeated re-prefill. Per decode step, full-attention time falls from 7.082 to 2.849 ms.
On 100 SWE-bench Verified tasks under a GPU budget, AKV reached about 47% pass rate. Standard reached 40.7% and Text Engineering 32.3%.
Can agents tune their own cache policy?
MiniMax-M2.7 refined policies on 20 BrowseComp-Plus tasks, then ran 100 held-out tasks. The iteration-6 policy cut cost 17.8% versus Standard at baseline accuracy. The abstract reports 7.1% savings beyond the expert-designed policy.
Exposing cache control as a tool also helped accuracy. GPT-OSS-120B rose from 52.1 to 61.0 on a 100-task subset. MiniMax-M2.7’s cost rose, though, from 5.4 to 5.9 cents.
