Cmpnd ha lanzado dspy-wsp, un optimizador de prototipo que lleva weight-space programming a DSPy. Weight-space programming es una técnica en la que un modelo LLM de vanguardia lee los pesos de otro modelo y los edita directamente. No hay gradientes, no hay bucle de entrenamiento y no hay conjunto de datos de afinamiento. dspy-wsp empaqueta esto como WeightSpace, un optimizador que se conecta a cualquier programa y métrica de DSPy. En las pruebas de Cmpnd, alrededor de $5 a $10 de llamadas a GPT-6-Astra mejoraron cada modelo de decisión que intentaron. Puede verificar las opciones de implementación y especificaciones aquí a través de nuestra extensión de chrome de GPULeaderboard.com.

TL;DR

  • Qué es: Un optimizador de DSPy (WeightSpace) donde un modelo LLM de escritor edita los pesos de un modelo de estudiante. Licencia MIT, pip install dspy-wsp, necesita DSPy 3.5.
  • Tamaño: Probado en modelos de decisión abiertos de 0,6 mil millones a 9 mil millones de parámetros. Una carrera de 25 pasos editó una sola capa o cabeza.
  • Funciona en: Una Mac para todos los experimentos. Los modelos de 2B utilizaron alrededor de 6 GB de memoria. d1-omni-600M necesita 4 GB o más (Mac o GPU).
  • Rendimiento: WeightSpace solo agregó 1,9 a 16,1 puntos en Decisiones con tipo. Con ReAnchor, las ganancias fueron de 6,5 a 20,0 puntos.
  • Lo mejor: d1-omni-600M pasó de 50,9% a 69,1% (+18,3) con WeightSpace + ReAnchor.
  • Lo peor: Clef-Flash (9B) solo ganó +1,9 con WeightSpace solo. Con la regla más estricta del papel original, d1-omni-600M ganó solo +2,8.
  • Conclusión: Lo mejor: una edición barata y sin gradientes que se envía como un parche pequeño y verificable. Lo peor: muy experimental, lento (78 a 167 minutos por carrera) y más débil en modelos más grandes.

¿Qué es weight-space programming?

Weight-space programming (WSP) trata los pesos de una red neuronal como un programa que se puede leer y reescribir. La idea proviene de la investigación de MIT: Sparks of Weight-Space Programming.

Un modelo de vanguardia (el equipo de investigación utilizó GPT-6-Astra) mira los tensores de peso, razona sobre lo que cada parte computa y los cambia para que coincidan con un objetivo escrito en inglés plano. El equipo de investigación enfatiza que WSP nombra una capacidad emergente, no un método fijo. Los gradientes fueron prohibidos en sus experimentos, pero el concepto no los descarta.

¿Cómo es diferente de la afinación o la optimización de la invitación?

Ayuda a comparar los 3 controles que los desarrolladores suelen utilizar:

  • Optimización de la invitación (MIPROv2 de DSPy, GEPA) edita texto: instrucciones y ejemplos. Los pesos del modelo nunca cambian.
  • Afinación (BootstrapFinetune de DSPy, utilizado dentro de BetterTogether) cambia los pesos con descenso de gradiente. Necesita datos de entrenamiento, un bucle de entrenamiento y generalmente una GPU.
  • Programación en el espacio de pesos cambia los pesos mediante razonamiento. El editor forma una hipótesis ("estos neuronas sobrepuntúan la opción B"), escribe código para parchearlos y verifica el resultado con unos pocos pasos hacia adelante.

La publicación de investigación enmarca la PSP como el siguiente paso después de utilizar LLM para optimizar artefactos de texto. Trabajos anteriores permitieron que LLM hiciera hill-climbing en invitaciones, arneses y código de entrenamiento. Los pesos se dejaron a Adam o a redes generadoras de pesos entrenadas. La PSP argumenta que el razonamiento de LLM ahora puede alcanzar los pesos directamente.

¿Qué mostró la investigación original?

El equipo de MIT realizó 9 experimentos. Varios son impactantes:

  • Leyendo pesos: Astra nombró el juego correcto (Breakout, Pong, Pac-Man, Freeway) para 4 redes de política PPO desde los pesos solos.
  • Arreglando una política rota: Una política de coche en rampa de Kinetix falló en todos los 256 episodios. Una edición de 3,5% de sus pesos la hizo tener éxito en todos los 1.024 episodios de prueba.
  • Escribiendo desde cero: En MinAtar Breakout, una red inicializada en cero escrita en 1 disparo obtuvo 517,4. PPO alcanzó 25,3 después de 500M pasos.
  • Arreglando un LLM: Qwen3.5-0.8B se bucleó en problemas de matemáticas. Astra rastreó el problema hasta las capas MLP 15 y 19 y cambió 131.072 pesos (0,016% del modelo). Con 50 pasos hacia adelante, MATH-500 subió de 7,9% a 48,1% y GSM8K de 13,8% a 67,1%.

La investigación también muestra límites. En Gemma 3 270M, las ediciones movieron MATH-500 de 6,8% a entre 7,0% y 7,7%. El equipo de investigación no lo consideró un beneficio real. La edición puede eliminar un obstáculo, pero no puede agregar una habilidad que falta.

¿Cómo funciona dspy-wsp?

dspy-wsp convierte ese bucle de investigación en un optimizador DSPy estándar. El repositorio de GitHub describe 3 actores:

  1. El estudiante: el modelo pequeño en el que se ejecuta su programa DSPy. Sus pesos se cargan en un proceso de Python local.
  2. El escritor: un LLM de vanguardia, recomendado como gpt-6-astra con un esfuerzo de razonamiento máximo.
  3. El sandbox: un núcleo donde se ejecuta el escritor. macOS utiliza sandbox-exec integrado; Linux utiliza bubblewrap.

El escritor trabaja en turnos. Cada turno tiene una breve explicación, luego 1 bloque de código. Ese bloque es:

  • un bloque de Python que lee o edita pesos dentro del sandbox, o
  • un bloque de forward que ejecuta su programa DSPy en ejemplos de práctica.

Los pases hacia adelante provienen de un presupuesto fijo (max_passes=25 en las pruebas). Cuando se agota el presupuesto, la mejor edición del escritor se convierte en el parche. Un conjunto de validación oculto compara entonces los pesos originales y editados en los mismos ejemplos y semillas.

¿Qué datos ve el escritor?

El repositorio es explícito sobre la separación de datos:

  • trainset es el conjunto de práctica del escritor.
  • holdout mueve una fracción (0,25 en el ejemplo) de los datos de entrenamiento a un conjunto de comprobación. El escritor puede puntuar ediciones en él, pero nunca ve los ejemplos.
  • valset permanece oculto y se ejecuta una vez al final.
  • Las métricas pueden devolver dspy.Prediction(score=..., feedback=...). El texto de retroalimentación es visible para el escritor.

¿Qué cambió el escritor en realidad?

La descripción de los resultados enumera cada edición. Las ediciones son pequeñas y dirigidas:

ModeloTensur editadoAlcanceTiempoCosto del escritor
d1-omni-600Mhead.scorer.1.weight (+ sesgo, scorer.3.weight)112.640 de 1.048.576 entradas, más 22078 min$7,63
NanoJev (Qwen3-0,6B)scalar.weight1.024 entradas167 min$6,92
d1-2Blayers.23.feed_forward.w2.weightTodas las 15,7 millones de entradas, cambio de rango 983 min$5,42

d1-2B no tiene una cabeza de decisión, por lo que el escritor editó su columna vertebral en la capa 23. En d1-omni-600M, el escritor reescribió parte de la cabeza de decisión del scorer.

¿Cómo se ve el código?

El Ejemplo de repositorio triagea tickets de soporte. La firma utiliza solo salidas de tipo de decisión:

import dspy
from typing import Literal
from dspy_wsp import WeightSpace, load_decision_backend

class Triage(dspy.Signature):
    """Triage a support ticket."""
    ticket: str = dspy.InputField()
    urgent: bool = dspy.OutputField(desc="Does this ticket need a reply today?")
    team: Literal["billing", "technical", "account"] = dspy.OutputField(desc="Which team should handle it?")

backend = load_decision_backend("d1")   # d1-omni-600M
optimizer = WeightSpace(
    metric=metric,
    writer_lm=dspy.LM("openai/gpt-6-astra", model_type="responses", reasoning_effort="max"),
    backend=backend,
    max_passes=25,
    holdout=0.25,
    run_dir="runs/triage",
)
compiled = optimizer.compile(dspy.Predict(Triage), trainset=train, valset=test)
compiled(ticket="I was charged twice this month.")   # runs on the edited weights

Después de compile, el programa llama al modelo local editado en lugar de una API alojada. compiled.wsp_patch.summary() muestra qué cambió.

  • WeightSpace superó a ReAnchor solo en cada modelo mostrado. En d1-omni-600M, agregó +16.1 versus +9.3.
  • El modelo más grande ganó menos. El Clef-Flash de 9B solo ganó +1.9 con WeightSpace solo.
  • La combinación es lo más importante en 9B. Clef-Flash saltó a +6.5 cuando ambos optimizadores se ejecutaron.

¿Importa el modelo de escritor?

La respuesta es sí. Con gpt-6.1-sol como escritor, WeightSpace solo dio +5.8 en d1-omni-600M, +12.1 en NanoJev y −0.6 en d1-2B. Astra produjo +16.1, +13.3 y +13.4 en los mismos modelos.

¿Dspy-wsp se desvió de las reglas del artículo original?

Ligeramente, y Cmpnd lo dice. Por defecto, el escritor puede volver a calcular la cabeza de decisión dentro de su kernel. Establecer simulate_head=False hace cumplir la regla más estricta del artículo. Bajo esa regla, d1-omni-600M solo ganó +2.8 ± 0.7 puntos. Agregar ReAnchor lo llevó a +9.3, no mejor que ReAnchor solo.

¿Cómo desplegar un modelo editado?

Cada ejecución escribe una revisión en run_dir. La revisión contiene manifest.json y edit.npz, con solo las entradas cambiadas. También almacena hashes sha256 de cada tensor base y editado. Cualquiera con el modelo base público puede reconstruir los pesos editados exactamente.

  • Modelos de decisión: compiled.wsp_patch.write_checkpoint(backend.weights_dir, "edited-d1/")
  • LLM de texto: dspy-wsp apply <base> <patch> <out>/, luego sirve con vLLM.
  • Programas: compiled.save("program.json") y recarga con allow_unsafe_lm_state=True.

El modelo editado se ejecuta localmente. En Apple silicon utiliza MLX. En Linux utiliza PyTorch, en una GPU NVIDIA si está presente.

¿Qué modelos soporta dspy-wsp?

BackendModeloAliasArquitectura
D1BackendLiquid AI d1-omni (ruta de texto)"d1"Encoder con cabeza de decisión
NanoJevBackendNanoJev"nanojev"Esqueleto Qwen3 con cabeza de decisión
D1LMBackendLiquid AI d1 en LFM3"d1-2b"LM que responde en posiciones de preguntas

Los LLMs generadores de texto funcionan a través de VLLMBackend (NVIDIA), HFBackend (CUDA, MPS o CPU) y MLXBackend (Apple silicon). Una opción GEPASearch, contribuida por Michael Isaac, agrega búsqueda de población para modelos de decisión.

¿Cómo se compara WeightSpace con otros optimizadores de DSPy?

MétricasWeightSpace (dspy-wsp)ReAnchorBootstrapFinetuneGEPA
Qué cambiaPesos del modeloUmbral de decisión, cortes, pesosPesos del modeloTexto de la promtp
CómoFrontier LLM razona y edita en un entorno de pruebaBúsqueda en cuadrícula sobre probabilidades en cachéAjuste fino de gradientes en trazas de arranqueEvolución reflexiva de la promtp
GradientesNoNoSíNo
Llamadas a LLM durante la optimizaciónSí (escritor, 25 pasos)NingunaMaestro para arranqueSí
Costo típico$5.42 a $7.63 por ejecuciónCasi ceroNo divulgadoNo divulgado
SalidaParche pequeño hashPrograma calibradoModelo ajustadoPrompts optimizados
Fuentedspy-wspCmpndArtículo BetterTogetherArtículo GEPA

Puntos clave

  • La programación de espacio de pesos permite que un LLM de frontera edite pesos directamente, sin gradientes ni datos de entrenamiento.
  • dspy-wsp lo envuelve como un optimizador de DSPy: pip install dspy-wsp, licencia MIT.
  • 25 pasos de escritor cuestan $5.42 a $7.63 y tomaron 78 a 167 minutos.
  • d1-omni-600M aumentó de 50.9% a 69.1% con WeightSpace + ReAnchor.
  • Las ganancias disminuyen en 9B y el paquete es explícitamente experimental.


Revisa el artículo del blog de Cmpnd, el repositorio de GitHub, los resultados completos y la investigación original sobre Programación de espacio de peso. Puedes verificar las opciones de implementación y especificaciones aquí a través de nuestra extensión de chrome de GPULeaderboard.com.

Además, no dudes en seguirnos en Twitter y no te olvides de unirte a nuestro subreddit de ML de 150k+ y suscribirte a nuestro boletín. ¡Espera! ¿Estás en Telegram? ahora también puedes unirte a nosotros en Telegram.

¿Necesitas asociarte con nosotros para promocionar tu repositorio de GitHub o tu página de Hugging Face o lanzamiento de producto o seminario web, etc.? Conéctate con nosotros.

La publicación Cmpnd lanza dspy-wsp: la programación de espacio de peso llega a DSPy apareció por primera vez en MarkTechPost.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.