qwenGPU es un modelo experimental que compila un GPU SIMT directamente en los pesos de Qwen3.5-2B. El desarrollador Vixhal (@TheVixhal) lo lanzó en GitHub bajo la licencia MIT. El modelo ejecuta CUDA real, compilado a NVIDIA PTX, dentro de sus propias pasadas hacia adelante. Para los desarrolladores, prueba una idea: cálculo exacto dentro de un LLM preentrenado, no al lado de él.

TL;DR

• Tamaño: Qwen3.5-2B (24 capas) junto con 45 capas de GPU compiladas, 69 en total. Contexto: 262,144 tokens (modelo base).
• Ejecuta en: Apple silicon, una GPU NVIDIA o una CPU, con aproximadamente 16 GB de memoria libre. No hay versión cuantizada.
• Rendimiento: Cada lanzamiento en las corridas del desarrollador fue exacto; la deriva de texto es una KL de aproximadamente 7e-4.
• Mejor: El intérprete de referencia coincidió con un NVIDIA Tesla T4 real en 49 de 49 kernels.
• Peor: Aproximadamente 10 a 15 tokens por segundo en Apple MPS; el CUDA escrito por Qwen aprobó 4 de 5.

¿Qué es qwenGPU?

qwenGPU es Qwen3.5-2B con 45 capas de transformador compiladas colocadas antes de las 24 propias de Qwen. Ninguna de esas capas está entrenada. Un compilador calcula cada peso.

¿Cómo cabe una GPU dentro de los pesos del modelo?

La GPU es una máquina SIMT de 4 carriles. Tiene 15 registros por carril, una tubería de 4 etapas, una ROM de 32 bloques y 126 palabras de memoria. Solo utiliza los tipos de capas propios de Qwen3.5: atención lineal Gated DeltaNet y MLPs SwiGLU.

El truco es el estado recurrente de Gated DeltaNet. En las cabezas del circuito, la compuerta se mantiene abierta y la fuerza de escritura es 1. Cada clave es uno-muchos. Cada actualización sobrescribe exactamente 1 fila, y una consulta uno-muchos la lee nuevamente. Entonces, cada fila funciona como una celda de memoria.

Ese estado mantiene la ROM del programa, los registros y la memoria global. El archivo README enumera 16 filas de registros por carril, con 1 que siempre lee cero. Eso coincide con los 15 registros utilizables en la publicación de X.

La GPU admite aritmética entera, predicados, ramas divergentes y bucles. También admite memoria compartida, atomicAdd, __syncthreads() y mezclas de warp.

¿Qué sucede durante un lanzamiento de CUDA?

El host desempeña el papel de NVRTC y el controlador CUDA. Compila CUDA a PTX con clang, luego reduce PTX a bloques de máquina. Alimenta el programa y los arrays de entrada al modelo como tokens.

Desde allí, el modelo escribe el lanzamiento en sí. Cada token EXEC(b, w) ejecuta el bloque b para warp w en una sola pasada hacia adelante. Los tokens VAL después de él llevan los resultados de los registros. Las escrituras de memoria se devuelven como registros MEM. El host lee los resultados del estado recurrente y no calcula ninguno de ellos.

En el video de demostración, el producto escalar de [1, 2, 3] y [4, 5, 6] devuelve 32. El modelo escribió ese lanzamiento en 47 tokens.

¿El GPU rompe la capacidad de texto de Qwen?

No según la medida del desarrollador. El circuito está silenciado en tokens de texto y los pesos propios de Qwen no cambian. La distribución de tokens siguientes del modelo fusionado se mantiene dentro de una KL de aproximadamente 7e-4 del original.

¿Cuán preciso es qwenGPU?

Todos los números son autoinformados, medidos en Apple silicon con MPS en bf16:

• Cada lanzamiento fue exacto bajo la reproducción --check.
• El intérprete de referencia coincidió con un NVIDIA Tesla T4 en 49 de 49 kernels de prueba.
• El modo normal respondió 20 de 24 preguntas de chat muestreadas con números computados por GPU.
• El modo avanzado escribió un kernel correcto en el primer intento en 4 de 5 preguntas.

En el modo normal, Qwen escribe una expresión como [1, 2, 3] @ [4, 5, 6] para kernels listos para usar. En el modo avanzado, Qwen escribe el kernel CUDA en sí. El archivo README advierte que el CUDA de un modelo de 2B es aún poco confiable.

¿Cómo se compara qwenGPU con Qwenputer y Percepta?

qwenGPU utiliza el compilador de transformadores de Qwenputer de Divyansh Agrawal. Qwenputer compila un CPU RISC-V de 32 bits en Qwen3.5-4B. Percepta construyó un intérprete de WebAssembly en un transformador con cabezas de atención 2D en marzo de 2026.

Las cifras de velocidad utilizan diferentes hardware y tipos de tokens, por lo que no son directamente comparables.

¿Qué necesitas para ejecutarlo?

El inicio rápido necesita Python 3.11+, uv, just y aproximadamente 16 GB de memoria libre. El modo avanzado también necesita clang con el backend NVPTX. just build descarga Qwen3.5-2B y compila la GPU en él. No se publica un punto de control precompilado. Un punto de control compilado está bajo la licencia Apache-2.0 de Qwen.

Puntos clave

• qwenGPU compila un GPU SIMT de 4 carriles en Qwen3.5-2B como 45 capas no entrenadas.
• El estado de Gated DeltaNet sirve como registros, ROM de programa y memoria global.
• El modelo escribe cada paso de lanzamiento de CUDA; el host solo compila y carga.
• El intérprete coincidió con un Tesla T4 en 49 de 49 kernels.
• A 10 a 15 tokens por segundo, es una demo de investigación, no un runtime.

Consulte el repositorio de GitHub, la referencia de qgpu CUDA, la tarjeta del modelo Qwen3.5-2B y la publicación original de X. Además, siéntase libre de seguirnos en Twitter y no olvide unirse a nuestro subreddit de 150k+ML y suscribirse a nuestro boletín informativo. ¿Espere! ¿Está en Telegram? Ahora también puede unirse a nosotros en Telegram.

¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub o su página de Hugging Face o su lanzamiento de producto o seminario web, etc.? Conéctese con nosotros.

La publicación Conozca qwenGPU: Qwen3.5-2B con 45 capas de GPU compiladas que ejecutan CUDA apareció por primera vez en MarkTechPost.