Yandex presenta Sona: un único recomendador generativo que reemplaza toda la cascada de recomendaciones

La mayoría de los recomendadores de producción son en cascada. Los generadores candidatos alimentan a un preranker, que alimenta a un ranker pesado construido sobre cientos de características de ingeniería. El informe técnico de Sona de Yandex describe un diseño diferente. Sona es un modelo de IA generativa que reúne la generación y clasificación de candidatos en un solo sistema, sustituyendo las múltiples etapas que normalmente se utilizan en los procesos de recomendación. Yandex probó el modelo en un experimento de producción en directo de siete días con sus altavoces inteligentes. En una prueba A/B en línea, sustituyó más de 15 generadores candidatos, la fase previa a la clasificación y la fase de clasificación por un transformador utilizado

¿Qué problema resuelve Sona?

Cascades divide una decisión en modelos entrenados por separado. Cada etapa optimiza su propio objetivo, y el rankeador solo ve lo que dejan pasar las etapas anteriores. La anterior pila de Yandex en la superficie de Yandex Music consumía cientos de funciones, incluidas las señales de Argus, el anterior transformador de recomendaciones de Yandex. Sona sitúa la generación y clasificación de candidatos en torno a una representación de usuarios compartida. El codificador lee el historial del oyente una vez por solicitud. Un decodificador genera candidatos. Un módulo de clasificación los puntúa según los mismos estados del codificador. Ningún componente utiliza funciones diseñadas a mano. Las entradas son campos de eventos registrados (ID de pista, ID de artista, duración, me gusta, tiempo de reproducción, marcas de superficie) e identificadores semánticos aprendidos

En los altavoces inteligentes Yandex, la reproducción puede comenzar sin que el usuario seleccione primero un artista, género o estado de ánimo. El equipo de investigación describe esto como una configuración basada únicamente en la recomendación

Cómo funciona la arquitectura de Sona

1. Tokenizador semántico

Siguiendo la formulación de identificación semántica de Rajput et al. , cada pista se convierte en una tupla de 3 códigos discretos. Un LLM multimodal congelado lee el espectrograma de melación de los primeros 90 segundos junto con el título, los artistas y las etiquetas. Funciona solo en modo de prellenado. Luego, un transformador de refinamiento de 4 capas alinea esas características con el comportamiento de escucha, utilizando InFonce en pares de pistas colaborativos. Residual K-means cuantifica el resultado en 3 libros de códigos de 32 000 entradas cada uno. Esto superó la línea base de audio del CLMR: Recall @1000 pasó

de 0,8111 a 0,8524.

2. Codificador con compresión de historial

Sona asiste a 8.192 eventos pasados. Prestar toda la atención a esa longitud es caro, por lo que el codificador utiliza la profundidad de forma desigual. Los 2.048 eventos recientes tienen una pila de autoatención de 7 capas. Los eventos más antiguos solo pasan por una capa de atención cruzada y por una capa de historial completo. El documento informa que esto mantiene la mayor parte de la calidad de la atención completa a aproximadamente la mitad del costo de la inferencia

3. Módulo decodificador y de clasificación

Un decodificador de 2 capas emite tuplas de identificación semántica mediante una búsqueda de haz restringida con un ancho de 1.024. Un árbol de catálogo bloquea los prefijos no válidos. Cada tupla se expande para incluir todas las pistas que la comparten. El módulo de clasificación, que consta de cuatro capas de atención cruzada, clasifica esas pistas comparándolas con la memoria del codificador compartida

Formación: un profesor que nunca hace envíos

El módulo de clasificación aprende de un clasificador de profesores congelado. El profesor es un transformador de 0,6 B de parámetros, que tampoco cuenta con funciones diseñadas a mano. Se entrena durante un año realizando eventos de interacción en dos etapas: preentrenamiento para predecir el siguiente objeto y, a continuación, ajustar la clasificación con varios jugadores. La eliminación de la fase previa al entrenamiento redujo la precisión de los pares ponderados

de 0,6215 a 0,6153.

El equipo llama a su método de destilación Rollout Distillation. Durante el entrenamiento, el decodificador actual genera haces candidatos. El profesor los puntúa junto con las impresiones registradas. El módulo de clasificación devuelve los puntajes con un error medio absoluto. La pérdida conjunta es L = L_NTP + L_rollout + L_impression. Ambas pérdidas actualizan el codificador compartido. A la hora de servir, el profesor es destituido

La capacitación permanece en línea. Los eventos se acumulan en sesiones durante un período de 15 minutos, alimentan a un entrenador con GPU y cada 10 minutos se reparten nuevos pesos por ración. La latencia de extremo a extremo es de 45 minutos en la mediana y de 60 minutos en el punto 99. El servicio se ejecuta en el servidor de inferencia Triton de NVIDIA con gráficos CUDA y alcanza el 41%

de utilización de los modelos FLOP.

Resultados: Prueba A/B en línea sobre tráfico en vivo

El experimento final duró 7 días con un 15% de usuarios seleccionados al azar por división. Todos los cambios que se indican a continuación son estadísticamente significativos y están relacionados con el control de producción

Usuarios activos (métrica principal): +4,53%
Tiempo total de escucha: +6,30%
Me gusta: +11,42%
Comandos de «repetición»: +17,99%

Usuarios muy comprometidos: +7,37%

Estas ganancias se suman a las mejoras conservadas en las implementaciones anteriores. En cuanto a los usuarios activos, la mejora de Sona es 2,35 veces mayor que el incremento del 1,93% que Argus ofrecía anteriormente

en esta superficie.

Sona, OneRec y HSTU: comparación de funciones

Sona no es el primer recomendador generativo integral en producción. El OneRec de Kuaishou ya ofrece un único modelo de codificador-decodificador. En 2024, los HSTU Generative Recommenders de Meta redefinieron la recomendación como una transducción secuencial de las acciones de los usuarios. Lo que Sona combina es un sistema de clasificación completo en cascada, sin funciones diseñadas a mano y una clasificación resumida, validada

en línea.

ID Sí (ECPO) de un , , , , un , un , ,

Función	Sona (Yandex)	OneRec (Kuaishou)	HSTU GR (Meta)

Domain	Transmisión de música	Vídeo corto	Gran plataforma de Internet, múltiples superficies Un modelo servido reemplaza a la cascada Sí,
en la prueba A/B Sí, alrededor del 25% del QPS	total No, según	se informa como una nueva arquitectura para los modelos de recomendación Las entradas del usuario

Solo campos de eventos registrados, sin funciones diseñadas a mano	Rutas de «ingeniería de funciones multiescala», que incluyen uid, edad, género	Secuencias de acción del usuario (transducción secuencial)
Salida del artículo	semánticos de 3 niveles, 3 x 32 000	ID semánticos de 3 niveles a través de RQ-KMeans
Señal de clasificación	Producida a partir de 0.6 mil millones de profesores Ranker	RL con modelo de recompensa P-Score (ECPO)	Modelo de clasificación HSTU
Aprendizaje por refuerzo	No, totalmente supervisado
	No reportado
Scale informó	historial de 8.192 eventos, 0.6 mil millones de profesores	10 veces más fracasos que el modelo de clasificación anterior	1,5 billones de parámetros
informó de una ganancia en línea	4,53% de usuarios activos, un 6,30% de tiempo de escucha, un 11,42% de me gusta	0,54% y un 1,24% de tiempo de estancia en la aplicación	un 12,4% en las pruebas A/B en línea
Código público o ponderaciones	No	no está en el informe	Sí, GitHub

Fuentes : Sona, OneRec, HSTU. Las ganancias en línea provienen de diferentes plataformas y métricas, por lo que no son directamente comparables

Conclusiones clave

Sona reemplazó más de 15 generadores, clasificándolos previamente y clasificándolos por un modelo servido.
Sin funciones diseñadas a mano: solo los eventos registrados y los identificadores semánticos aprendidos.
Un maestro de 0.6 mil millones entrena al rankeador y luego se queda fuera de servicio.
Prueba A/B: +4,53% de usuarios activos, 2,35 veces la ganancia anterior de Argus.
No se puede implementar externamente: sin código ni ponderaciones, no con tráfico total.

Preguntas frecuentes

¿Qué es Yandex Sona?
Sona es un modelo de IA generativa que combina la generación de candidatos y la clasificación en un solo sistema. Yandex lo probó en un experimento de producción en directo de siete días con sus altavoces inteligentes, en el que sustituyó la línea de recomendaciones multietapa existente para el

grupo de prueba. ¿En qué se diferencia Sona de OneRec?

OneRec utiliza rutas de funciones diseñadas para el usuario y RL

Most production recommenders are cascades. Candidate generators feed a pre-ranker, which feeds a heavy ranker built on hundreds of engineered features. Yandex’s Sona Technical Report describes a different design. Sona is a generative AI model that brings candidate generation and ranking into a single system, replacing the multiple stages typically used in recommendation pipelines. Yandex tested the model in a seven-day live production experiment on its smart speakers. In an online A/B test, it replaced more than 15 candidate generators, the pre-ranking stage, and the ranking stage with one served transformer.

What Problem Does Sona Solve?

Cascades split one decision across separately trained models. Each stage optimizes its own objective, and the ranker only sees what upstream stages let through. Yandex’s previous stack on the Yandex Music surface consumed hundreds of features, including signals from Argus, Yandex’s earlier recommender transformer. Sona puts candidate generation and ranking around one shared user representation. The encoder reads the listener’s history once per request. A decoder generates candidates. A Ranking Module scores them against the same encoder states. No component uses hand-engineered features. Inputs are logged event fields (track ID, artist ID, duration, likes, played time, surface flags) and learned Semantic IDs.

On Yandex smart speakers, playback can begin without the user first selecting an artist, genre, or mood. The research team describes this as a pure-recommendation setting.

How Sona’s Architecture Works

1. Semantic tokenizer

Following the Semantic ID formulation of Rajput et al., every track becomes a tuple of 3 discrete codes. A frozen multimodal LLM reads the mel-spectrogram of the first 90 seconds along with title, artists, and tags. It runs in prefill-only mode. A 4-layer refinement transformer then aligns those features with listening behavior, using InfoNCE on collaborative track pairs. Residual K-means quantizes the result into 3 codebooks of 32,000 entries each. This beat a CLMR audio baseline: Recall@1000 rose from 0.8111 to 0.8524.

2. Encoder with History Compression

Sona attends to 8,192 past events. Full attention over that length is expensive, so the encoder spends depth unevenly. The recent 2,048 events get a 7-layer self-attention stack. Older events pass through cross-attention and 1 full-history layer only. The paper reports this keeps most of the quality of full attention at about half the inference cost.

3. Decoder and Ranking Module

A 2-layer decoder emits Semantic ID tuples through constrained beam search with width 1,024. A catalog trie blocks invalid prefixes. Each tuple expands to every track sharing it. The Ranking Module, which consists of four cross-attention layers, then scores those tracks against the shared encoder memory.

Training: A Teacher That Never Ships

The Ranking Module learns from a frozen Teacher Ranker. The teacher is a 0.6B-parameter transformer, also without hand-engineered features. It is trained on a year of engagement events in 2 stages: next-item-prediction pre-training, then multi-head ranking fine-tuning. Removing pre-training dropped weighted pair accuracy from 0.6215 to 0.6153.

The team calls its distillation method Rollout Distillation. During training, the current decoder generates beam candidates. The teacher scores them, together with logged impressions. The Ranking Module regresses onto those scores with mean absolute error. The joint loss is L = L_NTP + L_rollout + L_impression. Both losses update the shared encoder. At serving time, the teacher is removed.

Training stays online. Events aggregate into sessions over a 15-minute window, feed a GPU trainer, and new weights reach serving every 10 minutes. End-to-end latency is 45 minutes at the median and 60 minutes at p99. Serving runs on NVIDIA Triton Inference Server with CUDA graphs and reaches 41% model FLOPs utilization.

Results: Online A/B Test on Live Traffic

The final experiment ran for 7 days on 15% of randomly selected users per split. Every change below is statistically significant and relative to the production control:

Active Users (primary metric): +4.53%
Total Listening Time: +6.30%
Likes: +11.42%
“Repeat” Commands: +17.99%
Deeply Engaged Users: +7.37%

These gains stack on top of improvements retained from earlier deployments. On Active Users, Sona’s uplift is 2.35x the +1.93% increment Argus previously delivered on this surface.

Sona vs OneRec vs HSTU: Feature Comparison

Sona is not the first end-to-end generative recommender in production. Kuaishou’s OneRec already serves a single encoder-decoder model. Meta’s HSTU Generative Recommenders reframed recommendation as sequential transduction over user actions in 2024. What Sona combines is a full cascade replacement, no hand-engineered features, and a distilled ranker, validated online.

Feature	Sona (Yandex)	OneRec (Kuaishou)	HSTU GR (Meta)
Domain	Music streaming	Short video	Large internet platform, multiple surfaces
One served model replaces the cascade	Yes, in A/B test	Yes, about 25% of total QPS	No, reported as a new architecture for recommendation models
User inputs	Logged event fields only, no hand-engineered features	“Multi-scale feature engineering” pathways, including uid, age, gender	User action sequences (sequential transduction)
Item output	3-level Semantic IDs, 3 x 32,000	3-level Semantic IDs via RQ-Kmeans	Item IDs
Ranking signal	Produced from frozen 0.6B Teacher Ranker	RL with P-Score reward model (ECPO)	HSTU ranking model
Reinforcement learning	No, fully supervised	Yes (ECPO)	Not reported
Scale reported	8,192-event history, 0.6B teacher	10x FLOPs of prior ranking model	1.5 trillion parameters
Reported online gain	+4.53% Active Users, +6.30% listening time, +11.42% likes	+0.54% and +1.24% App Stay Time	+12.4% in online A/B tests
Public code or weights	No	Not in the report	Yes, GitHub

Sources: Sona, OneRec, HSTU. Online gains come from different platforms and metrics, so they are not directly comparable.

Key Takeaways

Sona replaced 15+ generators, pre-ranking, and ranking with 1 served model.
No hand-engineered features: only logged events and learned Semantic IDs.
A 0.6B teacher trains the ranker, then stays out of serving.
A/B test: +4.53% Active Users, 2.35x Argus’s prior gain.
Not deployable externally: no code or weights, not on full traffic.

FAQ

What is Yandex Sona?
Sona is a generative AI model that combines candidate generation and ranking within a single system. Yandex tested it in a seven-day live production experiment on its smart speakers, where it replaced the existing multi-stage recommendation pipeline for the test group.

How is Sona different from OneRec?
OneRec uses engineered user feature pathways and RL with a reward model. Sona uses only logged event fields and distills ranking from a frozen teacher.

Check out the Paper for full details.

The post Yandex Introduces Sona: A Single Generative Recommender That Replaces Entire Recommendation Cascade appeared first on MarkTechPost.

¿Tiene un proyecto de software o plataforma SaaS en mente?

Hable directamente con nuestros arquitectos de software en SoftAndino. Le brindamos asesoría técnica y cotización inmediata sin compromiso.

Chatear por WhatsApp

Tags: news Yandex