Perplexity ha lanzado pplx-embed-v2-late, un par de modelos de incrustación multimodal al estilo Colbert. Vienen en 2 tamaños: 0,6 B para consultas rápidas y económicas y 9 B para obtener la máxima calidad. Ambos modelos recuperan texto, imágenes y páginas PDF renderizadas, y comparten un

¿Es desplegable? Sí, si lo alojas tú mismo. Ambos modelos están en Hugging Face bajo la licencia del MIT. Está previsto alojar un punto final de la API de Perplexity, pero no está activo

TL; DR

El mejor

• El modelo de 0,6 mil millones usa alrededor de 340 millones de parámetros activos para las imágenes y se mantiene cerca de sus rivales de 8 mil millones.
• Se pueden buscar en un índice de 9 000 millones con 0,6 000 millones de consultas, lo que permite recuperar aproximadamente la mitad de la diferencia de calidad de 9 000 millones que presenta el texto con un coste de consulta de 0,6 000 millones.
• Sus vectores simbólicos de 128 dígitos son entre 16 y 32 veces más estrechos que los de sus rivales, de entre 2048 y 4096 dígitos.
• Licencia MIT, con uso comercial permitido.

Lo peor

• Almacena 1 vector por token, por lo que el tamaño del índice aumenta con la longitud del documento.
• No ocupa el puesto #1 en la recuperación de imágenes de VideoRe v3; el EVIE de Tencent obtiene una puntuación más alta.
• Una sola entrada no puede mezclar texto e imágenes.
• Todas las puntuaciones se publican automáticamente y el informe técnico aún no se ha publicado.

Tamaño del modelo y con qué se ejecuta

Perplexity diseñó el modelo de 0,6 GB como un codificador de consultas ligero que también puede ejecutarse en dispositivos periféricos. Ambos modelos de tarjetas muestran el uso de la GPU CUDA. Necesitan transformadores de oración >= 6.0.0 y transformadores >= 5.4.0. Los valores de memoria se calculan en 2 bytes por parámetro, solo para los pesos. Los puntos de control publicados se almacenan en F32, lo que duplica el tamaño de la descarga

Qué tan bien funciona: mejores y peores puntuaciones

Todos los números que aparecen a continuación son del anuncio de Perplexity:

El resultado más sólido: 92,4% en MADQA, establecido por el modelo 9B. El mayor margen se encuentra en BrowseComp+, con 8,7 puntos porcentuales más que el

El resultado más débil: 61,2% en VideoRe v3 Markdown, frente al modelo de 0,6 MB. Sigue siendo la segunda mejor puntuación en ese punto de referencia. La búsqueda de imágenes es la verdadera diferencia: Gemini Embedding 2 supera al modelo 9B en Miracl-Vision y 2 puntos porcentuales en el

Mezcla de tamaños: un índice de 9 000 millones consultado por el modelo de 0,6 000 millones obtuvo una puntuación del 63,5% en la recuperación de imágenes de VideoRe v3. Esta cifra supera al 62,3%, con 0,6 mil millones en ambos lados, con

¿Cómo funciona

Los modelos densos comprimen un documento en un vector. En cambio, pplx-embed-v2-late conserva un vector de 128 dígitos para cada token. Se puntúa con MaxSim: cada token de consulta encuentra su mejor token de documento y esos valores máximos se suman. Las páginas se codifican como imágenes, por lo que no es necesario realizar ningún paso de OCR. Perplexity resumió ambos modelos de un profesor de 18 años que utilizó un entrenamiento a nivel simbólico al estilo LEAF. Esa formación es lo que crea el espacio compartido

Mejores casos de uso

• La mejor opción es la búsqueda visual de documentos en PDF, diapositivas e informes escaneados.
• Búsqueda de baja latencia: indexa en la nube con 9 B y, a continuación, consulta en el dispositivo con 0,6 MB.
• RAG agentic sobre grandes colecciones web o PDF.

Explicador interactivo

Cómo se compara

Conclusiones clave

• El modelo 0.6B se adapta a dispositivos Edge; el modelo 9B está diseñado para ofrecer una calidad de indexación.
• Mejor puntuación: 92,4% en MADQA. El más débil: 61,2% en VideoRe v3 Markdown
.
• Los 0.6 mil millones de consultas sobre un índice de 9 mil millones superaron a los 0.6 mil millones en ambos lados.
• El crecimiento del almacenamiento y las puntuaciones autodeclaradas son las principales advertencias.

Consulte los pesos del modelo en HF y los detalles técnicos. Todo el mérito es del investigador de este proyecto. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro subReddit de más de 150 000 ml y suscribirte a nuestro boletín. ¡Espera! ¿Estás en Telegram? ahora también puedes unirte a nosotros en Telegram.

[Patrocinado] La web es la única API que le falta a la mayoría de los agentes. Las bases de datos, los calendarios y los repositorios tienen API. La web abierta en su mayoría no las tiene. El servidor MCP de TinyFish proporciona a cualquier cliente de MCP cuatro herramientas: TinySearch, TinyFetch (páginas completas en formato Markdown, incluido JavaScript), TinyBrowser para inicios de sesión y formularios y TinyAgent para trabajos de varios pasos. La búsqueda y la búsqueda son

The post Perplexity AI lanza pplx-embed-v2-late: un modelo Edge de 0.6 mil millones y un modelo de 9 mil millones con una puntuación del 92,4% en MADQA appeared first on MarkTechPost.