Hugging Face lanza Transformers v5.21.0 con nuevos modelos, incluyendo MiniCPM-OCR

Hugging Face lanzó Transformers v5.21.0. Las nuevas adiciones de modelos incluyen MiniCPM-OCR, un modelo de comprensión de documentos de la familia MiniCPM-V de OpenBMB. Mantiene la arquitectura MiniCPM-V 4.6, que combina un codificador de visión SigLIP y un fusionador de atención de ventana con un modelo de lenguaje Qwen3.5. Está especializado en la lectura de imágenes con alta densidad de texto, como páginas escaneadas, capturas de pantalla, recibos y tablas.

También se añadió el soporte para Flint, un modelo de lenguaje de mezcla de expertos (MoE) de Recursive. En comparación con un transformador SwiGLU MoE estándar como Qwen3-MoE, Flint utiliza atención híbrida: atención de ventana deslizante con incrustaciones rotativas sobre el token actual y los 512 tokens anteriores en la mayoría de las capas, y atención completa sin codificación posicional en las capas restantes. También cuenta con sumideros de atención (attention sinks) aprendidos, como en GPT-OSS, con consultas y claves normalizadas por RMS por cabeza. Cada capa dispersa enruta un token a 6 de 256 expertos mediante una puntuación sigmoide y añade un experto compartido sin compuerta, mientras que las dos primeras capas son densas.

Además, se incluyó el soporte para UltraVBert. UltraVBert extiende ModernVBert al emparejar el codificador de texto UltraBERT con un codificador de visión SigLIP para la comprensión y recuperación de documentos visuales. Su procesador de imágenes divide cada página en teselas de 512 píxeles más una vista global.