Hugging Face Transformers v5.23.0 lanzado con nuevas adiciones de modelos, incluyendo Inkling2
Hugging Face lanzó Transformers v5.23.0, que incluye nuevas adiciones de modelos como Inkling2 Small, un modelo multimodal de Thinking Machines Lab, y el cabezal de decisión JEV.
Hugging Face lanzó Transformers v5.23.0. Las nuevas adiciones de modelos incluyen Inkling2 Small, un modelo multimodal de Thinking Machines Lab que acepta entradas de texto e imagen para generar salidas de texto. Está destinado a su uso en inglés y otros idiomas, así como en múltiples lenguajes de programación. Su backbone de lenguaje cuenta con 48 capas de decodificador mixture-of-experts, donde cada capa enruta tokens a 8 de 384 expertos, lo que resulta en 594B de parámetros totales y 17B activos. Mantiene el decodificador Inkling y añade residuales de atención de bloque, atención con compuerta con un sumidero aprendido y convoluciones dinámicas de clave/valor. Las imágenes se codifican mediante un vision transformer basado en Perception Encoder y se proyectan en los embeddings del modelo de lenguaje, con un embedding por cada parche de 40x40 píxeles.
Además, se ha añadido JEV, un cabezal de decisión. Este califica etiquetas de un solo token con una capa lineal en el último token del prompt, con un límite suave como los logits de un cabezal de modelo de lenguaje. JevForDecision es el modelo del checkpoint y su cabezal, que lee los archivos de cabezal head.safetensors y judge_config.json incluidos con los pesos. El mismo cabezal también es utilizado por GEV y lee los 255 códigos de respuesta de pplx-decider y d3, y puede ejecutarse a través del pipeline de decisión experimental o directamente con decide.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Transformers ↗