Lanzamiento de Mistral Large 4: un modelo MoE multimodal de 1 billón de parámetros

Mistral ha anunciado Mistral Large 4 (Le Chonk), su modelo más grande y capaz hasta la fecha. Se trata de un modelo Mixture-of-Experts (MoE) multimodal nativo de 1 billón de parámetros, con 49 mil millones de parámetros activos por token (52 mil millones incluyendo las capas de embeddings y de salida). Fue entrenado desde cero con 3,800 GPUs NVIDIA Grace Blackwell en los propios centros de datos de Mistral en Europa.

Mistral Large 4 unifica el seguimiento de instrucciones, el razonamiento, la programación y los flujos de trabajo de agentes en un único conjunto de pesos. Aunque es un modelo generalista, la empresa afirma que muestra un rendimiento especialmente bueno en cargas de trabajo como ciberseguridad, finanzas y derecho, y que supera a los modelos cerrados de frontera en grounding visual. Es nativamente fluido en más de 160 idiomas, incluidos todos los idiomas oficiales de la Unión Europea.

Arquitectónicamente, el modelo utiliza un MoE granular con 128 expertos enrutados (4 activos por token) y 1 experto compartido, con una longitud de contexto de 1M. Acepta entradas de texto e imagen con salida de texto. El codificador de visión es de estilo Pixtral, entrenado para manejar tamaños y relaciones de aspecto de imagen variables. También incluye funcionalidades de instrucción y razonamiento con llamadas a funciones, donde el esfuerzo de razonamiento es configurable por solicitud.