Mistral Large 4が登場、1兆パラメータのマルチモーダルMoEモデル

Mistral社は、同社にとって最大かつ最も高性能なモデルとなる「Mistral Large 4 (Le Chonk)」を発表した。このモデルは1兆パラメータを持つネイティブマルチモーダルなMixture-of-Experts（MoE）構成で、1トークンあたり490億個（埋め込みと出力層を含むと520億個）のパラメータがアクティブになる。欧州にあるMistral独自のデータセンター内の3,800基のNVIDIA Grace Blackwell GPUを使用して、ゼロから学習された。

Mistral Large 4は、指示への追従、推論、コーディング、およびエージェントワークフローを単一のウェイトに統合している。汎用モデルであるが、サイバーセキュリティ、金融、法律などのワークロードにおいて特に優れた性能を示すとし、ビジュアルグラウンディングにおいてはフロンティアのクローズドモデルを上回ると同社は主張している。また、欧州連合のすべての公用語を含む160以上の言語においてネイティブな流暢さを備えている。

アーキテクチャ面では、128個のルーティングされたエキスパート（1トークンにつき4個がアクティブ）と1個の共有エキスパートを持つ粒度の細かいMoEを採用しており、コンテキスト長は100万トークンに対応する。入力にはテキストと画像を受け付け、テキストを出力するマルチモーダル機能を備える。ビジョンエンコーダは、さまざまな画像のサイズやアスペクト比を処理できるように訓練されたPixtralスタイルを採用している。さらに、関数呼び出しを伴う指示および推論機能を備え、リクエストごとに推論の努力量を設定することが可能である。