Hugging Face Transformers v5.21.0をリリース、MiniCPM-OCRなどの新モデルを追加

Hugging FaceはTransformers v5.21.0をリリースした。新しく追加されたMiniCPM-OCRは、OpenBMBのMiniCPM-Vファミリーに属するドキュメント理解モデルである。MiniCPM-V 4.6のアーキテクチャを継承しており、SigLIPビジョンエンコーダーとウィンドウアテンションマージャーをQwen3.5言語モデルと組み合わせている。スキャンされたページ、スクリーンショット、レシート、表などのテキスト密度の高い画像の読み取りに特化している。

また、Recursiveの混合エキスパート（MoE）言語モデルであるFlintのサポートも追加された。Flintは、標準的なSwiGLU MoEトランスフォーマー（Qwen3-MoEなど）と比較して、ハイブリッドアテンションを使用している。これは、ほとんどのレイヤーで現在のトークンと前の512トークンに対して回転埋め込みを用いたスライディングウィンドウアテンションを使用し、残りのレイヤーでは位置エンコーディングなしのフルアテンションを使用する仕組みである。さらに、GPT-OSSと同様に、ヘッドごとにRMS正規化されたクエリとキーを持つ学習済みアテンションシンクを備えている。各スパースレイヤーは、シグモイドスコアによってトークンを256のエキスパートのうち6つにルーティングし、ゲートなしの共有エキスパートを追加する。最初の2つのレイヤーはデンスレイヤーである。

さらに、UltraVBertのサポートも含まれている。UltraVBertはModernVBertを拡張したもので、UltraBERTテキストエンコーダーとSigLIPビジョンエンコーダーを組み合わせることで、視覚的なドキュメント理解と検索を実現する。そのイメージプロセッサは、各ページを512ピクセルのタイルとグローバルビューに分割する。