Hugging Face Transformers v5.23.0をリリース、Inkling2などの新モデルを追加

Hugging Face✍ テキスト公開: 出典: Transformers

#Hugging Face

要点

Hugging FaceはTransformers v5.23.0をリリースした。Thinking Machines LabによるマルチモーダルモデルInkling2 Smallや、決定ヘッドのJEVなどが追加されている。

Hugging FaceはTransformers v5.23.0をリリースした。新しく追加されたInkling2 Smallは、Thinking Machines Labによるテキストと画像を入力しテキストを出力するマルチモーダルモデルである。英語やその他の言語、複数のプログラミング言語での使用を想定している。このモデルの言語バックボーンは48のMixture-of-Expertsデコーダーレイヤーを持ち、各レイヤーは384のエキスパートのうち8つのエキスパートにトークンをルーティングする。総パラメータ数は594B、アクティブなパラメータ数は17Bである。Inklingデコーダーを維持しつつ、ブロックアテンション残差、学習済みシンクを用いたゲート付きアテンション、動的なKV畳み込みが追加されている。画像はPerception EncoderベースのVision Transformerによってエンコードされ、40x40ピクセルのパッチごとに1つの埋め込みとして言語モデルの埋め込みに投影される。

また、JEV(決定ヘッド)も追加された。これはプロンプトの最後のトークンにおける線形レイヤーを用いて、シングルトークンラベルをスコアリングする。JevForDecisionはチェックポイントとヘッドのモデルであり、重みに同梱されているhead.safetensorsとjudge_config.jsonを読み込む。このヘッドはGEVでも使用されており、pplx-deciderとd3の255の回答コードを読み取ることが可能である。実験的な決定パイプライン、またはdecideを通じて直接実行できる。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Transformers ↗