Hugging Face Transformers v5.23.0をリリース、Inkling2などの新モデルを追加
Hugging FaceはTransformers v5.23.0をリリースした。Thinking Machines LabによるマルチモーダルモデルInkling2 Smallや、決定ヘッドのJEVなどが追加されている。
Hugging FaceはTransformers v5.23.0をリリースした。新しく追加されたInkling2 Smallは、Thinking Machines Labによるテキストと画像を入力しテキストを出力するマルチモーダルモデルである。英語やその他の言語、複数のプログラミング言語での使用を想定している。このモデルの言語バックボーンは48のMixture-of-Expertsデコーダーレイヤーを持ち、各レイヤーは384のエキスパートのうち8つのエキスパートにトークンをルーティングする。総パラメータ数は594B、アクティブなパラメータ数は17Bである。Inklingデコーダーを維持しつつ、ブロックアテンション残差、学習済みシンクを用いたゲート付きアテンション、動的なKV畳み込みが追加されている。画像はPerception EncoderベースのVision Transformerによってエンコードされ、40x40ピクセルのパッチごとに1つの埋め込みとして言語モデルの埋め込みに投影される。
また、JEV(決定ヘッド)も追加された。これはプロンプトの最後のトークンにおける線形レイヤーを用いて、シングルトークンラベルをスコアリングする。JevForDecisionはチェックポイントとヘッドのモデルであり、重みに同梱されているhead.safetensorsとjudge_config.jsonを読み込む。このヘッドはGEVでも使用されており、pplx-deciderとd3の255の回答コードを読み取ることが可能である。実験的な決定パイプライン、またはdecideを通じて直接実行できる。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Transformers ↗