Reka、テキスト・画像・動画・ロボット動作に対応する19Bモデル「Rho-1」を公開
要点
Rekaは、テキスト、画像、動画、ロボット制御アクションを単一のネットワークで処理・生成できる19Bのオムニ推論モデル「Rho-1」を発表した。320基のH100 GPUを用い、約3ヶ月間でゼロから学習されている。
Rekaは、19B（190億）パラメータを持つオムニ推論モデル「Rho-1」をリリースした。このモデルは、テキスト、画像、動画の読み取りと生成、およびロボットのアクション出力を、共有KVキャッシュを介した単一のネットワークで行う。タスクを専門のシステムにルーティングするのではなく、すべてのモダリティを一つの共有コンテキストウィンドウ内でトークンとして実行する。
Rho-1は320基のH100 GPUを使用し、約3ヶ月間でゼロから学習された。現在のトップモデルが必要とする計算量の一部で動作する。また、蒸留されたバリアントでは、約5.3秒のクリップを約1秒で返せる。現在はリサーチプレビュー段階であり、公開されているウェイトはまだない。