748BのDeepSeekがGPU 1枚でさらに速く！生成は最大約2倍

GitHub上で開発されているLLM推論ソフトウェア「Project Maya」は、10月26日に最新バージョン「v1.1.28」を公開した。

これにより、748BのDeepSeekをGPU 1枚で動作させた際、生成速度が最大で約2倍になると報じられている。巨大なMoEモデルを手元のGPUで動かすためのハードルが、さらに下がることになる。