LFM3-1.7BをVRAM 6GBで動かす：量子化3つとも全層GPU、Q4_K_M・QAD版Q4_0は約152 tok/s
要点
LFM3-1.7B の GGUF 3つ（Q4_K_M・QAD 版 Q4_0・Q8_0）を、画面表示と兼用の VRAM 6GB の GPU で実測した結果です。 llama.cpp（b12005）の llama-server、思考オフ・文脈設定4096 で、3つとも全層が GPU に載りました。生成は Q4_K_M・QAD 版 Q4_0 とも約152 tok/s、Q8_0 は約107 tok/s。
LFM3-1.7Bの3種類のGGUF（Q4_K_M、QAD版Q4_0、Q8_0）について、画面表示と併用している6GBのVRAMを搭載したGPUでの動作検証が行われた。検証にはllama.cpp (b12005) のllama-serverが使用され、思考（thinking）はオフ、文脈設定は4096とした。その結果、3つのモデルすべてにおいて全層がGPUにロードされた。
生成速度については、Q4_K_MおよびQAD版Q4_0が約152 tok/s、Q8_0が約107 tok/sであった。詳細な検証結果として、課題ごとの表やVRAMの推移グラフ、および全問の間違い方に関する情報は、ブログの詳細版に記載されている。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Zenn (LLM) ↗