Bonsai 8B
超軽量の1bit LLMとして、話題になっている Bonsai 8B 。 通常、量子化しても8bitとか4bitが中心だったLLMを1bitで量子化したモデルとのこと。8Bすなわち80億パラメータのオープンモデルで、通常なら16GBくらいは必要になるところ、たったの1.15GB。これなら、ノートPCでも動かせそうということで試してみました。 使ってみたのは、 CPU : AMD Ryzen7 PRO 7840U GPU : AMD Radeon 780M RAM : 32GB という環境。まあ、普通のビジネスPCと比べると、ハイパワーではあるものの、所詮はエントリークラスのGPUなので、通常のLLMを動かすのは困難な環境です。 今回、Bonsai 8Bを動かすにあたっては、 llama.cpp より「Windows x64 (Vulkan)」をダウンロードしました。(Radeonに対応させるため、Vulkan版) llama.cppと同じディレクトリに、Bonsai 8Bの Bonsai-8B.gguf をダウンロードし、 llama-server.exe -m Bonsai-8B.gguf -ngl 99 --port 8080 として起動して、ブラウザから http://localhost:8080/ にアクセスして試しました。 WikiPediaの「ハーバーボッシュ法」の冒頭部のテキストを要約させてみると、15秒ほどでこんな要約を生成できました。 速度的には、普段Geminiとかを使っているのと同等な感じ。かなり速いです。タスクマネージャで確認すると、ちゃんとGPUを使って生成していました。なかなかいい感じ。 なお、LLM自体の知識はかなり貧弱なので、素の状態で質問とかをしてもだめです。嘘ばっかりです。(これはわかっていてやった) あと、マルチモダリティはありませんので、テキスト専用。 それでも、組織内で使うための要約や分類のような用途なら意外と行けるんじゃないかなとも感じました。文章が割と破綻するので、対外的に提供するサービスに使うのはだめだと思います。 もう少し、いろいろ試してみたいですね。