Bonsai 8B

超軽量の1bit LLMとして、話題になっているBonsai 8B。

通常、量子化しても8bitとか4bitが中心だったLLMを1bitで量子化したモデルとのこと。8Bすなわち80億パラメータのオープンモデルで、通常なら16GBくらいは必要になるところ、たったの1.15GB。これなら、ノートPCでも動かせそうということで試してみました。

使ってみたのは、

  • CPU : AMD Ryzen7 PRO 7840U
  • GPU : AMD Radeon 780M
  • RAM : 32GB

という環境。まあ、普通のビジネスPCと比べると、ハイパワーではあるものの、所詮はエントリークラスのGPUなので、通常のLLMを動かすのは困難な環境です。

今回、Bonsai 8Bを動かすにあたっては、llama.cppより「Windows x64 (Vulkan)」をダウンロードしました。（Radeonに対応させるため、Vulkan版）

llama.cppと同じディレクトリに、Bonsai 8Bの Bonsai-8B.gguf をダウンロードし、

 llama-server.exe -m Bonsai-8B.gguf -ngl 99 --port 8080
として起動して、ブラウザから http://localhost:8080/ にアクセスして試しました。

WikiPediaの「ハーバーボッシュ法」の冒頭部のテキストを要約させてみると、15秒ほどでこんな要約を生成できました。


速度的には、普段Geminiとかを使っているのと同等な感じ。かなり速いです。タスクマネージャで確認すると、ちゃんとGPUを使って生成していました。なかなかいい感じ。

なお、LLM自体の知識はかなり貧弱なので、素の状態で質問とかをしてもだめです。嘘ばっかりです。（これはわかっていてやった）

あと、マルチモダリティはありませんので、テキスト専用。

それでも、組織内で使うための要約や分類のような用途なら意外と行けるんじゃないかなとも感じました。文章が割と破綻するので、対外的に提供するサービスに使うのはだめだと思います。

もう少し、いろいろ試してみたいですね。

コメント

コメントを投稿

このブログの人気の投稿

Meta Quest 3S をWindowsモニターとして使う

イメージ
先日購入したVRヘッドセット Meta Quest 3S、VR酔いしにくい使い方はないかなと模索中です。 とりあえず、VRChatについては、すごくゆっくり動かすことで酔いにくくなりそう。 で、Meta Quest 3Sでは、 Meta Quest 3/3SをWindowsの仮想マルチモニターにする機能がプレビュー実装 ということで、最近Windowsの仮想モニターとして使えるようになったとのこと。私のも新しいファームウェアになっているので試してみています。というか、今この記事を書いているのも、画面はMeta Quest 3S上。 PCにMeta Quest Linkアプリを入れ、PCとMeta Questを接続したうえで、Meta Questに「Windows App」というアプリをインストール。Windows AppからPCに接続するだけでPCの画面がリモートデスクトップのような形でVR上に表示されます。 VR側で「パススルー」表示にしておくことで、画面以外の部分は現実世界が見えるので、マウスやキーボード操作にも困ることはない感じ。ノートPCに接続しているのですが、ノートの画面よりも大きく表示できるので、大画面モニターになるのがいい！ 難点は、ピント合わせがシビアなこと。Meta Quest 3Sのかぶり方しだいでピントが微妙にずれるので、文字が読みにくくなることがあります。私の場合、プログラム書いたりで使いたいので、文字が読みにくいとちょっと辛い。あとは、どうしても頭が重たい。こればかりはどうしようもないですが。
続きを読む

Chromebookで電子書籍

今回購入したChromebook、LENOVO IdeaPad Duetoですが、もともと古いAndroidタブレットの更新の意味もあって購入したので、電子書籍端末としての利用も想定していました。 普段、文字ものの電子書籍（文芸など）は電子ペーパーのSONY Readerで読んでいるのですが、コミックなどはさすがに厳しいので、タブレットを使っています。とはいえ、もうAndroid 5のタブレットは色々厳しいので、今回のChromebookで代替できるといいなと。 SONY Reader 文字ものの電子書籍は基本的にここで買っているのですが、コミックは少なめなので、もともとタブレットでの利用頻度は若干低い電子書店です。が、まずAndroid版のアプリをインストールしようとしたところ、「お使いのデバイスはこのバージョンには対応していません」とのメッセージが出て、インストールすらできない。😭 そういえば、ブラウザ上からも読めるはずということを思い出して、アクセスしてみたところ、思ったよりもいい感じの読書体験。タッチ操作でのページめくりもスムーズだし、レスポンスも悪くない。 ただ、致命的な欠点としてはブラウザなのでオフラインには対応していないだろうというところ。電子書籍の場合、オフラインでも使いたいので、やっぱりアプリの対応はほしいなあ。 BookLive! これはアプリもバッチリ動作。特に問題なく動作します。普通に使える。 BOOK☆WALKER アプリのインストールはできたので大丈夫かなと思ったのですが、起動したところアプリが落ちて、「Chrome OSはBOOK☆WALKERアプリのサポート対象外です」とのメッセージ。 で、ブラウザで利用してくださいとのこと。残念。 ただ、SONY Reader同様、ブラウザでの読書体験は意外といい感じ。 honto アプリでちゃんと動作しました。 というわけで、もともとChromebookでのAndroidアプリ動作は完全ではないものの、思ったより動かないのが多いなあという印象。残念な結果に。 上でも書いたとおり、電子書籍はオフラインでも使いたいので、ぜひアプリが対応してくれるといいなあ。 あとこれはIdeaPad Duetという機種のいいところなんだけど、画面が自立する端末は、電子書籍ビューアとしての相性がすごくいい。書見台がい...
続きを読む

Linuxでの省電力設定

イメージ
 先日，バッテリーを交換したThinkPad X1 Carbon， 基本バッテリーで運用 バッテリーが減ったら充電 という，スマホと同じような運用をしばらくしていたのですが，やはり，これはこれでバッテリーの充電サイクルが増えるのが気になる。また，バッテリーを100%まで充電することそのものがよくなくて，80%程度までの充電にしておくと，寿命が劇的に伸びるらしい。 結局、ノートパソコンは電源につなぎっぱなしにして良いの？ダメなの？  [lifehacker] 確かに，メーカー製PCだと，満充電させないためのユーティリティがついていることもある。が，実はこのPCはLinux (Linux Mint)を入れて使っているので，Lenovo純正のユーティリティは使えない。 で，調べてみたところ，Linux上でもtlpというソフトを使うことで，自動的に省電力設定を有効にしたり，バッテリーの充電閾値を設定したりできるようなので，インストールしてみた。また，現在の消費電力を確認することができるpowertopというソフトも入れてみた。 powertopはコマンドラインのソフトで，こんな感じ。 で，tlpをインストールし，/etc/tlp.confで， START_CHARGE_THRESH_BAT0=75 STOP_CHARGE_THRESH_BAT0=80 と設定すると，バッテリー残量75%で充電開始し，80%でストップするよう。 また，デフォルトの設定で，バッテリー使用時の消費電力を劇的に減らしてくれる。 とりあえず，これでしばらく使ってみようかな。
続きを読む