abmc-ollama

abmc-ollama
https://github.com/DovahkiinYuzuko/abmc-ollama

コマンドプロンプトからローカルLLMモデルを開くとき、いちいち

ollama list

からの

ollama run <モデル>

の入力が面倒くさかったので、「ちょっと便利に（a bit more convenient）」をモットーに作ったCLIアプリです。Win、Mac、Linuxそれぞれ用のinstaller_(OS).pyを作っているので起動は簡単だと思います。

/abmc-ollama

で起動可能です。

■ 本ツールでできること
[1] 実行 / チャット：標準的な対話モード。
[2] モデル追加 (Pull)：新しいモデルを名前入力でダウンロード。
[3] モデル削除 (Remove)：不要なモデルをリストから消去。
[4] ステータス確認 (Status)：VRAM上の稼働状況をチェック。
[5] AI検索チャット：多段RAGチェーンによる自動検索モード。

見て分かる通りコマンド入力が面倒だったので、番号でモデルを選ぶことができるようにしています。AI検索チャットはおまけで、弱いモデルでもそれなりに探してこれるように1モデルで役割分担をさせています。

■役割分け
[1]Planner (計画担当): ユーザーの質問を分析して、解決に最適な検索クエリを最大5つ作成。
[2]Searcher (収集担当): Plannerが作ったクエリを使って、実際にウェブ（BraveやDuckDuckGoなど）を検索。
（APIを入力すれば自分でエンジンは選べます）
[3]Extractor (抽出・検証担当):集まった大量のデータから、質問に関係する「事実」だけを抜き出す。日付が古い情報は捨てたり、数値の単位が間違っていないかチェックしたりして、回答の「材料」を厳選する。
[4]Writer (執筆担当):Extractorが選んだ「事実」だけを根拠にして、最終的な回答を書き上げる。AIの勝手な思い込み（ハルシネーション）を抑えて、根拠に基づいた正確な返信を作るアンカー。（すべて防げるわけではありません。）

あんまり使えたものではありません。そもそも検索機能はおまけ程度の機能です。ですが、Toolsさえ使うことができるなら4Bモデルでも（精度はともあれ）調べてまとめてきてくれます。１回１回セッションを区切る代わりに、JSONで情報の橋渡しをするようにしています。