abmc-ollama

About this app

abmc-ollama https://github.com/DovahkiinYuzuko/abmc-ollama コマンドプロンプトからローカルLLMモデルを開くとき、いちいち ``` ollama list ``` からの ``` ollama run <モデル> ``` の入力が面倒くさかったので、「ちょっと便利に（a bit more convenient）」をモットーに作ったCLIアプリです。Win、Mac、Linuxそれぞれ用のinstaller_(OS).pyを作っているので起動は簡単だと思います。 ``` /abmc-ollama ``` で起動可能です。 ■ 本ツールでできること [1] 実行 / チャット：標準的な対話モード。 [2] モデル追加 (Pull)：新しいモデルを名前入力でダウンロード。 [3] モデル削除 (Remove)：不要なモデルをリストから消去。 [4] ステータス確認 (Status)：VRAM上の稼働状況をチェック。 [5] AI検索チャット：多段RAGチェーンによる自動検索モード。 見て分かる通りコマンド入力が面倒だったので、番号でモデルを選ぶことができるようにしています。AI検索チャットはおまけで、弱いモデルでもそれなりに探してこれるように1モデルで役割分担をさせています。 ■役割分け [1]Planner (計画担当): ユーザーの質問を分析して、解決に最適な検索クエリを最大5つ作成。 [2]Searcher (収集担当): Plannerが作ったクエリを使って、実際にウェブ（BraveやDuckDuckGoなど）を検索。 （APIを入力すれば自分でエンジンは選べます） [3]Extractor (抽出・検証担当):集まった大量のデータから、質問に関係する「事実」だけを抜き出す。日付が古い情報は捨てたり、数値の単位が間違っていないかチェックしたりして、回答の「材料」を厳選する。 [4]Writer (執筆担当):Extractorが選んだ「事実」だけを根拠にして、最終的な回答を書き上げる。AIの勝手な思い込み（ハルシネーション）を抑えて、根拠に基づいた正確な返信を作るアンカー。（すべて防げるわけではありません。） あんまり使えたものではありません。そもそも検索機能はおまけ程度の機能です。ですが、Toolsさえ使うことができるなら4Bモデルでも（精度はともあれ）調べてまとめてきてくれます。１回１回セッションを区切る代わりに、JSONで情報の橋渡しをするようにしています。