#ローカルLLM

ローカルLLMを使用した翻訳アプリです。GGUFファイルを選択し、翻訳元言語、翻訳先言語を選び、文字を入力してTranslateボタンを押せば、そのモデルが対応している言語なら翻訳してくれます。使用言語はRustとPythonで、Rustで主な処理やGUIを、PythonでLLM周りの処理をしています。 temperatureやtop_p/kのような各種パラメータは勿論、システムプロンプトもアプリ側で変更可能です。翻訳言語の追加やモデル・アプリの設定はconfig.yamlで編集可能です。 フォントを入れないと翻訳しても□□□のようになってしまうので、fontsフォルダにTTFやOTF、またfonts.yamlにて言語とフォントファイルのパスを設定してください。 # fonts.yaml例 ```yaml Japanese: "fonts/NotoSansJP-VariableFont_wght.ttf" English: "fonts/NotoSans-VariableFont_wdth,wght.ttf" ``` また、おまけ程度の機能ですが、TTS（Text to Speech）モデルのKokoro-82Mを使用しています。これにより日本語や英語含む一部言語で音声生成可能です。（長文はトークンで区切り、後からくっつけることで対応しました。）Kokoro-82Mが対応していない言語は、事前ダウンロードこそ必須ですがOS標準の音声読み上げ機能を使用した音声生成をするようにしています。また、Kokoro-82M以外の対応は考えておりません。あくまで音声生成はおまけなのであまり期待はしないでください。 ※名前の3LMはLocalLLMを略しただけです。LLLMなので3LMです。

abmc-ollama https://github.com/DovahkiinYuzuko/abmc-ollama コマンドプロンプトからローカルLLMモデルを開くとき、いちいち ``` ollama list ``` からの ``` ollama run <モデル> ``` の入力が面倒くさかったので、「ちょっと便利に（a bit more convenient）」をモットーに作ったCLIアプリです。Win、Mac、Linuxそれぞれ用のinstaller_(OS).pyを作っているので起動は簡単だと思います。 ``` /abmc-ollama ``` で起動可能です。 ■ 本ツールでできること [1] 実行 / チャット：標準的な対話モード。 [2] モデル追加 (Pull)：新しいモデルを名前入力でダウンロード。 [3] モデル削除 (Remove)：不要なモデルをリストから消去。 [4] ステータス確認 (Status)：VRAM上の稼働状況をチェック。 [5] AI検索チャット：多段RAGチェーンによる自動検索モード。 見て分かる通りコマンド入力が面倒だったので、番号でモデルを選ぶことができるようにしています。AI検索チャットはおまけで、弱いモデルでもそれなりに探してこれるように1モデルで役割分担をさせています。 ■役割分け [1]Planner (計画担当): ユーザーの質問を分析して、解決に最適な検索クエリを最大5つ作成。 [2]Searcher (収集担当): Plannerが作ったクエリを使って、実際にウェブ（BraveやDuckDuckGoなど）を検索。 （APIを入力すれば自分でエンジンは選べます） [3]Extractor (抽出・検証担当):集まった大量のデータから、質問に関係する「事実」だけを抜き出す。日付が古い情報は捨てたり、数値の単位が間違っていないかチェックしたりして、回答の「材料」を厳選する。 [4]Writer (執筆担当):Extractorが選んだ「事実」だけを根拠にして、最終的な回答を書き上げる。AIの勝手な思い込み（ハルシネーション）を抑えて、根拠に基づいた正確な返信を作るアンカー。（すべて防げるわけではありません。） あんまり使えたものではありません。そもそも検索機能はおまけ程度の機能です。ですが、Toolsさえ使うことができるなら4Bモデルでも（精度はともあれ）調べてまとめてきてくれます。１回１回セッションを区切る代わりに、JSONで情報の橋渡しをするようにしています。

主にGGUFのローカルLLMモデルを動かすのに使うllama-cpp-python。 非常に便利ですがセットアップが大変めんどくさいため、これ一つで大体の環境での各々の最適なllama-cpp-pythonのインストールが出来るようになっています。あくまでllama-cpp-pythonのインストールがメインなので、他に必要なファイルは各自で調べて入れてください。 仮想環境作成の是非や、構築後に弱めのモデルをHuggingFaceから一時的（あるいはずっと）にダウンロードして、実際に動くかどうかのテストをする機能もついています。