DDO Saba

誰でもOllamaのオンライン推論サーバーをホストできるやつです。
持て余してるPCを使って、Ollama経由で推論することができます。
某Googleが提供しているColabを個人でもできるようにしたみたいなものです。

ホストはWindowsならinit_server.bat、それ以外ならinit_server.shを実行することで、必要なものが揃っていればすぐにサーバーを立てることができます。あとはアクセスしたい人にURLを共有すればチャット画面にアクセスできます。（OpenAI API互換です。使用する際は出てきたURLの末尾に/v1を追加してください。）

サーバー側には基本的に情報を送りません。また、チャット履歴やシステムプロンプトのなどのパラメータ設定も残さないようにしています。使いまわしたい場合はJSONをインポート/エクスポートできるようになっているので、ユーザー側で管理してください。

また、トークン使用量などはCSVで記録されます。これにより、もしトークン使用量などでお金を請求したい場合に簡単にチェックが可能です。本パッケージを改造したり、課金導線を作ることは許可しています。その際は各種法令に従って改造してください。私は責任を負いません。