AgenticWorkflowSearchEngine-MCP

About this app

極力スクレイピングに頼らない、ウェブ検索機能です。透明性確保とサイト運営への負荷低減を目的としています。 Playwrightを使用して、 検索窓にワード入力→検索→サイト訪問→ブラウザ標準機能のhtmlダウンロードでメモリに一時保存→余計な情報を削ってMDファイルに→MDをJSONに、という一連の流れを行います。 MCP鯖ですがCLIツールとしても使用可能（コマンドは`aw-se`）です。 Ollamaを使用したローカルLLMによる要約機能も使用可能で、その場合はOllamaの使用をオンにする引数を設定してください。（その分時間はかかります。） 検索ワードだけではなく、検索意図を渡すことで、ローカルLLMが余計な情報を省いて要約してくれます。 また、学術論文などはarXivやPubMedの公式APIを用いることで情報取得を可能にしています。その際はモード変更をしてください。通常ウェブ検索モードとアカデミックモードの2種類があります。 また、リンク先がPDFの場合、PDFからテキストをパースしてMDにする例外処理にしています。 もし、さらに深堀りをさせたい場合は、二次検索機能をオンにすることで、ローカルLLMがワードを考えてもう一度同じ処理をしてくれるようになっています。 検索結果はすべて「artifacts/」フォルダ内に、検索ワードで名前を付けたフォルダを作成しその中にすべて入る設計になっています。また、逆引き用として、CSVファイルによって「ファイル内の〇行目にこの情報がある」という情報をピン止め用に残すようにしています。これにより、無駄に全文を読ませる必要がなくなり、AIのコンテキスト汚染を防ぐようにしています。 ※npmパッケージにしています。ソースコードのダウンロード自体は簡単ですが、MCP鯖として登録する方法は各自で調べてください。ソースコード自体は動作確認済みです。またMCP鯖として動作する場合も、ollama viewerが動作したり、ヘッドレスモードをオフにしているのは仕様です。