WebBrain: ブラウザAIが作業自動化

WebBrainは、ChromeとFirefox向けの無料のオープンソースブラウザエージェントです。ページを読み込み、データを抽出し、複数のステップからなるタスクを自動化します。ほとんどのブラウザAIプラグインとは異なり、完全にローカルモデルで実行することもできます。Emre Sokulluによって構築され、MITライセンスの下で提供されています。完全なソースコードはGitHubにあります。エージェントをローカルモデルで実行すれば、ページデータがあなたのマシンから離れることはありません。より多くの機能が必要な場合は、クラウドAPIに接続してください。WebBrainとは？WebBrainはブラウザのサイドパネルに表示されます。ChromeではManifest V3とsidePanel APIを使用し、FirefoxではManifest V2とsidebar_actionを使用します。各タブは独自の会話履歴を保持します。この拡張機能は、既存の認証済みセッション内で動作します。ログインしているアカウントを、あなたが見ているのとまったく同じように認識します。外部にデータを保存せず、テレメトリーやアカウントを追加することもありません。このプラグインは英語、スペイン語、フランス語、トルコ語、中国語で提供されています。初回起動時にブラウザの言語を自動検出します。Askモード、Actモード、そしてアクションが実際にどのように実行されるかWebBrainには2つのモードがあります。Askモードは読み取り専用で、ページを変更することはできません。Actモードは、クリック、入力、スクロール、ナビゲート、ワークフローの実行が可能です。Askモードは通常のcontent scriptsを介してページを読み取ります。Actモードは異なります。chrome.debugger APIを介してChrome DevTools Protocolを通じてページを操作します。これにより、現代のサイトが実際に認識する信頼性の高い入力イベントが生成されます。また、content scriptsでは見ることができないcross-origin iframesやshadow DOMにもアクセスできます。この機能は意図的にスコープが限定されています。WebBrainは、アクションが必要な場合にのみ、タブごとにデバッガーをアタッチします。アタッチ中は、Chromeは標準の「WebBrain started debugging this browser」バナーを表示します。FirefoxにはCDPに相当するものがなく、そのためActモードは著しく機能が劣ります。予測可能性のために温度は固定されています。Actモードは温度0.15を使用します。Askモードは0.3を使用します。専用のビジョンスクリーンショット記述は0を使用します。セキュリティモデルブラウザエージェントは敵対的な表面で実行されます。ウェブページは、エージェントの動作を乗っ取るprompt injectionsを隠すことができます。WebB