公式 Dify プラグイン: marketplace.dify.ai/plugins/langgenius/firecrawlDify チーム公式プラグイン • 17万回以上インストール • Chatflow・Agent アプリ対応 • 無料で利用可能
Dify 連携の概要
チャットフロー・ワークフローアプリ
Firecrawl ノードでデータ抽出用のビジュアルパイプラインを構築
エージェントアプリケーション
AI エージェントが必要に応じてライブのウェブデータをスクレイピング
Dify の Firecrawl ツール
検索
検索
Web を検索し、必要に応じて検索結果をスクレイピングすることで、最新の結果メタデータやページ全体のコンテンツを 1 ステップで取得できます。ユースケース: リサーチアシスタント、競合他社の発見、ライブソースに基づく回答の根拠付け。
スクレイピング
スクレイピング
任意の URL をクリーンな構造化データに変換します。raw HTML を実用的なインサイトに変換します。ユースケース: 商品データの抽出、記事コンテンツのスクレイピング、JSONモードによる構造化データの取得。
クロール
クロール
Web サイトとサブドメインを再帰的にクロールして、大量のコンテンツを収集します。ユースケース: サイト全体のコンテンツ抽出、ドキュメントのスクレイピング、複数ページにわたるデータ収集。
マップ
マップ
Web サイト上のすべての URL を網羅したマップを生成します。ユースケース: サイト構造の分析、SEO 監査、バッチスクレイピング用の URL の検出。
クロールジョブ
クロールジョブ
ジョブ ID を基にスクレイピング結果を取得したり、進行中のタスクをキャンセルしたりできます。ユースケース: 長時間実行されるクロールの監視、非同期スクレイピングワークフローの管理、必要に応じたオペレーションのキャンセル。
モニターを作成
モニターを作成
ターゲットを定期的に再チェックする、スケジュール設定済みのモニターを作成します。ユースケース: 取り込んだデータを最新の状態に保つ、変更履歴の監視、競合他社の追跡。
モニターチェック
モニターチェック
モニターの詳細とチェック結果を取得し、変更があったページにのみ対応できます。ユースケース: ナレッジベースの差分アップデート、変更アラート、後続処理のトリガー。
はじめに
1
Firecrawlプラグインをインストール
Dify Plugin Marketplaceにアクセスし、Firecrawlツールをインストールします
2
Firecrawl APIキーを取得
Firecrawl API Keysにアクセスし、新しいAPIキーを作成します
3
Difyで認可
Plugins > Firecrawl > To Authorizeに移動し、APIキーを入力します
4
ワークフローに追加
FirecrawlツールをChatflow、Workflow、またはAgentアプリケーションにドラッグ＆ドロップします
5
設定とテスト
パラメータを設定し、ワークフローをテストします
使用パターン
- チャットフローアプリ
- ワークフローアプリ
- エージェントアプリ
ビジュアルパイプラインとの連携
- パイプラインにFirecrawlノードを追加
- アクションを選択 (マップ、クロール、スクレイピング)
- 入力変数を定義
- パイプラインを順番に実行
一般的なユースケース
ライブデータ対応の AI チャットボット
ライブの Web サイトコンテンツをスクレイピングして参照する RAG 搭載チャットボットを構築
コンテンツ分析エージェント
複数のソースをスクレイピング・分析してトピックを調査するエージェント
競合他社のモニタリング
競合他社の Web サイトを追跡し、変更時にアラートを送信する自動ワークフロー
データエンリッチメントパイプライン
Web サイトからデータを抽出し、構造化データベースに取り込んで拡充
Firecrawl アクション
ベストプラクティス
エージェントアプリ
- スクレイピングのタイミングはエージェントに判断させる
- 自然言語で指示する
- LLMの設定でツール呼び出しを有効にする
- 大規模なスクレイピングではトークン使用量を監視する
ワークフローアプリ
- 大規模なサイトでは、クロールの前にマップを使用する
- 適切なクロール上限を設定する
- エラーハンドリング用のノードを追加する
- まずは小規模なデータセットでテストする