クロール4AI

クロール4AI 公式サイトに記載されているように、2種類のMarkdown出力を生成します。Clean Markdownは、見出し、表、コードブロック、引用ヒントなど、正確なページフォーマットを保持します。Fit Markdownは、剪定アルゴリズムまたはBM25関連性スコアリングによるヒューリスティックベースのフィルタリングを適用し、定型文、ナビゲーション、フッターなどの不要な要素を取り除きます。

このデュアル出力は、RAGパイプラインと直接LLM取り込み用に特別に設計されています。ユーザーはカスタム構成を構築することもできます。 マークダウン生成 顧客のパイプライン要件に完全に合致する戦略を策定する。

このツールは、2つの異なる抽出方法を提供します。レイアウトが予測可能なページの場合、CSSとXPathに基づくJsonCssExtractionStrategyは、スキーマ定義を使用して構造化されたJSONを抽出し、LLM呼び出しは一切不要です。

複雑なページや予測不可能なページの場合、LLMExtractionStrategyは任意のLLMプロバイダー（OpenAI、Ollama、DeepSeekなど）に接続し、Pydanticスキーマを使用して完全に構造化されたデータを返します。トピックベース、正規表現、文レベル処理などのチャンキング戦略により、大規模なページも効率的に処理できます。

crawl4ai.com で主力機能として発表されたアダプティブクローリングは、情報探索アルゴリズムと、カバレッジ、一貫性、飽和度を測定する 3 層スコアリングシステムを使用します。サイトのすべてのページをクロールするのではなく、 コンテンツの関連性 各ステップで実行され、信頼度の閾値に達すると自動的に停止します。

統計的手法（高速、無料、用語ベース）と埋め込み手法（クエリ拡張による意味理解）の両方をサポートしています。これにより、過剰なクロールを防ぎ、計算リソースを大幅に節約できます。

v0.8.5で導入された3層構造 アンチボット検出システム 既知のベンダー署名、一般的なブロックインジケーター、および返されたページの構造的整合性をチェックします。ブロックが検出されると、システムはフォールバックフェッチ機能を備えた構成可能なプロキシチェーンを介して自動的に再試行します。実際のユーザーの行動を模倣するステルスモードとv0.7.3からの検出されないブラウザモードを組み合わせることで、Crawl4はAI 保護されたサイトにアクセスするための強力なツールキット。

数千ページに及ぶ大規模なジョブの場合、v0.8.0でリリースされたディープクロール戦略（BFS、DFS、ベストファースト）には、クラッシュからの復旧機能が組み込まれています。on_state_changeコールバックは各URLの後に状態を保持し、resume_stateパラメータを使用すると、障害発生後も正確なチェックポイントから処理を再開できます。

プリフェッチモードでは、Markdownの生成と抽出が完全にスキップされるため、2段階のクローリングワークフローにおいて、URLの検出速度が通常の5～10倍になります。

クロール4AI FastAPIサーバー、JWTトークン認証、リアルタイムシステムメトリクスを表示するリアルタイム監視ダッシュボード、ページ事前ウォーミング機能を備えた3層ブラウザプール（パーマネント、ホット、コールド）を搭載した最適化されたDockerイメージが同梱されています。インタラクティブなプレイグラウンドを使用すると、スクリプトを記述することなく、クロール構成をテストしたり、リクエストコードを生成したりできます。

MCP統合は直接接続します AI Claude Codeなどのツールに対応。AMD64とARM64の自動検出によるマルチアーキテクチャサポートにより、あらゆるクラウドプロバイダーで動作します。