Crawl4AI

Crawl4AI Es werden zwei Arten von Markdown-Ausgabe erzeugt, wie auf der offiziellen Website beschrieben. Clean Markdown bewahrt die korrekte Seitenformatierung mit Überschriften, Tabellen, Codeblöcken und Zitationshinweisen. Fit Markdown wendet heuristische Filterung mittels eines Pruning-Algorithmus oder BM25-Relevanzbewertung an, um Standardtexte, Navigationselemente und Fußzeilen zu entfernen.

Dieser Dual-Output ist speziell für RAG-Pipelines und die direkte LLM-Datenaufnahme konzipiert. Benutzer können auch benutzerdefinierte Pipelines erstellen. Markdown-Generierung Strategien, die genau auf ihre Pipeline-Anforderungen zugeschnitten sind.

Das Tool bietet zwei unterschiedliche Extraktionspfade. Für Seiten mit vorhersehbarem Layout extrahiert die CSS- und XPath-basierte JsonCssExtractionStrategy strukturiertes JSON mithilfe von Schemadefinitionen und benötigt keine LLM-Aufrufe.

Für komplexe oder unvorhersehbare Seiten verbindet sich die LLMExtractionStrategy mit jedem LLM-Anbieter (OpenAI, Ollama, DeepSeek u. a.) und verwendet Pydantic-Schemas, um perfekt strukturierte Daten zurückzugeben. Chunking-Strategien, darunter themenbasierte, Regex- und satzbasierte Verarbeitung, verarbeiten große Seiten effizient.

Adaptives Crawling, das auf crawl4ai.com als Flaggschifffunktion angekündigt wurde, nutzt Informationssuchalgorithmen mit einem dreistufigen Bewertungssystem, das Abdeckung, Konsistenz und Sättigung misst. Anstatt jede Seite einer Website zu crawlen, bewertet es inhaltliche Relevanz bei jedem Schritt und stoppt automatisch, sobald die Konfidenzschwellenwerte erreicht sind.

Es unterstützt sowohl eine statistische Strategie (schnell, kostenlos, termbasiert) als auch eine Einbettungsstrategie (semantisches Verständnis mit Abfrageerweiterung). Dies verhindert übermäßiges Crawling und spart erhebliche Rechenressourcen.

Das dreistufige System wurde in Version 0.8.5 eingeführt. Anti-Bot-Erkennungssystem Es prüft bekannte Herstellersignaturen, generische Blockindikatoren und die strukturelle Integrität der zurückgegebenen Seiten. Wird eine Blockierung erkannt, versucht das System automatisch, die Seite über eine konfigurierbare Proxy-Kette mit alternativen Abruffunktionen erneut abzurufen. In Kombination mit dem Stealth-Modus, der das Verhalten realer Nutzer simuliert, und dem nicht erkennbaren Browsermodus aus Version 0.7.3 bietet Crawl4 dadurch folgende Vorteile:AI Ein leistungsstarkes Instrumentarium für den Zugriff auf geschützte Bereiche.

Für umfangreiche Suchvorgänge, die Tausende von Seiten umfassen, bieten die Deep-Crawling-Strategien (BFS, DFS, Best First) ab Version 0.8.0 eine integrierte Fehlerbehebung. Ein on_state_change-Callback speichert den Status nach jeder URL, und mit dem Parameter resume_state können Sie nach einem Fehler genau an der Stelle fortfahren, an der Sie sich gerade befinden.

Der Prefetch-Modus überspringt die Markdown-Generierung und -Extraktion vollständig und ermöglicht so die URL-Erkennung mit der 5- bis 10-fachen normalen Geschwindigkeit für zweiphasige Crawling-Workflows.

Crawl4AI Es wird ein optimiertes Docker-Image mit FastAPI-Server, JWT-Token-Authentifizierung, einem Echtzeit-Monitoring-Dashboard mit Live-Systemmetriken und einem dreistufigen Browser-Pool (permanent, heiß, kalt) mit Seitenvorwärmung bereitgestellt. Die interaktive Testumgebung ermöglicht es Teams, Crawling-Konfigurationen zu testen und Anfragecode zu generieren, ohne Skripte schreiben zu müssen.

Die MCP-Integration stellt eine direkte Verbindung her zu AI Tools wie Claude Code. Die Unterstützung mehrerer Architekturen mit automatischer AMD64- und ARM64-Erkennung gewährleistet, dass es bei jedem Cloud-Anbieter läuft.