Crawl4AI

Crawl4AI Resmi sitesinde açıklandığı gibi iki tür Markdown çıktısı üretir. Clean Markdown, başlıklar, tablolar, kod blokları ve alıntı ipuçlarıyla doğru sayfa biçimlendirmesini korur. Fit Markdown ise, gereksiz metinleri, gezinme ve altbilgi karmaşasını gidermek için budama algoritması veya BM25 alaka düzeyi puanlaması yoluyla sezgisel tabanlı filtreleme uygular.

Bu çift çıkış, özellikle RAG işlem hatları ve doğrudan LLM alımı için tasarlanmıştır. Kullanıcılar ayrıca özel yapılandırmalar da oluşturabilirler. Markdown oluşturma İhtiyaç duydukları boru hattı gereksinimlerine tam olarak uyacak stratejiler.

Bu araç iki farklı çıkarma yolu sunar. Öngörülebilir düzenlere sahip sayfalar için, CSS ve XPath tabanlı JsonCssExtractionStrategy, şema tanımlarını kullanarak yapılandırılmış JSON'u çeker ve sıfır LLM çağrısı gerektirir.

Karmaşık veya tahmin edilemeyen sayfalar için, LLMExtractionStrategy herhangi bir LLM sağlayıcısına (OpenAI, Ollama, DeepSeek ve diğerleri) bağlanır ve mükemmel yapılandırılmış veriler döndürmek için Pydantic şemalarını kullanır. Konu tabanlı, düzenli ifade ve cümle düzeyinde işleme dahil olmak üzere öbekleme stratejileri, büyük sayfaları verimli bir şekilde işler.

crawl4ai.com'da amiral gemisi özelliği olarak duyurulan uyarlanabilir tarama, kapsama, tutarlılık ve doygunluğu ölçen üç katmanlı bir puanlama sistemine sahip bilgi arama algoritmaları kullanır. Bir sitedeki her sayfayı taramak yerine, sitenin tamamını değerlendirir. içerik alaka düzeyi Her adımda ilerler ve güven eşiklerine ulaşıldığında otomatik olarak durur.

Hem istatistiksel bir stratejiyi (hızlı, ücretsiz, terim tabanlı) hem de gömme stratejisini (sorgu genişletmesiyle anlamsal anlama) destekler. Bu, aşırı taramayı önler ve önemli ölçüde işlem gücü tasarrufu sağlar.

v0.8.5 sürümünde tanıtılan üç kademeli yapı bot algılama sistemi Bilinen satıcı imzalarını, genel engelleme göstergelerini ve döndürülen sayfaların yapısal bütünlüğünü kontrol eder. Bir engelleme tespit edildiğinde, sistem otomatik olarak yedek alma işlevlerine sahip yapılandırılabilir bir proxy zinciri üzerinden yeniden deneme yapar. Gerçek kullanıcı davranışını taklit eden gizli mod ve v0.7.3'ten itibaren algılanmayan tarayıcı moduyla birleştiğinde, bu Crawl4'e üstünlük sağlar.AI Korumalı sitelere erişim için güçlü bir araç seti.

Binlerce sayfayı kapsayan büyük ölçekli işler için, derin tarama stratejileri (BFS, DFS, En İyi İlk) v0.8.0 sürümünde sunulan yerleşik çökme kurtarma özelliğini içerir. on_state_change geri çağırma işlevi, her URL'den sonra durumu korur ve resume_state parametresi, bir hatadan sonra tam olarak kontrol noktasından devam etmenizi sağlar.

Önceden yükleme modu, Markdown oluşturma ve çıkarma işlemlerini tamamen atlayarak, iki aşamalı tarama iş akışlarında URL keşfini normal hızın 5 ila 10 katı hızda gerçekleştirmeyi sağlar.

Crawl4AI Bu paket, FastAPI sunucusu, JWT token kimlik doğrulaması, canlı sistem metrikleri içeren gerçek zamanlı izleme paneli ve sayfa ön ısıtma özelliğine sahip üç kademeli tarayıcı havuzu (kalıcı, sıcak, soğuk) içeren optimize edilmiş bir Docker imajı sunar. Etkileşimli oyun alanı, ekiplerin komut dosyası yazmadan tarama yapılandırmalarını test etmelerine ve istek kodu oluşturmalarına olanak tanır.

MCP entegrasyonu doğrudan bağlanır AI Claude Code gibi araçlar. Otomatik AMD64 ve ARM64 algılama özelliğiyle çoklu mimari desteği, herhangi bir bulut sağlayıcısında çalışmasını sağlar.