Crawl4AI

Crawl4AI производи две врсте Markdown излаза као што је описано на његовој званичној веб страници. Clean Markdown чува прецизно форматирање странице са насловима, табелама, блоковима кода и саветима за цитирање. Fit Markdown примењује хеуристичко филтрирање путем алгоритма за скраћивање или BM25 бодовање релевантности како би уклонио шум из шаблона, навигације и подножја.

Овај двоструки излаз је посебно дизајниран за RAG цевоводе и директно LLM уношење. Корисници такође могу да креирају прилагођене Генерисање маркдауна стратегије које одговарају њиховим тачним захтевима цевовода.

Алат пружа две различите путање екстракције. За странице са предвидљивим распоредом, JsonCssExtractionStrategy заснован на CSS-у и XPath-у извлачи структурирани JSON користећи дефиниције шеме и не захтева никакве LLM позиве.

За сложене или непредвидиве странице, LLMExtractionStrategy се повезује са било којим LLM провајдером (OpenAI, Ollama, DeepSeek и други) и користи Pydantic шеме за враћање савршено структурираних података. Стратегије сегментирања, укључујући обраду засновану на темама, регуларним изразима и нивоу реченица, ефикасно обрађују велике странице.

Најављено на crawl4ai.com као водећа могућност, адаптивно индексирање користи алгоритме за прикупљање информација са трослојним системом бодовања који мери покривеност, конзистентност и засићеност. Уместо индексирања сваке странице на сајту, оно процењује релевантност садржаја у сваком кораку и аутоматски се зауставља када се достигну прагови поузданости.

Подржава и статистичку стратегију (брзу, бесплатну, засновану на терминима) и стратегију уграђивања (семантичко разумевање са проширењем упита). Ово спречава прекомерно индексирање и штеди значајне рачунарске ресурсе.

Представљен у верзији 0.8.5, трослојни систем за детекцију против ботова проверава познате потписе добављача, генеричке индикаторе блокова и структурни интегритет враћених страница. Када се открије блок, систем аутоматски покушава поново кроз конфигурабилни прокси ланац са резервним функцијама преузимања. У комбинацији са скривеним режимом који опонаша понашање стварног корисника и неоткривеним режимом прегледача из верзије 0.7.3, ово даје Crawl4AI снажан алат за приступ заштићеним сајтовима.

За велике послове који обухватају хиљаде страница, стратегије дубинског претраживања (BFS, DFS, Best First) укључују уграђени опоравак од пада како је објављено у верзији 0.8.0. Повратна функција on_state_change опстаје након сваког URL-а, а параметар resume_state вам омогућава да наставите од тачне контролне тачке након квара.

Режим претходног учитавања у потпуности прескаче генерисање и екстракцију Markdown-а, омогућавајући откривање URL-ова 5 до 10 пута брже од нормалне брзине за двофазне токове рада индексирања.

Crawl4AI Испоручује оптимизовану Docker слику са FastAPI сервером, JWT токен аутентификацијом, контролном таблом за праћење у реалном времену са метрикама система уживо и трослојним пулом прегледача (перманентни, врући, хладни) са претходним загревањем страница. Интерактивно игралиште омогућава тимовима да тестирају конфигурације претраживања и генеришу код захтева без писања скрипти.

MCP интеграција се директно повезује са AI алати као што је Claude Code. Подршка за више архитектура са аутоматским откривањем AMD64 и ARM64 осигурава да ради на било ком провајдеру услуга у облаку.