Crawl4AI

Kryp4AI produserer to typer Markdown-utdata som beskrevet på det offisielle nettstedet. Clean Markdown bevarer nøyaktig sideformatering med overskrifter, tabeller, kodeblokker og sitathint. Fit Markdown bruker heuristisk basert filtrering gjennom en beskjæringsalgoritme eller BM25-relevansscoring for å fjerne standardtekst, navigasjon og bunntekststøy.

Denne doble utgangen er spesielt utviklet for RAG-pipelines og direkte LLM-inntak. Brukere kan også bygge tilpassede Generering av avskrivninger strategier for å matche deres eksakte pipelinekrav.

Verktøyet tilbyr to distinkte utvinningsbaner. For sider med forutsigbare oppsett henter den CSS- og XPath-baserte JsonCssExtractionStrategy strukturert JSON ved hjelp av skjemadefinisjoner og krever ingen LLM-kall.

For komplekse eller uforutsigbare sider kobler LLMExtractionStrategy seg til en hvilken som helst LLM-leverandør (OpenAI, Ollama, DeepSeek og andre) og bruker Pydantic-skjemaer for å returnere perfekt strukturerte data. Chunking-strategier, inkludert emnebasert, regex og setningsnivåbehandling, håndterer store sider effektivt.

Adaptiv gjennomsøking, som ble annonsert på crawl4ai.com som en flaggskipfunksjon, bruker informasjonsinnhentingsalgoritmer med et trelags poengsystem som måler dekning, konsistens og metning. I stedet for å gjennomsøke hver side på et nettsted, evaluerer den innholdsrelevans ved hvert trinn og stopper automatisk når konfidensgrensene er nådd.

Den støtter både en statistisk strategi (rask, gratis, termbasert) og en innebyggingsstrategi (semantisk forståelse med spørreutvidelse). Dette forhindrer overcrawling og sparer betydelige dataressurser.

Introdusert i v0.8.5, tre-nivået anti-bot-deteksjonssystem sjekker kjente leverandørsignaturer, generiske blokkindikatorer og strukturell integritet til returnerte sider. Når en blokk oppdages, prøver systemet automatisk på nytt gjennom en konfigurerbar proxykjede med hentingsfunksjoner for reserve. Kombinert med stealth-modus som etterligner reell brukeratferd og den uoppdagede nettlesermodusen fra v0.7.3, gir dette Crawl4AI et sterkt verktøysett for tilgang til beskyttede nettsteder.

For store jobber som strekker seg over tusenvis av sider, inkluderer dypcrawl-strategier (BFS, DFS, Best First) innebygd krasjgjenoppretting som utgitt i v0.8.0. En on_state_change-tilbakekall beholder tilstanden etter hver URL, og resume_state-parameteren lar deg fortsette fra det nøyaktige kontrollpunktet etter en feil.

Forhåndshentingsmodusen hopper over Markdown-generering og -uttrekking fullstendig, noe som muliggjør URL-oppdagelse med 5 til 10 ganger normal hastighet for tofasede kravlearbeidsflyter.

Kryp4AI leverer et optimalisert Docker-bilde med en FastAPI-server, JWT-token-autentisering, et dashbord for sanntidsovervåking med live systemmålinger og et trelags nettleserbasseng (permanent, varm, kald) med forvarming av siden. Den interaktive lekeplassen lar team teste gjennomsøkingskonfigurasjoner og generere forespørselskode uten å skrive skript.

MCP-integrasjon kobles direkte til AI verktøy som Claude Code. Støtte for flere arkitekturer med automatisk AMD64- og ARM64-deteksjon sikrer at den kjører på alle skyleverandører.