Crawl4AI

Crawl4AI Según se describe en su sitio web oficial, Markdown genera dos tipos de salida. Clean Markdown conserva el formato original de la página, incluyendo encabezados, tablas, bloques de código y sugerencias de citas. Fit Markdown aplica un filtrado heurístico mediante un algoritmo de poda o la puntuación de relevancia BM25 para eliminar texto repetitivo, navegación y elementos innecesarios del pie de página.

Esta salida dual está diseñada específicamente para canalizaciones RAG e ingesta directa de LLM. Los usuarios también pueden crear configuraciones personalizadas. Generación de rebajas estrategias que se ajusten a sus necesidades específicas de producción.

La herramienta ofrece dos rutas de extracción distintas. Para páginas con diseños predecibles, la estrategia JsonCssExtractionStrategy, basada en CSS y XPath, extrae JSON estructurado mediante definiciones de esquema y no requiere llamadas a LLM.

Para páginas complejas o impredecibles, la estrategia LLMExtractionStrategy se conecta a cualquier proveedor de LLM (OpenAI, Ollama, DeepSeek y otros) y utiliza esquemas Pydantic para devolver datos perfectamente estructurados. Las estrategias de segmentación, que incluyen procesamiento por temas, expresiones regulares y a nivel de oración, gestionan páginas extensas de manera eficiente.

Anunciado en crawl4ai.com como una capacidad insignia, el rastreo adaptativo utiliza algoritmos de búsqueda de información con un sistema de puntuación de tres capas que mide la cobertura, la consistencia y la saturación. En lugar de rastrear cada página de un sitio, evalúa relevancia del contenido en cada paso y se detiene automáticamente cuando se alcanzan los umbrales de confianza.

Admite tanto una estrategia estadística (rápida, gratuita y basada en términos) como una estrategia de incrustación (comprensión semántica con expansión de consultas). Esto evita el rastreo excesivo y ahorra importantes recursos computacionales.

Introducido en la versión 0.8.5, el sistema de tres niveles sistema de detección antibot Comprueba las firmas de proveedores conocidos, los indicadores de bloqueo genéricos y la integridad estructural de las páginas devueltas. Cuando se detecta un bloqueo, el sistema reintenta automáticamente a través de una cadena de proxy configurable con funciones de recuperación de reserva. Combinado con el modo sigiloso que imita el comportamiento de un usuario real y el modo de navegador no detectado de la versión 0.7.3, esto proporciona Crawl4AI Un conjunto de herramientas muy completo para acceder a sitios protegidos.

Para trabajos a gran escala que abarcan miles de páginas, las estrategias de rastreo profundo (BFS, DFS, Best First) incluyen recuperación de fallos integrada, tal como se implementó en la versión 0.8.0. Una función de devolución de llamada on_state_change conserva el estado después de cada URL, y el parámetro resume_state permite continuar desde el punto de control exacto después de un fallo.

El modo de precarga omite por completo la generación y extracción de Markdown, lo que permite el descubrimiento de URL a una velocidad entre 5 y 10 veces superior a la normal para flujos de trabajo de rastreo en dos fases.

Crawl4AI Incluye una imagen Docker optimizada con un servidor FastAPI, autenticación mediante token JWT, un panel de control de monitorización en tiempo real con métricas del sistema en directo y un grupo de navegadores de tres niveles (permanente, activo y pasivo) con precalentamiento de páginas. El entorno interactivo permite a los equipos probar configuraciones de rastreo y generar código de solicitud sin necesidad de escribir scripts.

La integración de MCP se conecta directamente a AI Herramientas como Claude Code. La compatibilidad con múltiples arquitecturas y la detección automática de AMD64 y ARM64 garantizan su funcionamiento en cualquier proveedor de nube.