Rastreamento4AI

Crawl4AI O Markdown produz dois tipos de saída, conforme descrito em seu site oficial. O Clean Markdown preserva a formatação precisa da página, incluindo títulos, tabelas, blocos de código e dicas de citação. Já o Fit Markdown aplica filtragem heurística por meio de um algoritmo de poda ou pontuação de relevância BM25 para remover conteúdo repetitivo, navegação e rodapé desnecessários.

Esta saída dupla foi projetada especificamente para pipelines RAG e ingestão direta de LLM. Os usuários também podem criar soluções personalizadas. Geração de Markdown estratégias para atender às suas necessidades exatas de tubulação.

A ferramenta oferece dois caminhos de extração distintos. Para páginas com layouts previsíveis, a estratégia JsonCssExtractionStrategy, baseada em CSS e XPath, extrai JSON estruturado usando definições de esquema e não requer chamadas ao LLM.

Para páginas complexas ou imprevisíveis, a LLMExtractionStrategy se conecta a qualquer provedor de LLM (OpenAI, Ollama, DeepSeek e outros) e usa esquemas Pydantic para retornar dados perfeitamente estruturados. Estratégias de fragmentação, incluindo processamento baseado em tópicos, expressões regulares e nível de sentença, lidam com páginas grandes de forma eficiente.

Anunciado no crawl4ai.com como um recurso principal, o rastreamento adaptativo utiliza algoritmos de busca de informações com um sistema de pontuação de três camadas que mede cobertura, consistência e saturação. Em vez de rastrear todas as páginas de um site, ele avalia relevância do conteúdo em cada etapa e para automaticamente quando os limites de confiança são atingidos.

Ele suporta tanto uma estratégia estatística (rápida, gratuita e baseada em termos) quanto uma estratégia de incorporação (compreensão semântica com expansão de consulta). Isso evita a coleta excessiva de dados e economiza recursos computacionais significativos.

Introduzido na versão 0.8.5, o sistema de três níveis. sistema de detecção anti-robô Verifica assinaturas de fornecedores conhecidos, indicadores genéricos de bloqueio e a integridade estrutural das páginas retornadas. Quando um bloqueio é detectado, o sistema tenta novamente automaticamente por meio de uma cadeia de proxy configurável com funções de busca de fallback. Combinado com o modo furtivo, que imita o comportamento real do usuário, e o modo de navegador indetectável da versão 0.7.3, isso confere ao Crawl4 uma funcionalidade poderosa.AI Um conjunto robusto de ferramentas para acessar sites protegidos.

Para tarefas de grande escala que abrangem milhares de páginas, as estratégias de rastreamento profundo (BFS, DFS, Best First) incluem recuperação de falhas integrada, conforme lançado na versão 0.8.0. Um callback `on_state_change` persiste o estado após cada URL, e o parâmetro `resume_state` permite que você continue exatamente do ponto de verificação após uma falha.

O modo de pré-busca ignora completamente a geração e extração de Markdown, permitindo a descoberta de URLs de 5 a 10 vezes mais rápido que o normal para fluxos de trabalho de rastreamento em duas fases.

Crawl4AI A solução inclui uma imagem Docker otimizada com um servidor FastAPI, autenticação por token JWT, um painel de monitoramento em tempo real com métricas de sistema ao vivo e um pool de navegadores de três níveis (permanente, ativo e inativo) com pré-aquecimento de páginas. O ambiente de testes interativo permite que as equipes testem configurações de rastreamento e gerem código de requisição sem precisar escrever scripts.

A integração MCP conecta-se diretamente a AI Ferramentas como o Claude Code. O suporte a múltiplas arquiteturas com detecção automática de AMD64 e ARM64 garante a execução em qualquer provedor de nuvem.