Merangkak4AI

Merangkak4AI Menghasilkan dua jenis output Markdown seperti yang dijelaskan di situs resminya. Clean Markdown mempertahankan format halaman yang akurat dengan judul, tabel, blok kode, dan petunjuk kutipan. Fit Markdown menerapkan penyaringan berbasis heuristik melalui algoritma pemangkasan atau penilaian relevansi BM25 untuk menghilangkan teks standar, navigasi, dan informasi tambahan yang tidak perlu.

Output ganda ini dirancang khusus untuk pipeline RAG dan penyerapan LLM langsung. Pengguna juga dapat membangun kustom. Pembuatan Markdown strategi untuk mencocokkan kebutuhan alur kerja mereka secara tepat.

Alat ini menyediakan dua jalur ekstraksi yang berbeda. Untuk halaman dengan tata letak yang dapat diprediksi, JsonCssExtractionStrategy berbasis CSS dan XPath mengambil JSON terstruktur menggunakan definisi skema dan tidak memerlukan panggilan LLM sama sekali.

Untuk halaman yang kompleks atau tidak terduga, LLMExtractionStrategy terhubung ke penyedia LLM apa pun (OpenAI, Ollama, DeepSeek, dan lainnya) dan menggunakan skema Pydantic untuk mengembalikan data yang terstruktur sempurna. Strategi chunking termasuk pemrosesan berbasis topik, regex, dan tingkat kalimat menangani halaman besar secara efisien.

Diumumkan di crawl4ai.com sebagai kemampuan unggulan, perayapan adaptif menggunakan algoritma pencarian informasi dengan sistem penilaian tiga lapis yang mengukur cakupan, konsistensi, dan saturasi. Alih-alih merayap setiap halaman di situs, ia mengevaluasi relevansi konten pada setiap langkah dan berhenti secara otomatis ketika ambang batas kepercayaan terpenuhi.

Sistem ini mendukung strategi statistik (cepat, gratis, berbasis istilah) dan strategi penyematan (pemahaman semantik dengan perluasan kueri). Hal ini mencegah pengindeksan berlebihan dan menghemat sumber daya komputasi secara signifikan.

Diperkenalkan pada versi v0.8.5, tiga tingkatan sistem deteksi anti bot Memeriksa tanda tangan vendor yang dikenal, indikator blok generik, dan integritas struktural halaman yang dikembalikan. Ketika blok terdeteksi, sistem secara otomatis mencoba lagi melalui rantai proxy yang dapat dikonfigurasi dengan fungsi pengambilan cadangan. Dikombinasikan dengan mode siluman yang meniru perilaku pengguna sebenarnya dan mode browser yang tidak terdeteksi dari v0.7.3, ini memberi Crawl4AI seperangkat alat yang andal untuk mengakses situs yang dilindungi.

Untuk pekerjaan skala besar yang mencakup ribuan halaman, strategi perayapan mendalam (BFS, DFS, Best First) menyertakan pemulihan kegagalan bawaan seperti yang dirilis di v0.8.0. Callback on_state_change mempertahankan status setelah setiap URL, dan parameter resume_state memungkinkan Anda untuk melanjutkan dari titik pemeriksaan yang tepat setelah kegagalan.

Mode prefetch sepenuhnya melewati pembuatan dan ekstraksi Markdown, memungkinkan penemuan URL dengan kecepatan 5 hingga 10 kali lebih cepat dari biasanya untuk alur kerja crawling dua fase.

Merangkak4AI Menyediakan image Docker yang dioptimalkan yang menampilkan server FastAPI, otentikasi token JWT, dasbor pemantauan waktu nyata dengan metrik sistem langsung, dan kumpulan browser tiga tingkat (permanen, panas, dingin) dengan pemanasan awal halaman. Playground interaktif memungkinkan tim untuk menguji konfigurasi crawling dan menghasilkan kode permintaan tanpa menulis skrip.

Integrasi MCP terhubung langsung ke AI alat seperti Claude Code. Dukungan multi-arsitektur dengan deteksi AMD64 dan ARM64 otomatis memastikan dapat berjalan di penyedia cloud mana pun.