Οδηγός Firecrawl: Πώς να τροφοδοτείτε δεδομένα ιστού σε πραγματικό χρόνο AI Πράκτορες

Σας AI Ο πράκτορας έχει ένα πρόβλημα. Γνωρίζει τα πάντα για τον κόσμο, μέχρι την ημέρα που τελείωσε η εκπαίδευσή του. Ρωτήστε τον για έναν ανταγωνιστή.'s σελίδα τιμολόγησης, μια νέα είδηση ​​ή τα έγγραφα μιας βιβλιοθήκης που έστειλε την περασμένη εβδομάδα, και είτε μαντεύει είτε ζητά συγγνώμη.

Η λύση είναι τα δεδομένα ιστού σε πραγματικό χρόνο. Και το 2026, ο ταχύτερος τρόπος για να τα μεταφέρετε σε οποιοδήποτε AI Το σύστημα είναι το Firecrawl.

Χρησιμοποιούμε το Firecrawl σε όλο το δίκτυό μας. Υποστηρίζει την συλλογή δεδομένων στις εφαρμογές παραγωγής μας , τροφοδοτεί τους ερευνητικούς μας πράκτορες και εκτελείται στις ροές εργασίας του WordPress.

Αυτό το σεμινάριο περιλαμβάνει όλα όσα θα θέλαμε να μας είχε δώσει κάποιος την πρώτη μέρα: την εγκατάσταση με ένα κλικ χωρίς κώδικα, τον κώδικα Python και Node, τη δομημένη εξαγωγή, έναν λειτουργικό αγωγό RAG και τα κόλπα κόστους που κρατούν τον λογαριασμό μικρό.

Μηδέν χνούδι. Αφήστε's κατασκευή. 🚀

Τι θα δημιουργήσουμε σε αυτόν τον οδηγό Firecrawl

Μέχρι το τέλος αυτού του σεμιναρίου θα ξέρετε πώς να:

1. Συνδέστε το Firecrawl με το Claude, το ChatGPT ή το Cursor με ένα κλικ (χωρίς καθόλου κώδικα)
2. Αποκόψτε οποιαδήποτε διεύθυνση URL σε καθαρό, έτοιμο για LLM markdown με Python ή Node
3. Ανίχνευση ολόκληρου ιστότοπου σε ένα σύνολο δεδομένων
4. Εξαγωγή δομημένου JSON από ακατάστατες σελίδες χρησιμοποιώντας ένα σχήμα
5. Συνδέστε ζωντανά δεδομένα ιστού σε έναν αγωγό RAG με LangChain ή LlamaIndex
6. Διατηρήστε την χρήση της πίστωσής σας σε χαμηλά επίπεδα

Η μόνη προϋπόθεση είναι ένα κλειδί API Firecrawl. Αυτό το μέρος είναι δωρεάν.

Βήμα 1: Αποκτήστε το Κλειδί API σας (1,000 Δωρεάν Πιστώσεις, Χωρίς Κάρτα) 🔑

Το δωρεάν πρόγραμμα του Firecrawl σας δίνει 1,000 μονάδες κάθε μήνα . Μία μονάδα ισούται με μία σελίδα που έχετε ξύσει, άρα αυτό σημαίνει 1,000 σελίδες μηνιαίως, με ανανέωση για πάντα, χωρίς να απαιτείται πιστωτική κάρτα. Είναι υπεραρκετό για να ολοκληρώσετε ολόκληρο αυτό το σεμινάριο πολλές φορές.

Mojo Pick Firecrawl σας δίνει 1,000 δωρεάν μηνιαίες μονάδες μέσω αυτού του συνδέσμου, καθώς και ενός αυτόματη έκπτωση 10% στην πρώτη σας αναβάθμιση. Η ετήσια χρέωση σας δίνει επίσης περίπου 2 μήνες δωρεάν. Ενεργοποίηση Προσφοράς → Δείτε Τιμολόγηση →

Μόλις βρεθείτε στον πίνακα ελέγχου, αντιγράψτε το κλειδί API σας. Ξεκινά με fc-. Αυτή η συμβολοσειρά είναι το εισιτήριό σας για όλα τα παρακάτω.

Βήμα 2: Η διαδρομή με ένα κλικ (Δεν απαιτείται κωδικός) ⚡

Πριν γράψουμε έστω και μία γραμμή κώδικα, να ξέρετε το εξής: μπορεί να μην χρειαστείτε καμία.

Το Firecrawl εκτελεί έναν επίσημο διακομιστή MCP (Model Context Protocol) και συνδέεται με τον αγαπημένο σας διακομιστή. AI εργαλεία με τον ίδιο τρόπο που θα συνδέατε έναν λογαριασμό Gmail. Ο φιλοξενούμενος διακομιστής βρίσκεται στη διεύθυνση:

https://mcp.firecrawl.dev/v2/mcp

Προσθέστε το κλειδί API σας στη διεύθυνση URL και οποιοδήποτε εργαλείο συμβατό με MCP μπορεί να το χρησιμοποιήσει:

https://mcp.firecrawl.dev/fc-YOUR_API_KEY/v2/mcp

Στο Claude (ιστός ή υπολογιστής): προσθέστε το Firecrawl ως σύνδεσμο ή μεταφέρετέ το στο claude_desktop_config.json:

{
  "mcpServers": {
    "firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "fc-YOUR_API_KEY"
      }
    }
  }
}

Μόλις συνδεθείτε, το δικό σας AI βοηθός αποκτά δέκα νέες ικανότητες: απόξεση, αναζήτηση, ανίχνευση, χαρτογράφηση, εξαγωγή, αλληλεπίδραση, παρακολούθηση, ανάλυση, έρευνα και έναν πλήρως αυτόνομο πράκτορα. Και τα χειρίζεστε όλα αυτά με απλά λόγια.

Δοκιμάστε προτροπές όπως αυτές:

1. Κάντε αναζήτηση από τη διεύθυνση https://competitor.com/pricing και συνοψίστε κάθε σχέδιο σε έναν πίνακα.
2. Ανιχνεύστε τα έγγραφα στη διεύθυνση docs.example.com, έως 50 σελίδες, και εξηγήστε πώς λειτουργεί η εξουσιοδότησή τους.
3. Αναζητήστε στο διαδίκτυο για «καλύτερο» AI γεννήτριες βίντεο 2026” και συγκρίνετε τα 5 κορυφαία αποτελέσματα.

Αυτή είναι η ρύθμιση που χρησιμοποιούν καθημερινά τα μη τεχνικά μέλη της ομάδας μας. Χωρίς τερματικό, χωρίς κώδικα, πραγματικά δεδομένα ιστού σε κάθε συνομιλία. Αν αυτό είναι το μόνο που χρειάζεστε, μπορείτε ειλικρινά να σταματήσετε εδώ. Αλλά αν δημιουργείτε εφαρμογές, το API είναι το σημείο όπου το Firecrawl γίνεται διασκεδαστικό.

Βήμα 3: Αποκόψτε την πρώτη σας σελίδα με το API 🐍

Ώρα για κώδικα. Εγκαταστήστε το SDK:

# Python
pip install firecrawl
# Node.js
npm install firecrawl

Η αποκοπή μιας διεύθυνσης URL διαρκεί τρεις γραμμές. Ορίστε η Python:

από την εισαγωγή firecrawl Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")
doc = firecrawl.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)

Και κόμβος:

import { Firecrawl } from 'firecrawl';
const firecrawl = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });
const doc = await firecrawl.scrape('https://firecrawl.dev', { formats: ['markdown'] });
console.log(doc.markdown);

Εκτελέστε το και δείτε το αποτέλεσμα. Αυτό είναι όλο το κόλπο που κάνει το Firecrawl ξεχωριστό: αυτό που επιστρέφει δεν είναι ακατέργαστη σούπα HTML. Είναι καθαρό markdown με σωστές επικεφαλίδες, λίστες και συνδέσμους, με τις γραμμές πλοήγησης, τα banner cookie, τα scripts και τα junk υποσέλιδα να έχουν ήδη αφαιρεθεί.

Γιατί έχει τόσο μεγάλη σημασία αυτό; Δύο λόγοι. Tokens και ακρίβεια. Η ακατέργαστη HTML από μια τυπική σελίδα μπορεί να έχει 10 φορές το μέγεθος του πραγματικού περιεχομένου της και κάθε junk token κοστίζει χρήματα και αποδυναμώνει το μοντέλο σας.'s προσοχή. Η καθαρή μείωση σημαίνει μικρότερες ερωτήσεις, χαμηλότερους λογαριασμούς LLM και απαντήσεις που βασίζονται στο περιεχόμενο αντί για ακαταστασία.

Μπορείτε επίσης να ζητήσετε άλλες μορφές στην ίδια κλήση: html, στιγμιότυπο οθόνης, συνδέσμους ή δομημένο json. Στοιβάζετε τα όπως απαιτείται:

doc = firecrawl.scrape(
    "https://example.com/blog/post",
    formats=["markdown", "links"]
)

Το Firecrawl αποδίδει την JavaScript από προεπιλογή, επομένως οι ιστότοποι React, οι δυναμικές σελίδες και το περιεχόμενο που αποδίδεται από τον πελάτη επιστρέφουν ολοκληρωμένα. Καμία επιτήρηση από το πρόγραμμα περιήγησης χωρίς κεφαλή από την πλευρά σας.

Βήμα 4: Ανίχνευση ολόκληρου ιστότοπου 🕸️

Μία σελίδα είναι μια επίδειξη. Ένας ολόκληρος ιστότοπος είναι ένα σύνολο δεδομένων.

Το τελικό σημείο ανίχνευσης ακολουθεί συνδέσμους από μια αρχική διεύθυνση URL και συλλέγει όλα όσα βρίσκει, με στοιχεία ελέγχου για βάθος, όρια σελίδας και φίλτρα διαδρομής:

from firecrawl import Firecrawl
from firecrawl.types import ScrapeOptions
firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")
crawl_status = firecrawl.crawl(
    'https://docs.example.com',
    limit=100,
    scrape_options=ScrapeOptions(formats=['markdown']),
    poll_interval=30
)
for page in crawl_status.data:
    print(page.metadata.url)

Έκδοση κόμβου:

const crawlResponse = await firecrawl.crawl('https://docs.example.com', {
  limit: 100,
  scrapeOptions: { formats: ['markdown'] }
});
console.log(`Crawled ${crawlResponse.data.length} pages`);

Το SDK χειρίζεται την ψηφοφορία και την σελιδοποίηση εργασιών για εσάς και επιστρέφει κάθε σελίδα ως καθαρή μείωση. Τρεις παράμετροι που αξίζει να απομνημονεύσετε:

• περιορίσει Σύνολο σελίδων με κεφαλαία. Να το ορίζετε πάντα. Αυτή είναι η ζώνη ασφαλείας σας.
• includePaths / excludePaths Φιλτράρετε τις διευθύνσεις URL με μοτίβα regex. Ανιχνεύετε έναν ιστότοπο εγγράφων; Εξαιρέστε τα /blog/.* και /careers/.* και σταματήστε να πληρώνετε για σελίδες που δεν θα χρησιμοποιήσετε ποτέ.
• maxDiscoveryDepth ελέγχει πόσα link-hops από την αρχική διεύθυνση URL ακολουθεί ο ανιχνευτής.

Επαγγελματική κίνηση: πριν από οποιαδήποτε μεγάλη ανίχνευση, πατήστε πρώτα το τελικό σημείο του Χάρτη . Επιστρέφει κάθε διεύθυνση URL σε έναν ιστότοπο σε λίγα δευτερόλεπτα σχεδόν χωρίς καμία αναφορά. Εύρεση πεδίου εργασίας, μέτρηση σελίδων και, στη συνέχεια, ανίχνευση ακριβώς ό,τι χρειάζεστε.

result = firecrawl.map("https://docs.example.com")
print(f"{len(result.links)} URLs found")

Βήμα 5: Εξαγωγή Δομημένων Δεδομένων με Σχήμα 📊

Το Markdown είναι ιδανικό για RAG. Αλλά μερικές φορές χρειάζεστε πεδία, όχι πρόζα: ονόματα προϊόντων, τιμές, αξιολογήσεις. Αυτό είναι το τελικό σημείο εξαγωγής.'s δουλειά. Περιγράφεις το σχήμα των δεδομένων, Firecrawl's AI το βγάζει από τη σελίδα:

schema = {
    "type": "object",
    "properties": {
        "product_name": {"type": "string"},
        "price": {"type": "string"},
        "rating": {"type": "number"},
        "in_stock": {"type": "boolean"}
    },
    "required": ["product_name", "price"]
}
result = firecrawl.extract(
    urls=["https://example-store.com/product/xyz"],
    prompt="Extract the product details from this page",
    schema=schema
)
print(result.data)

Χωρίς επιλογείς CSS. Χωρίς XPath. Χωρίς αναλυτή που καταστρέφεται τη στιγμή που ο ιστότοπος αλλάζει τη διάταξή του. Εσείς ορίζετε τι θέλετε και η εξαγωγή επιβιώνει από τους επανασχεδιασμούς επειδή κατανοεί το περιεχόμενο, όχι τη σήμανση.

Αυτό ακριβώς το μοτίβο εκτελείται στην παραγωγή στο δίκτυό μας: μία από τις εφαρμογές μας χρησιμοποιεί το Extract για να μετατρέψει τις ακατάστατες σελίδες παρόχων σε μια ομοιόμορφη βάση δεδομένων τιμολόγησης, αυτόματα, βάσει χρονοδιαγράμματος. Το ίδιο σχήμα λειτουργεί σε δεκάδες ιστότοπους με διαφορετικό σχεδιασμό. Δοκιμάστε να το δημιουργήσετε με regex και να μας ενημερώσετε. 😅

Βήμα 6: Δώστε στον πράκτορά σας την επιλογή Αναζήτηση στο Web 🔎

Η απόξεση χειρίζεται διευθύνσεις URL που ήδη γνωρίζετε. Η αναζήτηση χειρίζεται αυτές που δεν γνωρίζετε.

Το τελικό σημείο αναζήτησης του Firecrawl είναι η λειτουργία "sleep" ολόκληρης της πλατφόρμας. Τα περισσότερα API αναζήτησης επιστρέφουν συνδέσμους και ένα απόσπασμα και στη συνέχεια σας αφήνουν να ανακτήσετε και να καθαρίσετε κάθε αποτέλεσμα μόνοι σας. Το Firecrawl επιστρέφει τα αποτελέσματα με το πλήρες περιεχόμενο που έχει συλλεχθεί , με μία κλήση:

results = firecrawl.search(
    query="best open source LLMs 2026",
    limit=5
)

για στοιχείο στο results.web:

    print(item.title, item.url)

Κόμβος, με ενεργοποιημένη την απόξεση περιεχομένου ανά αποτέλεσμα:

const results = await firecrawl.search('best open source LLMs 2026', {
  limit: 5,
  scrapeOptions: { formats: ['markdown'] }
});

Αυτό είναι το δομικό στοιχείο για τους πράκτορες έρευνας . Ο βρόχος είναι απλός: ο πράκτοράς σας σχηματίζει ένα ερώτημα, το Firecrawl επιστρέφει αναγνώσιμο περιεχόμενο από τα κορυφαία αποτελέσματα, το LLM σας συνθέτει μια απάντηση με πηγές. Αυτή είναι μια εις βάθος έρευνα, και μόλις την χτίσατε σε δώδεκα γραμμές.

Σημείωση κόστους: Η αναζήτηση αποδίδει 2 μονάδες ανά 10 αποτελέσματα, συν τις κανονικές μονάδες scrape όταν λαμβάνετε πλήρες περιεχόμενο. Ακόμα είναι δραματικά φθηνότερο από οποιοδήποτε ειδικό API απαντήσεων που έχουμε δοκιμάσει.

Βήμα 7: Συνδέστε το σε έναν αγωγό RAG 🧠

Τώρα το κύριο γεγονός: η σίτιση ενός AI Γνώση του agent live web. Και τα δύο μεγάλα frameworks διαθέτουν φορτωτές Firecrawl πρώτης κατηγορίας.

LangChain:

1. από την εισαγωγή του FireCrawlLoader από το langchain_community.document_loaders
2. από την εισαγωγή του langchain_text_splitters RecursiveCharacterTextSplitter
3. από το langchain_openai εισαγωγή OpenAIEmbeddings
4. από την εισαγωγή FAISS από το langchain_community.vectorstores

# 1. Φόρτωση ολόκληρου του ιστότοπου ως καθαρά έγγραφα

loader = FireCrawlLoader(
    api_key="fc-YOUR_API_KEY",
    url="https://docs.example.com",
    mode="crawl"
)
docs = loader.load()

# 2. Χωρίστε τα σε κομμάτια

splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
chunks = splitter.split_documents(docs)

# 3. Ενσωμάτωση και ευρετηρίαση

vectorstore = FAISS.from_documents(chunks, OpenAIEmbeddings())

# 4. Κάντε ερωτήσεις σε σχέση με τα δεδομένα του ζωντανού ιστού

retriever = vectorstore.as_retriever()
relevant = retriever.invoke("How do I authenticate API requests?")

Δείκτης Λάμα:

• από την εισαγωγή llama_index.readers.web στο FireCrawlWebReader
• από llama_index.core εισαγωγή VectorStoreIndex

reader = FireCrawlWebReader(
    api_key="fc-YOUR_API_KEY",
    mode="crawl",
    url="https://docs.example.com"
)
documents = reader.load_data()
index = VectorStoreIndex.from_documents(documents)
response = index.as_query_engine().query("How does their pricing work?")
print(response)

Αυτή είναι μια ολοκληρωμένη διαδικασία «συνομιλίας με οποιονδήποτε ιστότοπο» σε λιγότερο από 25 γραμμές. Επειδή το Firecrawl δίνει στον φορτωτή καθαρή μείωση τιμών αντί για HTML, τα κομμάτια σας είναι συνεκτικά, οι ενσωματώσεις σας είναι ουσιαστικές και η ποιότητα ανάκτησής σας ανεβαίνει σε σύγκριση με την απλή απόξεση. Αυτός είναι ο σημαντικότερος λόγος για τον οποίο οι κατασκευαστές RAG επιλέγουν το Firecrawl.

Τα ίδια προγράμματα φόρτωσης λειτουργούν με CrewAI, Dify, Flowise και n8n εάν οι οπτικές ροές εργασίας είναι πιο γρήγορες για εσάς.

Μπόνους: Η αρχιτεκτονική εξοικονόμησης κόστους για την οποία κανείς δεν μιλάει 💡

Εδώ είναι το μοτίβο που εξοικονομεί στις εφαρμογές μας πραγματικά χρήματα κάθε μήνα.

Όταν η εφαρμογή σας χρειάζεται απαντήσεις που βασίζονται στο διαδίκτυο, η προφανής οδός είναι ένα LLM με ενσωματωμένη αναζήτηση στο διαδίκτυο . Ωστόσο, οι πάροχοι προσφέρουν την αναζήτηση στο διαδίκτυο ως ένα premium πρόσθετο και τα ειδικά API απαντήσεων γίνονται γρήγορα ακριβά σε μεγάλη κλίμακα.

Η πιο έξυπνη διαίρεση:

Firecrawl (ανάκτηση, ~$0.001/σελίδα) → φθηνό LLM (λόγος, δεν απαιτείται πρόσβαση στο διαδίκτυο)

Το Firecrawl αναζητά και συλλέγει μία ή δύο μονάδες ανά αίτημα. Στη συνέχεια, οποιοδήποτε οικονομικό μοντέλο, το DeepSeek, ένα μικρό GPT ή Claude tier, ή οποιοδήποτε ανοιχτό μοντέλο που εκτελείτε στο δικό σας VPS, κάνει τη σύνοψη και τη σύνταξη αυτού του καθαρού περιεχομένου. Ίδια ποιότητα απάντησης. Ένα κλάσμα του κόστους.

Αυτό λειτουργεί επίσης άψογα για αυτο-φιλοξενούμενες ρυθμίσειςΧρησιμοποιείτε Open WebUI ή άλλο UI συνομιλίας ανοιχτού κώδικα σε VPS; Συνδέστε το Firecrawl ως επίπεδο αναζήτησης και ανίχνευσης ιστού και το αυτοφιλοξενούμενο AI ξαφνικά ζει μια εις βάθος έρευνα όπως τα μεγάλα εμπορικά προϊόντα.

Συμβουλές Κόστους: Κερδίστε 1,000 Δωρεάν Πιστώσεις 🪙

Γρήγορη αναφορά για τη διατήρηση της λιτής χρήσης:

Ενέργειες	Κόστος πίστωσης
Ξύστε / Ανιχνεύστε / Χάρτης / Παρακολουθήστε	1 πίστωση ανά σελίδα
Αναζήτηση	2 μονάδες ανά 10 αποτελέσματα
Αλληλεπίδραση (ενέργειες προγράμματος περιήγησης)	2 μονάδες ανά λεπτό
Λειτουργία Stealth (προστατευμένες τοποθεσίες)	5 μονάδες ανά σελίδα

Πέντε συνήθειες που έχουν σημασία:

1. Χάρτης πριν μπουσουλήσετε. Μάθετε τον αριθμό των σελίδων πριν πληρώσετε.
2. Πάντα ρυθμισμένο περιορίσει σε ανιχνεύσεις. Η προεπιλογή είναι 10,000 σελίδες. Η δωρεάν βαθμίδα σας είναι 1,000. Κάντε τους υπολογισμούς μία φορά, όχι μετά.
3. Χρήση excludePaths επιθετικά. Τα αρχεία ιστολογίου, οι σελίδες ετικετών και οι σελίδες σταδιοδρομίας είναι χωματερές πιστώσεων.
4. Αποθηκεύστε στην προσωρινή μνήμη ό,τι συλλέγετε. Οι ιστότοποι εγγράφων αλλάζουν εβδομαδιαίως, όχι ανά ώρα. Αποθηκεύστε τα αποτελέσματα και ανιχνεύστε ξανά βάσει προγράμματος αντί για ανά αίτημα.
5. Οι πιστώσεις δεν μεταφέρονται, επομένως, αν κάνετε αναβάθμιση, προσαρμόστε το πρόγραμμα στον πραγματικό μηνιαίο όγκο σας. Τα προγράμματα επί πληρωμή ξεκινούν από 16 $/μήνα για 5,000 μονάδες και το βασικό επίπεδο των 83 $ σας προσφέρει 100,000 σελίδες.

Γρήγορες απαντήσεις 🎯

Συμπέρασμα: Ο πράκτοράς σας, τώρα με τα μάτια 👀

Ανακεφαλαίωση όσων μόλις μάθατε:

Το χάσμα μεταξύ ενός AI πράκτορας που μαντεύει και ένας AI Ο πράκτορας που γνωρίζει είναι ένα κλειδί API. Το Firecrawl σας δίνει 1,000 δωρεάν μονάδες το μήνα για να το κλείσετε και κάθε παράδειγμα σε αυτόν τον οδηγό λειτουργεί άνετα εντός αυτού του ορίου.

Έχετε κάποια έκδοση με την υποστήριξη του Firecrawl;
Πείτε μας στα σχόλια. Τα καλύτερα έργα αναγνωστών καταλήγουν να εμφανίζονται στο ενημερωτικό μας δελτίο. ✌️