Apify + n8n looja uurimistöövoog: samm-sammult ehitus

Loojate uurimine neelab vaikselt terveid pärastlõunaid. TikToki, YouTube'i ja Instagrami kerimine, vaatamiste arvude kopeerimine tabelisse ja seejärel selle ühe postituse kaotamine, mis tegelikult oluline oli.

Iganädalane loojate uurimistöö postkast hävitab selle rutiini.

Tunnustage näitlejaid kraapige avalikke loojate postitusi ja n8n automatiseerimise töövoog hindab iga postitust, märgistab kõrvalekalded ja küsib AI mudel konksude mustrite märkamiseks.

Seejärel saabub iga nädal samal päeval Gmaili selge kokkuvõte, mis on valmis enne teie esimest kohvijooki.

Allpool on täielik ehitus, sõlm sõlme haaval, näitlejate sisenditest ja kaasamise hindamise loogika et AI sisukokkuvõtted ja veateated. Pole teooriat, vaid süsteem, mida saab kopeerida.

AIMOJO's Kiire kohtuotsus

Apify Actorsi valimine loojaandmete jaoks

Apify pood pakub valmis skreepereid nimega Actors. Kolm neist katavad enamiku loojate uurimisvajadustest ja igaüks neist pakub kuupäevafiltreid, mis aitavad iganädalast tõmmist lihtsustada.

näitleja	Peamised sisestusväljad	Väljundväljad, mida tasub alles hoida
YouTube'i skreeperstriimerid/youtube-scraper	startUrls, maxResults, maxResultsShorts, maxResultStreams, sortVideosBy, vanimPostDate	pealkiri, URL, kuupäev, vaatamiste arv, meeldimised, kommentaaride arv, kanali nimi, tellijate arv
TikToki kaabitskellavärk/tiktok-kaabits	profiilid, tulemused lehekülje kohta, profiilide sortimine, välista kinnitatud postitused, vanim postituse kuupäev ühendatud	tekst, webVideoUrl, createTimeISO, playCount, diggCount, commentCount, shareCount, collectCount, authorMeta.fans
Instagrami kaabitsapify/instagram-scraper	directUrls, resultsType, resultsLimit, onlyPostsNewerThan	pealdis, URL, lühikood, ajatempel, meeldimiste arv, kommentaaride arv, videovaatamiste arv, omaniku kasutajanimi

Siin on olulised mõned detailid. YouTube Scraper's Kuupäevavahemik kehtib ainult kanali URL-idele ja mis tahes tüübipiirangu määramine väärtusele 0 jätab selle vormingu täielikult vahele.

TikTok Scraperi profiilisorteerimine aktsepteerib uusimaid, populaarseimaid või vanimaid. Selle kuupäevafiltrid on osalejate lehel märgitud laetud filtriteks, seega kontrollige seda enne nende lubamist.

Vajad Instagrami jälgijate arvu ja biograafiaid? Lisa Instagram Profile Scraper (apify/instagram-profile-scraper) koos kasutajanimede massiiviga. See tagastab jälgijate arvu, biograafia, kinnitatud ja uusimad postitused.

Transkriptid on valikulised lisad. YouTube Scraper's transkriptsioon ja subtiitrid ning TikToki skreeper's allalaadimise subtiitrite valikud tõmbavad kõneldavaid konksusid, mis teeb AI mustrinoodid on palju teravamad.

N8n ametliku Apify sõlme sees

Apify pakub kinnitatud kogukonnasõlme nimega @apify/n8n-nodes-apify. n8n Cloudis otsi sõlmede paneelilt üles „Apify” ja installi see, eeldusel, et kinnitatud kogukonnasõlmed on administraatori paneelil lubatud.

Ise hostitud n8n-is avage Seaded > Kogukonnasõlmed , kleepige paketi nimi ja installige. Sõlm vajab n8n 1.57.0 või uuemat versiooni.

Ressurss	Saadaval olevad toimingud	Kasuta selles järgus
Näitlejad	Käivita Actor, käivita Actor ja hangi selle andmestik, Web Fetch, hangi uusim täitmine	Peamine kraapimisetapp
Näitleja ülesanded	Ülesande täitmine, ülesande täitmine ja selle andmestiku hankimine	Apify'sse salvestatud puhtamad sisendid
Näitlejate hukkamised	Too üks, too palju, katkesta	Silumine ja puhastamine
Säilitamine	Andmestiku üksuste hankimine, võtme-väärtuse salvestuskirje hankimine	Tõmba tulemused vaikimisiDatasetId järgi
Trigger	Uue Apify sündmuse korral (õnnestus, ebaõnnestus, katkestatud, aegus, ükskõik milline)	Suurte nimekirjade jaoks postkasti jagatud versioon

Autentimine toimib kahel viisil. Apify API identimisandmed võetakse teie API tokenilt Apify konsoolist, samas kui Apify OAuth2 API loob ühenduse ühe klõpsuga ainult n8n Cloudis.

Aktori toiming avaldab ka kohandatud sisendi (JSON), ajalõpu sekundites, mälu megabaitides, ehitussildi ja ootamise lõpetamiseni.

Jäta kohandatud sisend tühjaks ja Actor kasutab oma salvestatud vaikesisendit.

Samm-sammult juhend iganädalase loojate uurimistöö töövoo kohta

1. samm: loojate nimekirja seadistamine Google Sheetsis

Looge nende veergudega leht nimega Loojate nimekiri . Meeskonnakaaslased saavad loojaid otse Sheetsist lisada või peatada ilma n8n-i avamata.

Lisa teine ​​vahekaart nimega Postituste logi . Iga hinnatud postitus kirjutatakse sinna, andes sulle ajaloo paremate lähteandmete loomiseks aja jooksul.

2. samm: salvestage iga skreeper Apify Actori ülesandena

Ava iga Actor Apify konsoolis, määra mõistlikud piirid ja klõpsa nupul „Salvesta uue ülesandena”.

Apify Actori ülesanded salvestavad sisendi koos ajalõpu ja mäluga, nii et n8n pool püsib korras.

Hoia kõik allalaadimise nupud välja lülitatud. Videofailid , kaaned ja avatarid lisavad kaalu, ilma et need uurimistööd aitaksid.

3. samm: ühendage Apify, Google Sheetsi ja Gmaili identimisandmed

Paigalda Apify sõlm ja seejärel lisa n8n-i kolm identimisteavet: Apify API , Google Sheets OAuth2 ja Gmail OAuth2 . Testi igaüht neist enne edasist loomist.

Töövoo keskel olev katkine volitus raiskab andmete kogumise vaeva, seega tasub see kontroll end ära.

4. samm: n8n ajakava käivitaja seadistamine

Lisa ajakava käivitamise sõlm järgmiste sätetega:

Kasld	Väärtus
Päästiku intervall	nädalat
Nädalad käivitajate vahel	1
Käivitus tööpäevadel	Esmaspäev
Käivitus tunnis	7
Käivitus minutil	0

Määrake ajavöönd töövoo sätete all . Ilma selleta kasutab n8n eksemplari ajavööndit ja ise hostitud installide puhul on vaikimisi valitud Ameerika/New York.

Eelistad croni? Kasuta kohandatud (Cron) koos 0 7 * * 1-ga. Mõlemal juhul käivitub n8n ajakava käivitaja alles pärast töövoo salvestamist ja avaldamist.

5. samm: platvormi sisendite loomine koodisõlme abil

Lisa Google Sheetsi sõlm (Hangi rida(d), vahekaart Looja nimekiri) ja seejärel sõlm Koodi. See Koodi sõlm muudab nimekirja read üheks sisendobjektiks platvormi kohta.

const rows = $input.all().map(i => i.json).filter(r => r.active === 'yes');

const since = $now.minus({ days: 7 }).toFormat('yyyy-MM-dd');

const pick = p => rows.filter(r => r.platform === p);

return [{ json: {

  youtube: {

    startUrls: pick('youtube').map(r => ({ url: r.profile_url })),

    maxResults: 15, maxResultsShorts: 15, maxResultStreams: 0,

    sortVideosBy: 'NEWEST', oldestPostDate: since

  },

  tiktok: {

    profiles: pick('tiktok').map(r => r.handle),

    resultsPerPage: 20, profileSorting: 'latest',

    excludePinnedPosts: true, oldestPostDateUnified: since

  },

  instagram: {

    directUrls: pick('instagram').map(r => r.profile_url),

    resultsType: 'posts', resultsLimit: 20, onlyPostsNewerThan: since

  }

}}];

$nüüd on n8n's Sisseehitatud Luxoni kuupäev, nii et seitsmepäevane aken liigub igal nädalal automaatselt edasi. Kuupäeva käsitsi muutmist ei toimu.

6. samm: käivitage kolm Apify aktorit paralleelselt

Harusta Code'i sõlm kolmeks Apify sõlmeks. Vali Actor Tasks'i ressurss koos operatsiooniga, mis käivitab ülesande ja tagastab selle andmestiku elemendid.

Kohandatud sisendi väljal edastage sobiv objekt avaldisena:

{{ JSON.stringify($json.youtube) }}

Korda käskudega $json.tiktok ja $json.instagram. Kohandatud sisend tühistab salvestatud ülesande sisendi, samas kui ajalõpp ja mälu tulevad endiselt ülesandest.

Eelistate kahte eraldi sõlme? Käivitage actor, kui funktsioon „ Oota lõpetamist ” on sisse lülitatud, seejärel lisage „Get dataset” üksused, kasutades funktsiooni {{ $json.defaultDatasetId }}. Mõlemad teed tagastavad identsed andmed.

7. samm: ühenda ja normaliseeri üheks skeemiks

Ühenda kõik kolm Apify sõlme Merge sõlmega, mille väärtuseks on seatud Append. Iga platvorm nimetab välju erinevalt, seega kaardistab Code sõlm need üheks jagatud kujundiks.

const out = [];

for (const { json: p } of $input.all()) {

  if (p.error) continue; // skip failed inputs

  if (p.webVideoUrl) {

    out.push({ platform: 'tiktok', post_id: p.id, creator: p.authorMeta?.name,

      url: p.webVideoUrl, caption: p.text, published: p.createTimeISO,

      views: p.playCount, likes: p.diggCount, comments: p.commentCount,

      shares: p.shareCount });

  } else if (p.shortCode) {

    out.push({ platform: 'instagram', post_id: p.shortCode, creator: p.ownerUsername,

      url: p.url, caption: p.caption, published: p.timestamp,

      views: p.videoViewCount ?? null, likes: p.likesCount,

      comments: p.commentsCount, shares: null });

  } else if (p.viewCount !== undefined) {

    out.push({ platform: 'youtube', post_id: p.id, creator: p.channelName,

      url: p.url, caption: p.title, published: p.date,

      views: p.viewCount, likes: p.likes, comments: p.commentsCount,

      shares: null });

  }

}

return out.map(json => ({ json }));

YouTube Scraper kirjutab kustutatud videote või puuduvate kanalite kohta veateateid. p.error kontroll eemaldab need enne, kui need skoori moonutavad.

8. samm: hinnake iga postitust kõrvalekallete ja kaasatuse matemaatika abil

Toores vaatamiste arv meelitab suuri kontosid. Looja eriskoor võrdleb iga postitust selle looja enda mediaaniga, seega paistab väikese kanali läbimurre silma.

meetriline	Valem	Mida see teile ütleb
Erandväärtus	postituse vaatamisi ÷ looja vaatamiste mediaan	Kui kaugele postitus omaenda baasjoonest ületas
Kaasamise määr	(meeldimised + kommentaarid + jagamised) ÷ vaatamisi × 100	Kui kõvasti vaatajad reageerisid
Instagrami varuvõimalus	postituse meeldimised ÷ looja meeldimiste mediaan	Töötab pildipostituste puhul, millel pole vaatamiste arvu

const items = $input.all().map(i => i.json);

const base = it => it.views || it.likes || 0;

const groups = {};

for (const it of items) (groups[it.creator] ??= []).push(base(it));

const median = a => { const s = [...a].sort((x, y) => x - y), m = Math.floor(s.length / 2);

  return s.length % 2 ? s[m] : (s[m - 1] + s[m]) / 2; };

return items.map(it => {

  const med = median(groups[it.creator]) || 1;

  const eng = it.views ? ((it.likes || 0) + (it.comments || 0) + (it.shares || 0)) / it.views * 100 : null;

  return { json: { ...it, outlier: +(base(it) / med).toFixed(2),

    engagement: eng === null ? null : +eng.toFixed(2) } };

}).sort((a, b) => b.json.outlier - a.json.outlier);

Ühe nädala postitused moodustavad õhukese baasjoone. Mõne nädala pärast loe postituste logi vahekaarti ja arvuta mediaanid hoopis ajaloo põhjal.

9. samm: blokeerige kordused duplikaatide eemaldamise sõlmega

Lisage pärast punktiarvestust sõlm „ Eemalda duplikaadid ”. Määrake toiminguks „Eemalda eelmistes täitmistes töödeldud üksused ” ja „Säilita üksused seal, kus väärtus on uus”.

See püsiv duplikaatide eemaldamine takistab käsitsi uuesti käivitajal samu postitusi kaks korda saatmast. Duplikaatide eemaldamise ajaloo kustutamine lähtestab selle testimise ajal.

10. samm: Lisage AI Mustrianalüüsi kiht

Kasutage Limit-sõlme, et hoida alles 15 populaarseimat postitust, seejärel Aggregate-sõlme, mis on seatud All Item Data'le. See annab kogu partii AI ühe esemena.

Järgmisena lisa lihtne LLM-ahel mis tahes juba kasutatava vestlusmudeliga, näiteks OpenAI, Anthropic või Gemini.

Lülitage sisse valik „Nõua kindlat väljundvormingut“ ja lisage struktureeritud väljundparser.

Sa oled lühivormilise sisu strateeg.

Allpool on selle nädala's JSON-vormingus populaarseimad loojate postitused, järjestatud kõrvalekallete skoori järgi.

Tagasta JSON koos:

– „mustrid”: 3 korduvat konksu või vormingut, millest igaüks viitab postituse URL-idele

– „teemad”: teemad, mis esinevad enam kui 2 võidupostituses

– „ideed”: 3 sisuideed, mida meie meeskond sel nädalal filmida saab

Kasuta ainult andmetest saadud tõendeid. Kui muster on nõrk, siis ütle seda välja.

{{ JSON.stringify($json.data) }}

Ainult subtiitrites jääb puudu kõneinstinkt, mis tavaliselt lühikese video puhul otsustab.'s saatus.

Kui YouTube'i või TikToki ülesandes on transkriptsioon sisse lülitatud, kanna subtiitrite teksti algusread normaliseeritud üksusse.

Kärbi see tekst umbes esimese 300 tähemärgini. Seejärel võrdleb mudel võitjate tegelikke avaridasid ja žetoonide kasutamine jääb väikeseks.

„Kasutage ainult tõendeid” lause on oluline. See hoiab AI sisu mustrianalüüs, mis on ankurdatud päris postitustele, mitte üldisele trendide lobisemisele.

11. samm: koostage HTML-i kokkuvõte ja saatke see Gmaili kaudu

Lõplik koodisõlm paaristab punktiarvestuses punkte AI väljund ja loob e-kirja sisu:

const posts = $('Limit').all().map(i => i.json);

const ai = ('BasicLLMChain').first().json.output;constrows=posts.map(p=>`<tr><td>{p.platform}</td><td>p.creator</td><td><ahref="{p.url}">(p.caption||'').slice(0,70)</a></td><td>{p.outlier}x</td><td>p.engagement??'–'%</td></tr>`).join('');consthtml=`<h2>TopOutliers</h2><tableborder="1"cellpadding="6">{rows}</table>

  <h2>Patterns</h2><ul>${ai.patterns.map(x => `<li>${x}</li>`).join('')}</ul>

  <h2>Ideas</h2><ul>${ai.ideas.map(x => `<li>${x}</li>`).join('')}</ul>`;

return [{ json: { html } }];const items = $input.all().map(i => i.json);

const base = it => it.views || it.likes || 0;

const groups = {};

for (const it of items) (groups[it.creator] ??= []).push(base(it));

const median = a => { const s = [...a].sort((x, y) => x - y), m = Math.floor(s.length / 2);

  return s.length % 2 ? s[m] : (s[m - 1] + s[m]) / 2; };

return items.map(it => {

  const med = median(groups[it.creator]) || 1;

  const eng = it.views ? ((it.likes || 0) + (it.comments || 0) + (it.shares || 0)) / it.views * 100 : null;

  return { json: { ...it, outlier: +(base(it) / med).toFixed(2),

    engagement: eng === null ? null : +eng.toFixed(2) } };

}).sort((a, b) => b.json.outlier - a.json.outlier);

Seejärel lisage Gmaili sõlm nende sätetega:

12. samm: logige postitused Google Sheetsi ja avaldage

Hargneb duplikaatide eemaldamise sõlmest Google Sheetsi sõlme, kasutades postituslogi vahekaardil valikut „Lisa“ või „Värskenda rida“ . Leiab vaste post_id-le, et värskendatud statistika kirjutaks vanemad read üle.

Määrake kaardistamiseks suvand „ Kaardi automaatselt” , kuna normaliseeritud väljanimed vastavad juba veergudele. Käivitage see üks kord käsitsi, kontrollige e-kirja ja seejärel avaldage töövoog.

Apify ajakavade ja sündmuste käivitajatega skaleerimine

Üks ajastatud töövoog sobib paarikümne loojaga nimekirjadele. Sellest kaugemale ulatuvad pikad kraapimistööd hoiavad n8n täitmisprotsesse minutiteks avatud ja üks aeglane platvorm peatab ülejäänud.

Parandus jagab töö mõlema platvormi vahel:

Faktor	Üksik töövoog	Jagatud töövoog
Seadistamise aeg	Kiiremini	Pisut pikemalt
Pikad kraapimistööd	Hukkamine ootab kogu aeg	N8n-is ei ole ootamist
Üks platvorm ebaõnnestub	Võib seedimist blokeerida	Teised ikka maanduvad
Ise majutatud vajaduste	Pole lisa	Avalik WEBHOOK_URL päästikule

Uued Apify ajakavad on algselt keelatud, seega luba need pärast salvestamist. Apify saadab sulle ka e-kirja, kui ajastatud ülesande käivitamine ebaõnnestub.

Kus loojate kraapimine jõuab tegelike piirideni

Iga automatiseerimise esitlus jätab selle osa vahele, seega siin see selgelt on.

Kohtle postkasti kui uurimisassistenti , mitte oraaklit. Milline muster väärib pildistamist, otsustab ikkagi inimene.

Kiired vastused Apify ja n8n loojate uuringute kohta

Järeldus

Loojate uuringud premeerivad seda, kes esimesena mustri märkab. Käsitsi kerimine muudab selle täiskohaga tööks ja enamik meeskondi annab vaikselt mõne nädala pärast alla.

Apify ja n8n annavad selle töö süsteemile.

Poe tegijad hangivad uusi avalikke postitusi, koodisõlmed hindavad neid iga looja suhtes's oma baasjoone ja AI kiht muudab numbrid lühiülesanneteks.

Alusta ühe ajastatud töövooga ja viie loojaga, keda sa juba jälgid. Kui kokkuvõte osutub kasulikuks, laienda nimekirja ja liigu Apify Schedules'i abil jagatud seadistusele üle.

Andke sellele kolm või neli nädalat logitud ajalugu.'s kui erandite tulemused teravnevad ja teie esmaspäevane postkast hakkab ületama iga trendiraportit, mida saaksite osta.