Konec oglasov, začetek pay-per-crawl: kako AI agenti spreminjajo monetizacijo spletnih strani

Skoraj tri desetletja je splet deloval po preprosti pogodbi: vsebino daš zastonj, obiskovalec vidi oglas, ti dobiš plačilo za oglas. Ta pogodba zdaj razpada. Vse več "obiskovalcev" ni ljudi, ampak AI agentov – ChatGPT, Perplexity, Claude in Google AI Overviews – ki preberejo tvojo vsebino, jo povzamejo in uporabniku postrežejo odgovor. Nekdo prebere tvoj članek, a oglasa ne vidi nihče. Cloudflare je julija 2025 predstavil model, ki na ta problem odgovarja neposredno: Pay Per Crawl.

TL;DR: Pay Per Crawl je mehanizem, kjer lastnik spletne strani AI crawlerjem zaračuna dostop do vsebine – vsak zahtevek se bodisi plača, bodisi zavrne, bodisi dovoli zastonj. Za medije in velike vsebinske portale je to nov vir prihodka. Za tipično slovensko podjetje pa je pomembnejši drug del zgodbe: nadzor nad tem, kdo dostopa do tvoje vsebine, in premik metrike uspeha z "klikov" na "citate".

Zakaj stari model odpoveduje

Oglasni model in klasična SEO sta temeljila na eni predpostavki: da vsebino prebere človek, ki potem nekaj naredi – klikne oglas, se prijavi, kupi. AI iskalniki to verigo prekinejo na sredini.

Ko nekdo vpraša ChatGPT "kateri je najboljši ponudnik X v Sloveniji", model prebere deset strani, sestavi odgovor in navede morda tri vire. Uporabnik dobi odgovor, ne da bi obiskal katero koli od teh strani. Rezultat:

• Manj klikov, manj prikazov oglasov. Analize kažejo, da je organski CTR za informacijske poizvedbe tam, kjer se prikaže AI povzetek, padel za 30–60 %. Oglasni prihodek pade sorazmerno.
• Vsebina se uporablja, ne da bi bila plačana. AI podjetja tvojo vsebino "scrapajo" za trening in za sprotne odgovore. Doslej v obeh smereh brez nadomestila.
• Robots.txt je bil vljudnostna prošnja, ne zid. Klasični robots.txt samo pove crawlerju, kaj naj ne počne – tehnično ga nič ne ustavi.

Prav zadnja točka je razlog, da se je pojavil nov sloj infrastrukture.

Kaj je Cloudflare Pay Per Crawl

Ker gre skozi omrežje Cloudflara velik del svetovnega prometa, je podjetje v posebnem položaju: lahko na ravni omrežja prepozna AI crawlerje in odloči, kaj se z njimi zgodi. Pay Per Crawl na tem temelji.

Model deluje takole:

1. Identifikacija. Cloudflare prepozna znane AI crawlerje (GPTBot, ClaudeBot, PerplexityBot, Google-Extended in podobne) prek podpisov in preverjenih identitet.
2. Odločitev na zahtevek. Za vsak dostop lahko lastnik strani izbere tri možnosti: dovoli (zastonj), zaračunaj (crawler mora plačati določeno ceno, sicer dobi odgovor HTTP 402 Payment Required) ali blokiraj.
3. Poravnava. Cloudflare deluje kot posrednik – zbere plačila od AI podjetij in jih nakaže lastnikom vsebine, brez da bi vsak sklepal ločene pogodbe.

Ključna novost je oživitev statusne kode HTTP 402 "Payment Required" – dela HTTP standarda, ki je bil od nekdaj rezerviran, a praktično nikoli uporabljen. Zdaj dobiva namen: cenik za strojni dostop do vsebine.

Poleg tega je Cloudflare uvedel še Content Signals Policy – razširitev robots.txt, kjer ločeno določiš, ali smejo tvojo vsebino uporabiti za trening modelov, za sprotne AI odgovore (inference/search) ali za oboje. To je pomembno, ker so to različne stvari: morda želiš biti citiran v ChatGPT odgovorih (to ti prinese vidnost), ne pa da tvoja vsebina konča v treningu modela brez nadomestila.

Komu pay-per-crawl dejansko koristi – in komu ne

Tu je treba biti pošten, ker naslovi tipa "konec oglasov, zdaj plačujejo AI-ji" zvenijo bolje, kot je resnica za večino podjetij.

Pay Per Crawl je smiseln kot vir prihodka, če:

• imaš veliko izvirne vsebine, ki jo AI-ji radi uporabljajo (mediji, založniki, baze podatkov, obsežni strokovni portali);
• ti je vsebina sama po sebi produkt, ne pa lijak do prodaje nečesa drugega;
• imaš dovolj prometa AI crawlerjev, da drobni zneski na zahtevek sploh nanesejo smiselno vsoto.

Pay Per Crawl NI tvoj vir prihodka, če si tipično slovensko podjetje – hotel, obrtnik, B2B storitev, spletna trgovina, agencija. Tvoja spletna stran ni produkt, ampak orodje, ki pripelje stranko. Za tebe je cilj ravno nasproten: hočeš, da te AI-ji preberejo in citirajo, ker citat v ChatGPT odgovoru je nova oblika priporočila. Če AI crawlerja zaračunaš ali blokiraš, se lahko preprosto zgodi, da izgineš iz odgovorov – in s tem iz vidnosti mlajših generacij, ki ne odpirajo več Googla.

Za to skupino je prava vrednost novih orodij nadzor, ne zaslužek:

• Selektivno dovoli tiste AI-je, ki ti prinašajo obisk (npr. Perplexity in ChatGPT search, ki dejansko pošiljata uporabnike naprej).
• Blokiraj tiste, ki te samo scrapajo za trening brez povratne vrednosti, če to zate ni sprejemljivo.
• Zaščiti vsebino, ki je res konkurenčna prednost (cenik, metodologija, baze), a ostani odprt za tisto, kar te dela vidnega.

Nova ekonomija obiska: citati namesto klikov

Globlji premik, ki ga Pay Per Crawl samo naredi vidnega, je ta: enota vrednosti na spletu se seli s klika na citat.

V starem modelu je bil uspeh "koliko ljudi je prišlo na stran". V novem je vse bolj "kolikokrat je bila moja znamka omenjena in citirana v AI odgovorih" – tudi če obiska ni bilo. Kdor je citiran kot vir, dobi dvoje: kvalificiran obisk tistih, ki hočejo vedeti več, in – kar je pomembnejše – pozicijo avtoritete v odgovoru, ki ga uporabnik dojema kot nevtralnega.

To pomeni, da se investicija seli od "več prometa za več prikazov oglasov" k temu, da si vsebino, ki jo AI-ji radi uporabijo kot vir. V praksi to pomeni jasne definicije, strukturirane podatke (schema markup), citabilna dejstva in avtoriteto znamke – z eno besedo GEO (Generative Engine Optimization).

Kaj naj narediš zdaj (konkretno)

Tudi če Pay Per Crawl zate ni vir prihodka, se svet, v katerem deluje, tebe tiče. Trije praktični koraki:

1. Ugotovi, kdo te obiskuje. Preveri, kateri AI crawlerji dostopajo do tvoje strani (v strežniških logih ali prek Cloudflare nadzorne plošče). Presenetljivo je, koliko prometa je danes strojnega.
2. Nastavi zavesten robots.txt in Content Signals. Ne blokiraj vsega na slepo in ne pusti vsega odprtega. Odloči se: kateri AI-ji smejo, za kaj (trening vs. odgovori), kaj je zaščiteno.
3. Optimiziraj za citiranje, ne le za klike. Poskrbi, da je tvoja vsebina lahka za povzemanje: jasne definicije v prvem odstavku, strukturirani odgovori, schema markup, llms.txt datoteka, ki AI-jem pove, kaj je na tvoji strani vredno.

Pogosta vprašanja

Ali bo Pay Per Crawl ukinil oglase? Ne v kratkem roku in ne za vse. Je pa jasen signal, da se oglasni model za informacijske vsebine kruši. Za medije postaja plačilo za dostop nov vir prihodka, za storitvena podjetja pa oglasi tako ali tako niso bili glavni prihodek – zanje šteje vidnost v AI odgovorih.

Če AI crawlerja blokiram, ali to škodi moji SEO? Blokiranje AI crawlerjev (npr. GPTBot) ne vpliva neposredno na klasično Google rangiranje, saj Googlov iskalni bot (Googlebot) deluje ločeno. Vpliva pa na tvojo prisotnost v AI odgovorih ChatGPT, Perplexity in podobnih – tam preprosto ne moreš biti citiran, če te ne smejo prebrati.

Rabim Cloudflare, da to urejam? Za polni Pay Per Crawl model (zaračunavanje dostopa) da, ker deluje na ravni njihovega omrežja. Za osnovni nadzor – dovoli/blokiraj posamezne AI crawlerje in Content Signals – pa zadošča pravilno nastavljen robots.txt, ki ga lahko urediš ne glede na ponudnika.

Kaj je bolj vredno – citat v AI odgovoru ali klik z Googla? Za večino podjetij v 2026 je citat pogosto vrednejši: prihaja od uporabnika z višjo namero, ki je odgovor že prebral in hoče vedeti več, poleg tega pa te AI predstavi kot verodostojen vir. Klikov bo manj, a bodo kakovostnejši.

Selitev z oglasnega modela na ekonomijo dostopa in citatov se ne bo zgodila čez noč, se pa že dogaja. Podjetja, ki bodo prej razumela, da uspeh ni več samo "koliko ljudi je prišlo", ampak "kolikokrat me AI navede kot vir", bodo imela prednost. Če želiš pripraviti svojo stran na ta premik – tako pri nadzoru dostopa kot pri vidnosti v AI iskalnikih – ti pri CreateAI pomagamo z GEO strategijo, prilagojeno slovenskim podjetjem.