Od kod ChatGPT, Claude, Gemini in Perplexity jemljejo vire (2026)
Vsak AI iskalnik vire išče po svoje: ChatGPT prek lastnega pajka OAI-SearchBot in zunanjih iskalnih indeksov, Claude prek pajka Claude-SearchBot in zunanjega iskalnika, Gemini in Googlovi AI povzetki prek običajnega Googlovega indeksa, Perplexity pa prek lastnega indeksa, ki ga gradi PerplexityBot. Zato je ista stran pri enem iskalniku vidna, pri drugem pa ne.
Za podjetje to pomeni, da »GEO optimizacija« ni ena nastavitev, ampak nekaj ločenih vrat, ki morajo biti vsa odprta. Spodaj je pregled po iskalnikih, stanje septembra 2026, uradna dokumentacija pa je navedena med viri na koncu članka.
Tri vrste pajkov, ki jih je treba ločiti
Večina AI ponudnikov ima danes tri ločene pajke. Razlikovanje je ključno, ker jih v robots.txt nastavljate posamično:
| Vrsta | Kaj dela | Vpliv na vidnost v odgovorih |
|---|---|---|
| Iskalni pajek | Gradi indeks, iz katerega iskalnik izbira vire | Neposreden — če ga blokirate, vas ni med viri |
| Pajek na zahtevo uporabnika | Odpre stran, ko uporabnik prilepi povezavo ali asistent med odgovorom obišče stran | Posreden — vpliva na to, ali lahko model stran prebere |
| Pajek za učenje | Zbira vsebino za učenje prihodnjih modelov | Dolgoročen in negotov — ne vpliva na današnje iskanje |
Najpogostejša napaka, ki jo vidimo pri pregledih: podjetje ob novicah o »AI kraji vsebine« blokira vse AI pajke skupaj — in s tem tudi iskalne, ki bi mu prinesli omembe.
ChatGPT (OpenAI)
| Pajek | Namen | robots.txt |
|---|---|---|
| OAI-SearchBot | Iskalni rezultati v ChatGPT | Upošteva |
| ChatGPT-User | Obiski na zahtevo uporabnika in GPT-jev | Ne nujno |
| GPTBot | Učenje modelov | Upošteva |
| OAI-AdsBot | Preverjanje ciljnih strani oglasov | Ne velja |
Od kod viri: ChatGPT iskanje kombinira lastni indeks, ki ga gradi OAI-SearchBot, z zunanjimi iskalnimi ponudniki. Neodvisne analize kažejo veliko prekrivanje citiranih virov z Bingovimi rezultati, zato je prisotnost v Bingu za ChatGPT pomembnejša, kot bi sklepali po Bingovem deležu v Sloveniji.
Kaj urediti: dovolite OAI-SearchBot, prijavite stran v Bing Webmaster Tools in vklopite IndexNow. GPTBot lahko po želji blokirate — OpenAI izrecno navaja, da ne odloča o iskalnih rezultatih.
Podroben postopek je v članku Kako se pojaviti v ChatGPT: 7 korakov.
Claude (Anthropic)
| Pajek | Namen | robots.txt |
|---|---|---|
| Claude-SearchBot | Kakovost iskalnih rezultatov v Claudu | Upošteva |
| Claude-User | Obiski na zahtevo uporabnika | Upošteva |
| ClaudeBot | Zbiranje vsebine za učenje | Upošteva |
Od kod viri: Claude pri iskanju po spletu uporablja zunanjega iskalnega ponudnika. Anthropic ga v uradnem opisu funkcije ne imenuje, na seznamu podobdelovalcev pa je naveden Brave Search, neodvisni testi pa kažejo veliko prekrivanje Claudovih citatov z Bravovimi rezultati.
Kaj urediti: dovolite Claude-SearchBot in Claude-User. Preverite, ali je stran v Bravovem indeksu, tako da jo poiščete na search.brave.com; Brave ponuja tudi obrazec za oddajo URL-ja. Anthropic objavlja seznam IP naslovov svojih pajkov, kar je uporabno, če vaš požarni zid bote preverja po IP-ju.
Gemini in Googlovi AI povzetki (Google)
Google je edini, ki za AI iskanje nima ločenega iskalnega pajka. AI povzetki (AI Overviews) in AI Mode viri izbirajo iz običajnega Googlovega indeksa, ki ga gradi Googlebot. Google v dokumentaciji izrecno piše, da za prikaz v AI funkcijah iskanja ni dodatnih zahtev ali posebne optimizacije — stran mora biti le indeksirana in primerna za prikaz z izsekom.
AI Mode pri tem uporablja tehniko razvejanja poizvedbe (query fan-out): eno vprašanje razbije na več povezanih iskanj po podtemah. Zato lahko stran, ki odgovarja na ozko podvprašanje, postane vir, tudi če za glavno ključno besedo ni visoko uvrščena.
Google-Extended ni pajek, ampak oznaka v robots.txt, s katero omejite uporabo vsebine za učenje in utemeljevanje (grounding) v nekaterih drugih Googlovih AI sistemih, kot je aplikacija Gemini. Po Googlovi dokumentaciji ne vpliva na AI povzetke v iskanju.
Kaj urediti: klasičen tehnični SEO — indeksiranost, hitrost, strukturirani podatki in jasni odgovori na vprašanja. Tu se SEO in GEO najbolj prekrivata. Kako to izmerite, piše v članku Google Search Console v 2026.
Perplexity
| Pajek | Namen | robots.txt |
|---|---|---|
| PerplexityBot | Prikaz in povezovanje strani v rezultatih Perplexity | Upošteva |
| Perplexity-User | Obiski na zahtevo uporabnika | Praviloma ne upošteva |
Od kod viri: Perplexity gradi lasten indeks s pajkom PerplexityBot, ki po uradni dokumentaciji ni namenjen učenju modelov. Perplexity vire vedno prikaže s številčnimi citati, zato je tudi najbolj pregleden za merjenje: takoj vidite, katere strani je uporabil.
Kaj urediti: dovolite PerplexityBot. Če uporabljate požarni zid za aplikacije (WAF), dodajte na seznam dovoljenih uradne IP obsege, ki jih Perplexity objavlja.
Microsoft Copilot
Copilot se naslanja na Bingov indeks in običajnega Bingovega pajka (Bingbot). Ločenega AI pajka nima. Vse, kar naredite za Bing zaradi ChatGPT, zato hkrati velja tudi za Copilot.
Povzetek: kaj dovoliti v robots.txt
| Iskalnik | Dovolite za vidnost | Po želji blokirate (učenje) |
|---|---|---|
| ChatGPT | OAI-SearchBot, ChatGPT-User | GPTBot |
| Claude | Claude-SearchBot, Claude-User | ClaudeBot |
| Perplexity | PerplexityBot, Perplexity-User | — |
| Google AI povzetki | Googlebot | Google-Extended (ne vpliva na AI povzetke) |
| Copilot | Bingbot | — |
Primer robots.txt, ki odpre iskanje in zapre učenje:
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Ali je blokiranje učenja smiselno, je poslovna odločitev: blokada ščiti vsebino, a hkrati pomeni, da prihodnji modeli o vas vedo manj. Za večino malih podjetij, ki želijo biti prepoznana, je bolj smiselno učenje dovoliti. Razmislek je opisan v članku Vodič po robots.txt, Content Signals in blokiranju AI crawlerjev.
Past, ki je v robots.txt ne vidite
Tudi pravilen robots.txt ne pomaga, če pajke ustavi plast pred njim: nastavitve na Cloudflaru ali drugem CDN-ju, varnostni vtičniki v WordPressu ali pravila gostitelja. Te blokade so pogosto vklopljene privzeto in lastnik strani zanje ne ve. Pajek dobi napako 403, v robots.txt pa je vse videti v redu.
Edini zanesljiv test je, da stran obiščete z identiteto posameznega pajka in preverite odgovor strežnika. AI bot check to naredi za vse zgoraj naštete pajke hkrati, celovit pregled AI vidnosti pa doda še preverjanje llms.txt in GEO osnov.
Pogosta vprašanja
Ali ChatGPT uporablja Google ali Bing? ChatGPT uporablja lasten iskalni indeks, ki ga gradi OAI-SearchBot, in zunanje iskalne ponudnike. Neodvisne analize kažejo veliko prekrivanje njegovih citatov z Bingovimi rezultati, zato je prisotnost v Bingu pomembna.
Kateri iskalnik uporablja Claude? Anthropic v opisu funkcije iskalnega ponudnika ne imenuje, na njegovem seznamu podobdelovalcev pa je Brave Search. Za vidnost v Claudu dovolite Claude-SearchBot in preverite, ali je vaša stran v Bravovem indeksu.
Ali Google-Extended blokira AI povzetke v Googlu? Ne. Google-Extended omejuje uporabo vsebine za učenje in utemeljevanje v nekaterih drugih Googlovih AI sistemih, AI povzetki in AI Mode pa uporabljajo običajni iskalni indeks.
Ali moram za vidnost v AI iskalnikih dovoliti pajke za učenje? Ne. GPTBot, ClaudeBot in Google-Extended so namenjeni učenju modelov in ne odločajo o tem, ali ste med viri v današnjih odgovorih. Za to so ključni iskalni pajki.
Kako preverim, ali AI pajki lahko dostopajo do moje strani?
Pregled robots.txt ni dovolj, ker pajke lahko ustavi tudi CDN ali varnostni vtičnik. Stran je treba obiskati z identiteto posameznega pajka in preveriti odgovor strežnika, kar naredi brezplačno orodje AI bot check.
Viri
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: pajki in njihovo blokiranje
- Perplexity: Perplexity Crawlers
- Google: AI funkcije in vaša spletna stran
Naslednji korak
Ko veste, da vas pajki lahko dosežejo, je na vrsti vsebina, ki jo modeli citirajo. GEO audit pokaže oboje v eni minuti. Pravila za pajke, llms.txt in prijavo v Bing za vas uredimo v paketu GEO Start za 490 €. Če želite, da tehniko in vsebino uredimo skupaj, si oglejte SEO in GEO optimizacijo.
Pomoč pri izvedbi
🛠 Uporabite orodje, ki spremlja ta vodič
AI Bot Check — brezplačno orodje, ki implementira priporočila iz tega članka.
Odprite AI Bot Check →