Zakaj je dostop AI botov pomemben za vidnost v AI iskalnikih?
Preden vas ChatGPT, Claude ali Perplexity lahko citirajo, morajo njihovi crawlerji sploh priti do vaše vsebine. Vse to nadzoruje datoteka robots.txt — ena napačna vrstica (npr. podedovana blokada iz stare SEO konfiguracije) in vaša stran je za generativne iskalnike nevidna, ne glede na to, kako dobra je vsebina.
Orodje prebere robots.txt vaše domene in za 13 najpomembnejših AI botov — od GPTBot in OAI-SearchBot (OpenAI) prek ClaudeBot (Anthropic) in PerplexityBot do podatkovnih crawlerjev, kot sta CCBot in Bytespider — natančno ovrednoti, ali imajo dostop do strani. Zraven preveri še, ali imate objavljeno datoteko llms.txt, in vrne konkretna priporočila za uskladitev robots.txt z vašo AI strategijo.
Pogosta vprašanja
Ali naj dovolim vse AI bote?
Odvisno od cilja. Če želite AI vidnost (citiranje v ChatGPT, Perplexity, Claude), dovolite iskalne in asistentske bote (OAI-SearchBot, PerplexityBot, Claude-User). Podatkovni crawlerji, kot sta Bytespider in CCBot, pa vsebino zbirajo predvsem za učenje modelov brez citiranja — njihova blokada je legitimna odločitev, ki na AI vidnost ne vpliva.
Ali blokada Google-Extended škoduje mojemu SEO?
Ne. Google-Extended nadzoruje samo uporabo vsebine za učenje modelov Gemini. Klasično Google iskanje in AI Overviews upravlja Googlebot, na katerega blokada Google-Extended ne vpliva.
Kaj pomeni status ⚠️ delno?
Bot ima dostop do korena strani, a robots.txt zanj blokira posamezne poti (npr. /admin ali /kosarica). To je pogosto namerno in povsem v redu — preverite le, da med blokiranimi potmi ni vsebin, ki bi jih AI moral videti.
Nimam robots.txt — je to problem?
Za dostop ne: brez robots.txt imajo vsi boti privzeto poln dostop. Je pa datoteka priložnost za zavesten nadzor — skupaj z llms.txt, ki AI modelom ponudi kazalo vaših ključnih strani.