AI roboti na vašem webu: kdy je pustit dovnitř, a kdy radši blokovat?

V polovině září 2026 si majitel e-shopu se sportovním oblečením všimne, že mu za týden klesla návštěvnost z Googlu o čtvrtinu. Na webu přitom nikdo nic neměnil, texty jsou stejné, ceny taky, žádná penalizace v Search Console nesvítí. Po hodině pátrání najde viníka: nastavení Cloudflare, přes který web běží, začalo blokovat AI roboty, a s nimi omylem i toho, který indexuje web pro Google.

Mezi zasaženými roboty byl i ten, který pro Google dělá dvojí službu, indexuje web pro klasické vyhledávání a zároveň trénuje jeho AI modely. Cloudflare takové roboty řadí do přísnější kategorie, a tak při plošné blokaci AI tréninku umí nechtěně přibouchnout dveře i klasickému vyhledávání.

Tohle se nemuselo stát jen vám. Nastavení kolem AI robotů dnes řeší majitel webu, e-shopu i marketér, i když s programováním nemá nic společného, protože ho jedno zaškrtávátko v administraci dokáže stát reálné tržby. Pojďme se podívat, kdo vlastně na váš web chodí, co se 15. září 2026 změnilo a jak se podle typu webu rozhodnout, koho pustit a koho zastavit.

Máte AI roboty na webu blokovat, nebo pustit dovnitř?

Odpověď závisí hlavně na tom, čím si vyděláváte, s jednou důležitou výjimkou. Pokud prodáváte zboží nebo služby a chcete, aby vás lidé našli i přes AI vyhledávání jako ChatGPT, Perplexity nebo Google AI režim, roboty spíš pusťte dovnitř. Pokud naopak žijete z vlastního exkluzivního obsahu, třeba zpravodajství, prémiového výzkumu nebo placených článků, blokace trénovacích robotů dává smysl, protože AI model by si jinak vzal vaši práci zadarmo a návštěvnost vám za to nevrátí.

Výjimka se týká vyhledávacích robotů. Ty byste neměli blokovat nikdy, bez ohledu na obor podnikání, protože bez nich zmizíte i z klasického Google vyhledávání. Problém je, že některé nástroje dnes slučují obě role do jednoho robota, a právě tahle kombinace dělá z jednoduchého rozhodnutí past, do které spadl i e-shop z úvodu.

Kdo vlastně chodí na váš web: tři druhy AI robotů

Kdo na váš web chodí, zjistíte podle toho, jak se robot, odborně crawler (program, který automaticky prochází stránky a stahuje jejich obsah), představí. Každý má v hlavičce požadavku své jméno, tzv. user-agent, a podle něj se dá přesně rozlišit, o co mu jde. Čím víc robotů web prochází, tím víc si taky všímejte, kolik toho za den stihnou projít, tomuhle limitu se říká crawl budget a u větších e-shopů s tisíci produkty umí rozhodovat o tom, jestli roboti vůbec stihnou projít celou nabídku.

Trénovací roboty si můžete představit jako čtenáře, který si vaši knihu půjčí v knihovně, přečte, ale nikdy se nevrátí a nikomu o vás neřekne. Vyhledávací a citační roboty jsou naopak jako čtenář, který vaši knihu doporučí dál a pošle vám za ní nové zákazníky. Kombinovaný robot dělá obojí zároveň, a proto se u něj nedá jednoduše říct „tohle zakážu a nic se nestane“.

Robots.txt je jen zdvořilá žádost, ne zámek na dveřích

Robots.txt je textový soubor v kořeni webu, ve kterém majitel webu robotům napíše, kam smí a kam nesmí. Většina lidí si ho plete se zámkem, ve skutečnosti je to ale jen cedule na vrátkách. Slušný robot ji respektuje, neslušný ji přečte a stejně projde dál, protože dodržování robots.txt je dobrovolné.

Pro AI roboty přibyla v robots.txt nová direktiva Content-Signal, která jde ještě o krok dál a říká botovi přesně, k čemu smí váš obsah použít:

Content-Signal: ai-train=no, search=yes, ai-input=no

Tenhle zápis říká: netrénuj na mém obsahu své modely, ale klidně mě indexuj pro vyhledávání a necituj mě v živých odpovědích chatbotů. Pořád je to ale jen preference, ne technické opatření proti stahování obsahu. Pokud chcete robota skutečně zastavit, musíte sáhnout o úroveň níž, na server nebo firewall, který požadavek robotovi rovnou odmítne odpovědí 403 Forbidden, ještě než se k vašemu obsahu vůbec dostane. Přesně tohle dělá třeba funkce Block AI bots v nástroji Cloudflare.

Pokud roboty naopak chcete pustit a ještě jim usnadnit práci, existuje k robots.txt praktický doplněk. Soubor llms.txt funguje jako odlehčená mapa webu určená přímo jazykovým modelům, díky které robot rychleji najde ty nejdůležitější stránky, místo aby je pracně hledal mezi stovkami odkazů.

Co se změnilo 15. září 2026 a proč se to může týkat i vás

Co se 15. září 2026 změnilo, je jednoduché: Cloudflare, přes který běží velká část českých webů, začal blokaci trénovacích AI robotů a AI agentů zapínat jako výchozí nastavení pro všechny nově připojené domény. Stávající zákazníci podle oficiálního oznámení Cloudflare dostali možnost se z nových výchozích hodnot odhlásit a o změně je firma upozorňovala, takže vás to může zasáhnout, pokud jste upozornění přehlédli nebo nastavení nikdy neotevřeli.

Blokace naštěstí necílí na celý web najednou. Míří hlavně na stránky, které Cloudflare automaticky vyhodnotí jako stránky s reklamou, a na roboty určené k trénování AI modelů a takzvané AI agenty. Vyhledávací roboty nechává projít. Platí tu ale důležitá výjimka: pokud jeden robot kombinuje roli vyhledávače i trénovacího bota, použije se přísnější pravidlo, a právě mezi takové kombinované roboty Cloudflare řadí i část infrastruktury Googlu a Bingu.

Pro firemní web nebo e-shop z toho plyne jedno praktické doporučení: pokud chcete být v AI vyhledávání vidět, blokaci trénování nezapínejte naslepo a radši si nastavení zkontrolujte přímo v administraci Cloudflare, v sekci bezpečnosti pod položkou AI Crawl Control. Zjistit to zvenčí je totiž těžké, nastavení bývá „skryté“ i pro samotného majitele webu, dokud se tam nepodívá, nebo se nezeptá toho, kdo mu web spravuje.

Kdy se AI roboty vyplatí pustit dovnitř

AI roboty se vyplatí pustit dovnitř hlavně tehdy, když chcete, aby o vás AI modely věděly ve chvíli, kdy jim o vašem oboru někdo položí otázku. Tomuhle principu se říká GEO, Generative Engine Optimization, tedy optimalizace pro generativní vyhledávače. Pokud robota zablokujete, model o vás nemůže vědět, a tím pádem vás nemůže ani doporučit.

Nejde přitom jen o viditelnost pro radost. Návštěvníci, kteří na web přijdou proklikem z AI vyhledávání, podle dostupných dat konvertují až 4,4x lépe než klasická organická návštěvnost z Googlu, protože přicházejí už informovaní a rozhodnutí koupit. Zablokovaný robot znamená, že o tuhle skupinu zákazníků bojujete s rukama svázanýma za zády.

Naše praxe: nestačí roboty jen pustit, musíte jim dát i co žrát. Pokud prodáváte produkt nebo službu, doplňte na stránky srovnávací tabulku s reálnými parametry a cenami a FAQ sekci formulovanou jako skutečné otázky zákazníků, ne jako marketingové titulky. Model totiž cituje hlavně obsah, který dokáže rychle a jistě vytáhnout jako fakt, ne hezky napsaný text bez konkrétních čísel.

Pomoct umí i to, jak je obsah technicky podaný. Čím čistší a strojově čitelnější je struktura stránky, tím snáz z ní model fakta vytáhne, podobnému principu se věnujeme v článku o Cloudflare Markdown for Agents, který robotům nabízí obsah rovnou v podobě, se kterou pracují nejlíp.

Kdy dává blokace smysl

Blokace dává smysl tam, kde je samotný obsah produktem, ne jen cestou k prodeji něčeho jiného. Typicky jde o zpravodajské weby, odborné redakce, autory placeného prémiového obsahu nebo firmy, které živí know-how v podobě unikátních analýz a studií.

• Chráníte autorský obsah: nechcete, aby AI firma zdarma trénovala své modely na textech, za které vaši čtenáři platí předplatné.
• Máte citlivá nebo neveřejná data: interní dokumentaci, ceníky pro konkrétní klienty nebo obsah, který není určený k veřejnému šíření.
• Web žije z reklamy, ne z prodeje: AI odpověď přímo v chatu vám může vzít návštěvnost, na které stavíte výnosy z reklamních ploch.

I v těchto případech ale platí, že byste měli blokovat jen trénovací roboty, ne vyhledávací a citační. Ztráta pozic v klasickém Google vyhledávání obvykle bolí víc, než kolik ušetříte zablokováním trénování AI modelů.

Naše praxe: jak nastavení volit podle typu webu

Abstraktní pravidla se nejlíp pochopí na konkrétních situacích. Tady jsou tři, se kterými se u klientů nejčastěji setkáváme.

1. Specializovaný e-shop s úzkým sortimentem. Situace: e-shop s běžeckým vybavením bojuje o pozornost vedle velkých retailových hráčů. Doporučení: pusťte dovnitř úplně všechny roboty, trénovací i vyhledávací. U produktů mějte bezchybně nasazená strukturovaná data, cenu, dostupnost, recenze, aby AI model, který se někoho zeptá na „nejlepší běžecké boty pro začátečníky“, mohl vaše parametry rovnou použít v odpovědi.

2. B2B poskytovatel služeb s vlastním know-how. Situace: agentura nebo konzultant žije z případových studií a odborných textů, které jí přivádí poptávky. Doporučení: veřejný obsah, případovky a blog nechte robotům otevřené, protože to je přesně materiál, kterým chcete v AI odpovědích znít jako autorita. Interní dokumentaci, nabídky na míru nebo ceníky pro konkrétní klienty naopak nechte za přihlášením, kam se žádný robot beztak nedostane.

3. Redakce nebo tvůrce prémiového obsahu. Situace: menší zpravodajský web nebo autor zpravodajů živí byznys z předplatného a reklamy na vlastních stránkách. Doporučení: zablokujte trénovací roboty pomocí Content-Signal i skutečné blokace na úrovni serveru, ale vyhledávací a citační roboty nechte projít, protože bez nich byste zmizeli i z běžného Google vyhledávání, které vám pořád vozí většinu návštěvnosti.

Jak si nastavení ověřit a případně změnit

Pokud web neběží přes Cloudflare ani podobnou službu, nastavení se řeší přímo v souboru robots.txt. Ukázka, která trénovací roboty zablokuje a vyhledávací nechá projít, může vypadat takto:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Googlebot
Allow: /

Content-Signal: ai-train=no, search=yes, ai-input=no

Pokud máte vývojáře, tohle je přesně to, co mu stačí poslat ke zpracování. Bez programátora si vystačíte s administrací svého hostingu nebo CMS, většina dnešních redakčních systémů umí obsah souboru robots.txt upravit přímo v nastavení.

Pokud web běží přes Cloudflare, nastavení najdete v administraci v sekci zabezpečení pod položkou AI Crawl Control, kde jsou odděleně přepínače pro Content Signals (žádost) a Block AI bots (skutečná blokace). U obou si pohlídejte rozsah, tedy jestli se týkají celého webu, nebo jen vybraných stránek, a případně zkontrolujte, že mezi blokovanými roboty nemáte omylem i vyhledávací roboty Googlu a Bingu.

Jak poznat, že vám otevřené dveře skutečně pomáhají

Poznat, že vám otevřené dveře pro AI roboty skutečně pomáhají, jde i bez odhadů. Klasická Google Search Console vám u AI vyhledávání moc neřekne, protože model odpověď často vygeneruje přímo v okně chatu a proklik na web se vůbec nemusí stát. Pomoct dokáže nová záložka AI Performance v nástroji Bing Webmaster Tools, která jako první ukazuje, kolikrát byl váš web reálně citovaný jako zdroj v AI odpovědi, i když se čtenář na stránku vůbec neproklikl.

Časté otázky o AI robotech na webu

AI roboti na vašem webu nejsou jev, který byste měli ignorovat, ani riziko, před kterým musíte web plošně zavřít. Jde o nastavení, které si zaslouží vědomé rozhodnutí podle typu vašeho byznysu, ne výchozí hodnotu, kterou vám bez ptaní zvolí hosting nebo CDN služba.

Nejste si jistí, jaké nastavení má váš web aktuálně zapnuté, nebo jestli vám náhodou neblokuje i Googlebota? Ozvěte se nám a probereme to spolu na vašem konkrétním webu.