Robots.txt je textový soubor, který říká vyhledávačům, které části webu mají nebo nemají procházet. Pomáhá tak řídit, co se zobrazí ve výsledcích vyhledávání, a co naopak zůstane skryté. Využívá se například k zabránění indexace duplicitních stránek nebo technických částí webu. Je určen hlavně pro roboty vyhledávačů, ne pro běžné návštěvníky.
Konkrétní pravidla pro jednotlivé AI roboty, třeba GPTBot nebo Google-Extended, se do robots.txt zapisují stejnou syntaxí jako pro klasické vyhledávací roboty, jen s jiným user-agentem. Kdy jim přístup povolit a kdy ho naopak zablokovat, rozebíráme v článku o AI robotech na webu.
