Nestačí povolit AI boty. Web musí být pro AI agenty opravdu čitelný

V předchozím článku jsme řešili nastavení robots.txt, tedy základní pravidla pro to, kteří roboti a AI crawleři smí web navštěvovat. To je důležitý první krok. Samotné povolení botů ale ještě neznamená, že moderní AI agent dokáže web spolehlivě přečíst, pochopit a použít.

Dnes už nestačí myslet jen na Google, Bing a klasické SEO. Weby začínají navštěvovat také AI asistenti a agenti, kteří se nesnaží jen stránku zaindexovat. Chtějí z ní získat konkrétní informaci, vyhodnotit ji a často podle ní rovnou provést úkol. A právě tady se ukazuje rozdíl mezi „webem dostupným pro roboty” a „webem připraveným pro AI agenty”.

Jak zjistit, jestli je web připravený pro AI agenty

Pro rychlou orientaci se dá použít nástroj Is Your Site Agent-Ready? na adrese:

https://isitagentready.com/

Tento nástroj kontroluje, jak je web připravený pro moderní AI agenty. Neřeší jen robots.txt, ale také další vznikající standardy a techniky: sitemapu, strojově čitelný obsah, Markdown negotiation, MCP, OAuth, Agent Skills nebo agentic commerce. Cloudflare tento nástroj představuje jako způsob, jak získat skóre připravenosti webu pro AI agenty a konkrétní doporučení, co na webu upravit.

To je důležitý posun. Klasické SEO se dlouho soustředilo hlavně na indexaci, metadata, rychlost webu a technické chyby. AI agenti ale potřebují ještě něco navíc: jasnou strukturu, předvídatelné odpovědi serveru, dostupný obsah bez zbytečných překážek a ideálně i strojově čitelné alternativy důležitých stránek.

Proč samotný robots.txt nestačí

robots.txt říká crawlerům, kam smí a kam nesmí. Neříká ale, jestli je obsah pro AI agenta dobře pochopitelný.

Web může mít správně nastavený robots.txt, ale pořád může být pro AI špatně použitelný, například pokud:

• důležitý obsah vzniká až po složitém JavaScriptu,
• menu nebo data nejsou dostupná v čisté podobě,
• chybí sitemap.xml,
• chybí textové nebo Markdown výstupy,
• server vrací nekonzistentní odpovědi,
• stránka je pro člověka pěkná, ale pro agenta nepřehledná,
• obsah je sice veřejný, ale není jasné, zda ho agent smí použít.

Právě proto se začínají objevovat nové vrstvy kolem AI čitelnosti webu. Nejde jen o to, jestli robot na stránku může. Jde i o to, jestli z ní dokáže spolehlivě získat správná data.

Praktická zkušenost: ani dobře připravený web zatím nemusí fungovat spolehlivě

U webu radnicni35.cz jsem zkoušel připravit podmínky pro AI automatizaci. Cíl byl jednoduchý: návštěvník si otevře stránku, zkopíruje předpřipravený prompt a nastaví si v ChatGPT, Claude nebo Gemini automatickou úlohu, která mu každý všední den zobrazí denní menu a počasí pro Křemži.

Na web jsem proto doplnil strojově čitelný obsah, přehlednější strukturu a prompt připravený přímo pro AI asistenty. Web je z pohledu AI poměrně dobře přeložený a připravený. Přesto výsledek nebyl spolehlivý.

Problém nebyl jen v samotném webu. Problém je i v tom, že AI asistenti dnes stále různě pracují s webovým obsahem, plánovanými úlohami, aktuálností dat a interpretací zdrojů. Někdy najdou správnou stránku, někdy vezmou starší obsah, někdy nepochopí, který zdroj je primární, a někdy automatizaci vůbec neprovedou konzistentně.

Možná za půl roku bude situace výrazně lepší. Aktuálně ale platí, že ani dobře připravený web a dobře napsaný prompt nejsou zárukou spolehlivé AI automatizace.

To je důležitý závěr pro majitele webů: má smysl připravovat web pro AI, ale není rozumné se tvářit, že už dnes všechno funguje bezchybně.

HTTP 402: důležitý standard pro budoucnost AI přístupu

Vedle robots.txt a AI čitelnosti se začíná vracet do hry také stavový kód:

402 Payment Required

HTTP stav 402 Payment Required existuje dlouho, ale v běžném webu se historicky příliš nepoužíval. S nástupem AI crawlerů a agentů ale začíná dávat nový smysl.

Dává to smysl hlavně pro weby které vydělávají na reklamách z návštěvníků.

Princip je jednoduchý: server nemusí jen říct „povoleno” nebo „zakázáno”. Může říct:

Tento obsah je dostupný, ale za podmínek. Pokud ho chceš strojově číst nebo zpracovat, je potřeba zaplatit.

Cloudflare svůj systém Pay Per Crawl staví právě na odpovědi HTTP 402 Payment Required. Když AI crawler požádá o placeně chráněnou stránku, server může odpovědět kódem 402 a přidat informaci o ceně za přístup. AI crawler pak může požadavek zaplatit a zopakovat, nebo přístup odmítnout.

To je zásadní změna. Dosavadní web fungoval přibližně takto:

200 OK        = obsah je dostupný
403 Forbidden = přístup zakázán
404 Not Found = stránka neexistuje

S AI agenty začíná dávat smysl i model:

402 Payment Required = obsah existuje, ale pro strojový přístup je vyžadována platba

Nejde jen o technickou drobnost. Je to možný základ nového vztahu mezi vydavateli, provozovateli webů a AI systémy.

Proč je 402 důležitější než obyčejné blokování

Blokování crawlerů je hrubý nástroj. Buď robot obsah dostane, nebo nedostane.

Stav 402 Payment Required nabízí jemnější model:

• AI agent zjistí, že obsah existuje.
• Server jasně sdělí, že přístup je zpoplatněný.
• Cena může být nastavena za konkrétní požadavek.
• Agent se může rozhodnout, zda mu obsah za cenu stojí.
• Majitel webu nemusí dávat obsah zdarma všem crawlerům.

Vznikající protokol x402 staví právě na této myšlence. Je popisovaný jako platební protokol pro digitální služby, API, agentic commerce a placený obsah, kde může software platit přímo při HTTP požadavku.

Je ale potřeba být přesný: 402 a x402 zatím nejsou kouzelná univerzální ochrana. Fungují hlavně tam, kde je podporuje infrastruktura, platební vrstva a klient nebo crawler, který takový mechanismus respektuje. Zároveň se kolem x402 už řeší i bezpečnostní rizika, například autorizace, replay útoky nebo ochrana citlivých metadat.

Jako směr je to ale velmi důležité. Web potřebuje standard, který nebude jen „zakázat/povolit”, ale umožní také říct „povolím, ale za jasných podmínek”.

Jak by měl majitel webu uvažovat dnes

Pokud provozujete web, e-shop, magazín, restauraci nebo katalog, dává smysl řešit AI přístup ve více vrstvách.

1. robots.txt

Zkontrolujte, že neblokujete Google a Bing, pokud vám záleží na SEO. Zároveň si rozhodněte, které AI crawlery chcete povolit a které ne.

Příklad:

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /kosik/
Disallow: /checkout/

Sitemap: https://www.vasedomena.cz/sitemap.xml

Tím odlišujete AI přístup pro vyhledávání a uživatelské dotazy od masového trénovacího crawlování.

2. sitemap.xml

Sitemapa pomáhá robotům i AI systémům najít důležité veřejné stránky. Měla by obsahovat hlavní stránky, články, produkty, kategorie a další obsah, který opravdu chcete zpřístupnit.

3. Strojově čitelný obsah

Důležité informace by neměly být dostupné jen jako vizuální prvek na stránce. U webů s často aktualizovaným obsahem dává smysl připravit také jednoduchý textový nebo Markdown výstup.

Například:

/llms.txt
/llms-full.txt
/denni-menu.md
/sitemap.xml

Cílem není nahradit web pro lidi. Cílem je nabídnout AI agentům čistý zdroj bez zbytečného šumu.

4. Test agent-readiness

Po úpravách otestujte web nástrojem:

https://isitagentready.com/

Neberte skóre jako absolutní pravdu, ale jako dobrý technický checklist. Pomůže najít věci, které by vás při běžné SEO kontrole nemusely napadnout.

5. Připravit se na 402

Pokud provozujete hodnotný obsah, odbornou databázi, placený katalog, API nebo prémiový obsah, sledujte vývoj kolem HTTP 402 a x402. Dnes to ještě nemusí být běžná funkce pro každý malý web, ale směr je jasný: AI agenti budou potřebovat standardizovaný způsob, jak za obsah platit.

Co z toho plyne pro malé a střední weby

Malý web dnes nemusí implementovat MCP, x402 ani vlastní agent API. To by u většiny projektů bylo předčasné.

Rozumný praktický základ je:

1. správný robots.txt
2. funkční sitemap.xml
3. čistý veřejný obsah
4. jasné zdroje pro AI
5. test přes isitagentready.com
6. ochrana neveřejných částí webu
7. sledování vývoje kolem 402 a placeného přístupu

U menších webů je největší přínos v tom, že AI agentům odstraníte zbytečné překážky. Nemusí luštit složitou navigaci, přeskakovat cookies lišty, hádat, kde je aktuální obsah, nebo se spoléhat na staré stránky.

U hodnotného obsahu je naopak důležité připravit se na to, že do budoucna nebude stačit jen „nechci, aby mě crawlery braly zdarma”. Bude potřeba technický a obchodní model, který umožní říct: obsah je dostupný, ale za férových podmínek.

Závěr

AI přístup k webu se posouvá od jednoduchého crawlování k agentům, kteří chtějí web číst, chápat a používat. robots.txt zůstává důležitý základ, ale už nestačí.

Web připravený pro AI by měl být dobře strukturovaný, strojově čitelný, testovatelný a měl by jasně říkat, co je povoleno, co je zakázáno a za jakých podmínek může být obsah použit.

Nástroje jako isitagentready.com ukazují, že se z toho stává nová disciplína vedle klasického SEO. A stav 402 Payment Required může být jedním z klíčových standardů, který do budoucna umožní férovější vztah mezi tvůrci obsahu a AI systémy.

Dnešní realita ale není bezchybná. Testy s automatizací pro radnicni35.cz ukazují, že AI agenti zatím neumí spolehlivě pracovat ani s poměrně dobře připraveným webem a jasně napsaným promptem. Přesto dává smysl weby připravovat už teď. Ne proto, že je všechno hotové, ale proto, že technický směr je zřejmý.

Weby, které budou pro AI čitelné, srozumitelné a férově nastaví pravidla přístupu, budou mít v další fázi internetu výhodu.