Питате изпълнителя си: „Кои AI услуги четат сайта ни?“
Отговорът обикновено е „ами, вероятно всички“.
Това не е отговор. Това е признание, че никой не гледа.
Има един случай, в който отговорът е списък с имена и числа: ако сайтът минава през Cloudflare.
Управлението на AI роботите в Cloudflare е табло, което показва кои AI роботи са поискали страници от сайта ви, колко пъти са го направили, дали са спазили правилата ви и, за всеки поотделно, ви оставя да решите дали да влиза.
Бърз отговор
Управлението на AI роботите в Cloudflare е списъкът кой AI робот е влизал в сайта ви и колко пъти, с ключ за пускане и спиране до всеки ред. Достъпно е на всички планове и брои нарушенията на robots.txt.
Какво всъщност значи
При SEO имате статистика за хората, откъде идват, какво гледат, колко остават. За роботите такава статистика обикновено няма. Таблото е статистика за роботите, с бутон до всеки ред.
Cloudflare е услуга, през която минават посещенията на много сайтове, преди да стигнат до сървъра им, и понеже вижда всяко искане за страница, може да разпознае кой го праща. Какво стои в таблото за всеки робот:
- Име и фирма. Кой е роботът и кой стои зад него.
- Категория. Робот за обхождане (чете страници наред), AI асистент или архиватор.
- Заявки. Колко пъти е искал страници, разрешени и отказани, с графика как се променят.
- Нарушения. Колко пъти е минал покрай правилата ви във файла robots.txt.
- Действие. Разрешавате или блокирате. За участниците в затворената пробна програма и „поискай плащане“, тоест услугата плащане за обхождане.
Има една уговорка за качеството.
На безплатния план Cloudflare разпознава роботите по това как се представят сами, тоест по името в заявката, което хваща добре известните AI роботи, стига да се представят честно.
Честността се проверява отделно, дали този, който се представя за Google, наистина идва оттам.
По-строга проверка иска по-висок план.
Бъркат го с файла robots.txt. Файлът е молба, която роботът може и да не уважи. Таблото е портиер, който стои на вратата и наистина спира.
Защо това ви засяга
Представете си офис сграда с портиер, който води книга за това кой е влязъл, в колко часа и при кого.
Освен това има списък кои фирми се пускат, кои не и кои плащат за паркинг. Без портиера имате само табела „моля, не влизайте без покана“ и надежда.
Досега със сайта беше като без портиер.
Пишете правило във файла robots.txt и не знаете дали някой го чете, а таблото на Cloudflare добавя книгата на портиера, в която виждате кой е искал достъп и колко пъти е минал покрай табелата ви.
Втората полза е в решението.
Защото един робот пълни списъка на търсачка, от който после излизат резултатите, и води клиенти, а друг събира текст за обучение и не връща нищо.
С таблото това са 2 реда с 2 различни действия, а не едно общо „AI роботите“.
Как изглежда на практика
Влизате в таблото на Cloudflare, избирате сайта и отваряте раздела за AI роботите в частта за сигурност. Виждате таблицата. Отсявате по име, фирма или категория.
Хотел в Банско е зад Cloudflare и собственикът отваря таблото за първи път.
| Клиентът пита | Какво става на екрана |
|---|---|
| В ChatGPT: „хотел в Банско с басейн, до 150 евро на нощ“ | Отговорът изброява 3 хотела. В таблото собственикът вижда, че роботът, с който ChatGPT търси, е искал страниците му десетки пъти този месец и е бил пуснат. Хотелът е един от тях. |
| Същият въпрос, но роботът е блокиран | Роботът е искал и е бил отказан. Отговорът изброява 3 други хотела. |
За всеки ред решавате:
- Разрешавайте роботи, които носят стойност чрез цитирания, препращания или съществуващи договори.
- Блокирайте тези, чието поведение не отговаря на плановете ви за съдържанието или нарушава правилата ви. Избирате и какъв отговор получава роботът.
- Наложете файла robots.txt с отделния превключвател, който превръща молбата в забрана.
Колоната с нарушенията е най-полезната за разговор с изпълнителя. Робот с 0 нарушения спазва вашите правила. Робот с много нарушения ви казва, че файлът robots.txt за него не значи нищо.
Какво струва и какво носи
Ако сайтът вече минава през Cloudflare, това не струва нищо отгоре: има го на всички планове. Ако не минава, решението е дали да мине, а то е по-голямо от AI роботите и засяга сървъра, сертификата и цялата настройка на сайта.
Носи 2 отговора, които иначе нямате: кой чете сайта и кой не ви слуша.
И носи бутон. Тези отговори водят до решението кой робот се пуска и кой се спира. Натискането на бутона е ваше решение, защото блокиран робот на търсачка значи и по-малко клиенти оттам, а блокиран робот за обучение не струва на сайта нито едно посещение.
Дали AI търсачката стига до сайта ви и какво взима, казваме в доклад.
Накъде отива
Заявеното е едно.
Услугата плащане за обхождане е в затворена пробна програма. Влиза се през форма за записване или през търговски представител за големите клиенти. Кога и дали ще стане общодостъпна, не е казано.
Преименуването от AI Audit на AI Crawl Control е факт от лятото на 2026 г.
2 примера
Магазин за електроника с цени, които се променят всяка седмица.
Cloudflare сам дава този случай: магазините могат да контролират достъпа до чувствителни данни като цени и наличности.
Собственикът разрешава роботите на търсачките, защото оттам идват поръчки, и блокира робот за обучение, който иска същите страници, без да праща никого.
Вторият пример е колоната с нарушения.
Тя брои колко пъти AI роботът е нарушил вашия файл с правила, така че таблото първо ви показва кои роботи не спазват правилата, а чак после, ако решите, ги спира.
Въпросите, които ще ви хрумнат
Ако сайтът ми е зад Cloudflare на безплатния план, значи ли, че виждам всички AI роботи?
Не всички.
На безплатния план роботите се разпознават по името, с което се представят, тоест се хващат известните, които играят честно.
Робот, който се крие зад чуждо име, се хваща чак на по-високите планове, където проверката е по-строга и не се доверява само на името, с което той се представя.
Кое правите първо, да блокирам роботите или да гледам таблото?
Първо гледайте.
Таблото показва кой идва и колко пъти нарушава правилата ви, а блокиран робот на търсачка спира и клиентите, които той праща. След седмица четене решавате ред по ред: търсачките на „разреши“, роботите за обучение както прецените.
Как да проверя за 10 минути кой AI робот чете сайта ми?
Влезте в таблото на Cloudflare, изберете сайта и отворете раздела за AI роботите в частта за сигурност.
Прочетете колоната с броя заявки и колоната с нарушенията.
Ако сайтът не е зад Cloudflare, същият отговор трябва да дойде от дневника на сървъра, а това е въпрос към изпълнителя.
Ако сайтът ви е зад Cloudflare, отворете таблото и прочетете колоната с нарушенията. Ако не е, попитайте изпълнителя откъде иначе знае кои роботи влизат.