Роботът на Google

Никой клиент не вижда страницата ви пръв.

Преди него я е видяла една програма, свалила я е и е решила дали и къде да я покаже.

Ако програмата не е минала, страницата не съществува за търсенето. Ако е минала, но не е успяла да я прочете, все едно не е минала.

Тази програма има име, Googlebot.

Googlebot е роботът на Google, който изтегля страници от сайтовете, за да ги има в индекса на Търсенето, тоест в списъка с прочетени страници. Същото важи и за свързаните услуги: картинки, видео, новини, Discover.

Какво всъщност значи

Търсачката не търси в интернет в момента, в който клиентът пише въпроса. Търси в свое копие на интернет, направено предварително.

Роботът е този, който прави копието.

Отваря адрес, сваля страницата, тръгва по връзките в нея, сваля и тях.

Това се нарича обхождане.

После страниците се прочитат и влизат в индекса, тоест в каталога, от който се търси, а между тях стои стъпка, която решава дали роботът вижда цените ви, или празно място.

Googlebot има няколко имена за различни задачи: Googlebot за страници, Googlebot-Image за картинки, Googlebot-Video за видео, Googlebot-News за новини.

Правила, написани към Googlebot, важат за Търсенето и всички негови функции.

Бъркат го с Google-Extended.

То не е робот, а ред във файла robots.txt, с който казвате дали съдържанието ви може да се ползва за обучение на моделите Gemini и за подаване към тях.

Google-Extended не влияе на включването на сайта в Google Търсене и не се ползва като сигнал за класиране.

Тоест за мястото, на което излизате в резултатите.

Забраната му не маха сайта от AI Overviews. Googlebot е този, който носи страниците и там.

Защо това ви засяга

Представете си, че имате магазин, а единственият начин клиентите да научат за него е през един куриер.

Той минава от време на време, снима витрината и носи снимката в централен каталог.

Клиентите гледат каталога, не витрината.

Ако куриерът не може да влезе, каталогът е празен. Ако витрината е покрита с фолио, снимката е сива.

Googlebot е куриерът. Каталогът е индексът.

Всичко, което ще ви покаже Google, включително AI отговорите, започва от това, което куриерът е успял да снима.

При Google AI е вграден в Търсенето и е неразделна част от начина, по който то работи, затова правилата в robots.txt за Googlebot са средството, с което собствениците управляват достъпа.

Няма отделен робот за AI Overviews. Няма отделен файл. Един куриер, един каталог.

При магазин за климатици в Бургас, чийто нов сайт е спрял робота по грешка това изглежда така:

Клиентът пита	Какво става на екрана
В Google: „климатици Бургас монтаж“	Магазинът го няма нито в резултатите, нито в AI Overviews. Конкурентът от съседната улица е там.
В Search Console собственикът гледа страницата	Пише „блокирана от robots.txt“. Куриерът е идвал и е бил върнат от вратата.

Как изглежда на практика

Google ползва 2 вида правила, които се бъркат.

• Файлът robots.txt, текстов файл в корена на сайта. Той казва на робота кои адреси може да отваря. Правило за Googlebot там спира обхождането на посочените адреси за Търсенето и всичките му функции.
• Указанията в самата страница, които казват какво да се показва от нея: без откъс, кратък откъс, без индексиране. С тях се ограничава информацията, показвана от вашите страници в Търсенето, включително в AI функциите.

Проверката за собственик е в Search Console.

Там се вижда кога Googlebot е минал за последно през даден адрес, дали е успял да го прочете и дали адресът е в индекса, тоест в каталога на Google.

Ако важна страница не е обхождана от месеци, куриерът не минава оттам. Един от начините да му подскажете е списъкът с вашите страници и датите, на които сте ги сменили.

Има и нещо, което трябва да знаете, преди да очаквате бърз резултат.

След промяна в правилата обхождането може да отнеме от няколко дни до няколко месеца, според това колко често системите на Google преценят, че страницата трябва да се обнови.

Промяна днес не значи промяна утре.

Какво струва и какво носи

Решението не струва пари, но иска внимание: какво позволявате на Googlebot и какво не.

Повечето сайтове нямат причина да го ограничават.

Грешката обикновено е обратната. Правило, оставено от разработчик, спира робота от цял раздел, без някой да знае. А името Googlebot може да бъде подправено, затова има начин да се установи дали куриерът наистина е от Google.

Носи присъствие в единствения каталог, от който Google съставя всичко, което показва.

Рискът да го нямате е пълен.

Страница, до която Googlebot не стига, не е в Търсенето, не е в AI Overviews, не е в AI Mode, и никаква работа по текста ѝ не променя това.

Достъпът на робота е първата проверка в работата по присъствието в екосистемата на Google.

Кои роботи стигат до сайта ви, казва първата проверка.

Накъде отива

Заявеното от Google е едно: за AI функциите не се въвежда нов робот, нов файл или нова маркировка. Няма допълнителни изисквания за показване в AI Overviews или AI Mode, нито други специални оптимизации.

Не се знае дали това ще остане така, ако Google отдели AI функциите в самостоятелен продукт.

Обявено намерение за отделен робот няма.

2 примера

Фирма за климатици сменя сайта си и новият разработчик оставя във файла robots.txt ред, който спира всички роботи от всички адреси, както е било на пробната версия. 3 седмици никой не забелязва. В Search Console страниците излизат като „блокирани от robots.txt“.

Куриерът е идвал и е бил върнат от вратата.

Google дава примера с Google-Extended: собственик, който не иска съдържанието му да обучава Gemini, пише правило за Google-Extended. Googlebot продължава да минава, сайтът остава в Търсенето и в AI Overviews, а моделите Gemini спират да учат от него. Правилата са за различни неща.

Въпросите, които ще ви хрумнат

Ако спра Googlebot, значи ли, че изчезвам и от AI Overviews?

Да, и от цялото Търсене.

AI функциите ползват същия робот и същия файл с правила.

Отделен вход за тях няма. Правило за Googlebot във файла robots.txt действа навсякъде наведнъж.

Кое проверявате първо, файла robots.txt или Search Console?

Search Console, защото там Google сам ви казва кои страници е блокирал и кои не е успял да прочете.

Отворете отчета за индексирането и потърсете причината „блокирана от robots.txt“.

Ако я има при важна страница, чак тогава отворете файла и намерете реда.

Как да проверя това за 10 минути?

Въведете адреса на най-важната си страница в инструмента за проверка на адрес в Search Console.

Той показва кога Googlebot е минал за последно, дали е успял да я прочете и дали е в индекса. Ако датата е от преди месеци или пише „не е индексирана“, куриерът не минава оттам.

Отворете в нов раздел файла robots.txt на сайта си (адресът на сайта с добавено /robots.txt) и прочетете внимателно какво пише там за Googlebot. Ако не разбирате някой ред, попитайте този, който го е писал, защо е там.