robots.txt для нейросетей: кого пускать и кого нельзя блокировать

Что делают сами и где ломают

На форумах до сих пор: «закройте GPTBot», «скопируйте robots с SaaS», «добавьте Disallow на всё лишнее». Звучит быстро. На практике — минус видимость на недели.

Копипаст с чужого шаблона

Взяли файл у IT-компании: /docs/, /api/, /blog/dev/. У вас салон красоты, таких путей нет, но в шаблоне был Disallow: /. Сайт закрыт всем. Владелец не трогал файл месяцами — его и не было в тестах ChatGPT.

Бан «лишних» ботов

Закрыли GPTBot, ClaudeBot, «ненужных». Заодно задели общий user-agent или WAF срезал Googlebot. Реклама крутится, в рекомендациях — тишина.

Disallow по подстроке

Disallow: /private режет и /private-clinic, если сервер так настроен. Закрыли «служебку» — закрыли половину услуг.

Правки без сохранения и аудита

Одна строка в пятницу вечером. В понедельник — пропали обновления в Gemini. Откат не за минуту: нужен переобход и выравнивание карточек.

Конфликт с llms.txt

llms.txt указывает на /price/, robots.txt режет /price. Вы сами создали противоречие. ИИ не спорит — уходит к конкуренту. Подробнее: статья про llms.txt.

Что можно закрывать безопасно

Закрывать имеет смысл админку, корзину, личный кабинет, UTM-фильтры, дубли с ?sort=, тестовые поддомены, черновики. Не закрывайте: услуги, цены, FAQ, контакты, о компании, кейсы.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Allow: /

Пример, не копируйте слепо. Пути — под вашу CMS. На Tilda robots часто в настройках сайта, на Bitrix — файл в корне после публикации. Проверьте старый тестовый поддомен: там часто лежит Disallow: / с копией цен.

Связка с llms.txt и sitemap

llms.txt указывает важные URL, robots.txt разрешает или запрещает обход, sitemap подсказывает структуру. Три файла должны говорить одно: публичные коммерческие страницы открыты. Расхождение — не «мелочь», а причина, почему бот не доходит до прайса.

noindex и Disallow — разные слои. noindex говорит поиску не класть страницу в индекс. Disallow — не ходить на URL. Страница может быть закрыта для индекса, а бот — заблокирован на сервере. Нужны оба в голове, не один.

Как «испугать» бота за один вечер

Образно — да, можно. По факту так:

• Disallow: / после взлома админки — и забыли открыть.
• Резкая смена файла без сохранения старой версии.
• llms.txt говорит «читайте прайс», robots режет /price/.
• WAF с «защитой от парсинга» режет Googlebot вместе с атакующими.
• Правки без аудита — через месяц непонятно, что сломало видимость.

Бот не обидится. Перестанет считать вас источником. Клиенты продолжат спрашивать ChatGPT и слышать чужие имена.

Хуже, когда «испуган» контент: удалили услуги, сменили цены на сайте, в Google Business Profile осталось прошлогоднее. ChatGPT видит конфликт и выбирает того, у кого цифры сходятся.

Нормальный порядок и с чего начать

Не редактируйте robots.txt «на глаз». Сначала снимок: бесплатный аудит Leadsy покажет, какие боты доходят, есть ли блок в файле или на WAF. Сохраните старую версию в git или заметке.

1. Экспресс-аудит: GEO Score, техдоступ, Googlebot и GPTBot.
2. Сверка www / без www, http / https.
3. Точечные Allow, не массовый бан «всех лишних».
4. Согласование с llms.txt и sitemap.
5. Повторный аудит через 2–4 недели.

Мини-тест: example.com/robots.txt в инкогнито, прайс с мобильного без VPN, три запроса в ChatGPT. Расхождение с отчётом — копать WAF, не писать SEO-тексты.

Если уже закрыли сайт целиком — верните доступ, выровняйте карточки и FAQ, дайте краулерам время. Сроки — недели, не часы. Тарифы: страница тарифов. Про AIO: AIO vs SEO.

robots.txt — рубильник видимости. Ошибка дешевле не исправляется. Сначала цифры из аудита, потом правки. Без среза любой совет из чата — лотерея с доменом.

Типично: по совету знакомого закрыли несколько user-agent, чтобы «не светить структуру». Заявки из органики не упали — их и не было. Зато пропали упоминания в тестах ChatGPT. Вернули только после аудита, снятия блокировок и выравнивания карточек. Не выходные — недели.

Если после открытия сайта «ничего не изменилось за три дня» — нормально. Краулеры не работают по вашему календарю. Сначала стабильный доступ, потом FAQ и цены, потом терпение.

Не трогайте robots.txt до среза. Не копируйте чужой файл. Сначала аудит — увидите, режет ли Googlebot или GPTBot прямо сейчас.

Мини-чеклист: файл открыт в инкогнито, www = без www, прайс читается с мобильного, три запроса в ChatGPT, красных флагов в отчёте нет или есть план. Пятнадцать минут до любых правок.

«У нас robots в порядке» и «боты доходят» — разные вещи. Файл красивый, WAF режет — в рекомендациях тишина. Leadsy смотрит оба слоя.

Бесплатный аудит не обязывает покупать ТЗ. Но убирает лотерею с доменом. Один Disallow: / стоит дороже любого тарифа на откат.

Кто правит файл: разработчик или админ с доступом к корню. Маркетолог не трогает без снимка в аудите. Владелец утверждает, что открыто ботам.

После смены хостинга или CDN проверьте robots снова — WAF мог включиться по умолчанию. Файл тот же, боты не доходят.

User-agent: * и отдельные блоки для Googlebot, GPTBot — проверяйте, что специфичные правила не противоречат общим. Бот читает свой блок, не «среднее».

Тестовый поддомен staging.example.com с Disallow: / иногда индексируется отдельно — закройте от публики или редирект на прод.

Получить аудит