robots.txt — это один из главных технических файлов сайта, который сообщает поисковым роботам и другим краулерам, какие разделы сайта можно или нельзя сканировать.
Раньше большинство владельцев сайтов думали о robots.txt в контексте Google, Яндекса, Bing и классического SEO. Сейчас появился новый важный вопрос:
как настроить robots.txt для ChatGPT, OpenAI-краулеров и AI-поиска?
Для ChatGPT особенно важно понимать разницу между тремя user-agent:
— OAI-SearchBot;
— GPTBot;
— ChatGPT-User.
Это разные боты с разными задачами. Ошибка в настройке может привести к тому, что сайт не будет нормально появляться в ChatGPT Search, или наоборот — будет открыт там, где владелец хотел ограничить использование контента.
OpenAI в документации указывает, что использует веб-краулеры и user-agent для разных продуктов: автоматически или по запросу пользователя. Для управления работой сайта с AI через robots.txt используются OAI-SearchBot и GPTBot, при этом их настройки независимы друг от друга. Например, сайт может разрешить OAI-SearchBot для появления в поиске ChatGPT и одновременно запретить GPTBot, чтобы указать, что контент не должен использоваться для обучения генеративных моделей OpenAI.
Краткий ответ
Для большинства коммерческих сайтов, которые хотят появляться в ChatGPT Search, но не хотят отдавать контент для обучения моделей, базовая логика такая:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap_index.xmlЧто это значит:
— OAI-SearchBot разрешён — сайт может участвовать в поисковых функциях ChatGPT;
— GPTBot запрещён — сайт показывает, что контент не должен использоваться для обучения генеративных AI-моделей;
— служебные разделы WordPress закрыты;
— sitemap.xml указан для поисковых систем.
Но это не универсальный рецепт для всех. Настройка зависит от цели сайта:
— хотите ли вы быть в ChatGPT Search;
— хотите ли вы разрешать обучение моделей на контенте;
— есть ли закрытые разделы;
— используется ли Cloudflare или WAF;
— есть ли страницы, которые нельзя показывать в поиске;
— нужна ли максимальная AI-видимость бренда.
Что такое robots.txt
robots.txt — это текстовый файл в корне сайта.
Обычно он доступен по адресу:
https://site.ru/robots.txt
Этот файл показывает роботам, какие разделы сайта можно или нельзя сканировать.Пример:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap_index.xmlВажно понимать: robots.txt — это не пароль и не защита от людей. Это инструкция для добросовестных роботов. Если нужно действительно закрыть страницу от доступа, используются авторизация, серверные правила, noindex, запрет в CMS или другие методы.
Почему robots.txt стал важен для ChatGPT
ChatGPT всё чаще используется как поисковый и рекомендательный интерфейс. Пользователь может спросить:
— кто делает сайты под заявки;
— как попасть в ChatGPT Search;
— что такое AIO;
— как выбрать SEO-специалиста;
— какие компании занимаются AI-автоматизацией;
— какие источники лучше объясняют GEO-продвижение.
Если сайт открыт для релевантных краулеров и содержит полезный контент, у него появляется больше шансов быть обнаруженным, процитированным или связанным с ответом в ChatGPT Search.
OpenAI указывает, что ранжирование в ChatGPT Search зависит от ряда факторов, которые помогают пользователям находить надёжную и релевантную информацию, и что гарантировать верхнее размещение нельзя. Но для включения сайта важно разрешить OAI-SearchBot сканировать сайт и убедиться, что хостинг или CDN пропускают трафик с опубликованных IP-адресов OpenAI.
Кто такой OAI-SearchBot
OAI-SearchBot — это поисковый робот OpenAI.
Он используется для показа сайтов в поисковых функциях ChatGPT. В официальной документации OpenAI указано, что сайты, которые отказались от OAI-SearchBot, не будут показываться в ответах ChatGPT Search, хотя могут появляться как навигационные ссылки. Чтобы повысить шанс появления сайта в search results, OpenAI рекомендует разрешить OAI-SearchBot в robots.txt и разрешить запросы с опубликованных IP-диапазонов.
Базовое правило:
User-agent: OAI-SearchBot
Allow: /Для чего нужен OAI-SearchBot:
— участие сайта в ChatGPT Search;
— обнаружение публичных страниц;
— возможность попадать в summaries и snippets;
— возможность появления сайта как источника;
— отслеживание переходов из ChatGPT в аналитике.
OpenAI также указывает, что для включения контента сайта в summaries и snippets в ChatGPT нужно убедиться, что OAI-SearchBot не заблокирован, а при необходимости обновить robots.txt.
Кто такой GPTBot
GPTBot — это другой бот OpenAI.
Он связан не с поиском ChatGPT, а со сканированием контента, который может использоваться для обучения генеративных AI-моделей. OpenAI описывает GPTBot как бота, который используется для обхода контента, потенциально применяемого в обучении foundation models. Запрет GPTBot означает, что владелец сайта указывает: контент сайта не должен использоваться для обучения генеративных моделей.
Базовый запрет:
User-agent: GPTBot
Disallow: /Когда запрещать GPTBot:
— если вы не хотите, чтобы контент сайта использовался для обучения моделей;
— если на сайте много авторского экспертного контента;
— если сайт публикует платные или уникальные материалы;
— если у компании осторожная политика по AI;
— если нужно разделить “поиск” и “обучение”.
Когда можно разрешить GPTBot:
— если вы хотите максимально открыть публичный контент для OpenAI;
— если сайт заинтересован в широком использовании материалов;
— если нет ограничений по обучению моделей;
— если контент создан именно для распространения.
Пример разрешения:
User-agent: GPTBot
Allow: /Но для большинства коммерческих сайтов аккуратнее использовать раздельный подход:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Так сайт остаётся доступным для ChatGPT Search, но показывает запрет на использование контента для обучения через GPTBot.
Кто такой ChatGPT-User
ChatGPT-User — это user-agent, который используется при некоторых действиях пользователя в ChatGPT или Custom GPT.
Например, пользователь попросил ChatGPT открыть или проанализировать конкретную страницу. В таком случае ChatGPT может посетить веб-страницу с user-agent ChatGPT-User.
Важно: OpenAI указывает, что ChatGPT-User не используется для автоматического сканирования всего веба. Эти действия инициируются пользователем, поэтому правила robots.txt могут не применяться. Также ChatGPT-User не используется для определения того, может ли контент появляться в Search; для управления Search opt-out и автоматическим обходом нужно использовать OAI-SearchBot в robots.txt.
Это ключевой момент.
ChatGPT-User — это не аналог Googlebot и не замена OAI-SearchBot.
Он нужен для пользовательских действий, а не для регулярного поискового сканирования сайта.
Таблица: OAI-SearchBot, GPTBot и ChatGPT-User
| User-agent | Для чего используется | Управляется через robots.txt | Что делать сайту |
|---|---|---|---|
| OAI-SearchBot | Поисковые функции ChatGPT, показ сайтов в ChatGPT Search | Да | Обычно разрешить, если нужна AI-видимость |
| GPTBot | Сканирование контента, который может использоваться для обучения моделей | Да | Разрешить или запретить в зависимости от политики сайта |
| ChatGPT-User | Действия, инициированные пользователем в ChatGPT или Custom GPT | Не всегда, так как действие инициировано пользователем | Не использовать для управления Search |
| OAI-AdsBot | Проверка посадочных страниц рекламы в ChatGPT Ads | Да | Разрешать, если запускаете рекламу в ChatGPT Ads |
OAI-AdsBot не является главной темой этой статьи, но его важно не путать с OAI-SearchBot. OpenAI указывает, что OAI-AdsBot используется для проверки посадочных страниц рекламы в ChatGPT Ads, а для рекламодателей он важнее с точки зрения проверки объявлений.
Какая настройка robots.txt нужна большинству сайтов
Для большинства сайтов услуг, блогов, экспертных проектов и B2B-сайтов я бы рекомендовал такую схему:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap_index.xmlДля Drive of Marketing:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://driveofmarketing.ru/sitemap_index.xmlЭта логика хорошо подходит, если сайт хочет:
— участвовать в ChatGPT Search;
— получать AI-видимость;
— отслеживать переходы из ChatGPT;
— не открывать контент для потенциального обучения моделей через GPTBot;
— сохранить стандартные SEO-настройки для WordPress.
Вариант 1. Максимальная AI-видимость
Если сайт хочет максимально открыть публичный контент для OpenAI:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Allow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap_index.xmlПодходит для:
— открытых баз знаний;
— проектов, которые хотят широкого распространения контента;
— публичной документации;
— образовательных ресурсов;
— медиа, которые хотят максимальной AI-доступности.
Риск: контент может использоваться шире, чем вы ожидаете.
Вариант 2. Поиск разрешён, обучение запрещено
Это самый сбалансированный вариант для коммерческого сайта:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap_index.xmlПодходит для:
— digital-агентств;
— сайтов услуг;
— экспертных блогов;
— B2B-компаний;
— коммерческих проектов;
— сайтов с авторским контентом.
Смысл: “мы хотим быть видны в ChatGPT Search, но не хотим использовать контент для обучения моделей через GPTBot”.
Вариант 3. Полный запрет для OpenAI-краулеров
Если сайт не хочет участвовать ни в ChatGPT Search, ни в сканировании для обучения:
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /Подходит для:
— закрытых проектов;
— сайтов с чувствительными материалами;
— ресурсов с платным контентом;
— сайтов, где AI-видимость не нужна;
— проектов с жёсткой политикой по AI.
Минус: сайт теряет возможность нормально появляться в ChatGPT Search через OAI-SearchBot.
Вариант 4. Запрет отдельных разделов
Можно разрешить сайт в целом, но закрыть конкретные разделы.
User-agent: OAI-SearchBot
Allow: /
Disallow: /private/
Disallow: /clients/
Disallow: /internal/
Disallow: /wp-admin/Для GPTBot:
User-agent: GPTBot
Disallow: /Это полезно, если:
— блог открыт;
— услуги открыты;
— кейсы открыты;
— но есть служебные или клиентские разделы.
Нужно ли закрывать wp-admin
Да, служебные разделы WordPress закрывать нужно.
Стандартный блок:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php/wp-admin/ не должен сканироваться.
/wp-login.php тоже лучше закрыть.
/wp-admin/admin-ajax.php обычно оставляют открытым, потому что он может использоваться темой или плагинами для корректной работы сайта.
Нужно ли закрывать страницы с параметрами
Часто да.
Если на сайте есть фильтры, параметры, поиск по сайту или мусорные URL, их лучше ограничивать.
Примеры:
Disallow: /?s=
Disallow: /*?replytocom=
Disallow: /*?filter=
Disallow: /*?sort=
Disallow: /*?utm_Но с параметрами нужно быть аккуратным. Иногда параметры используются для важных страниц, фильтров каталога или аналитики.
Для блога и сайта услуг обычно безопаснее закрывать внутренний поиск:
Disallow: /?s=Нужно ли использовать noindex вместе с robots.txt
Да, но важно понимать разницу.
robots.txt запрещает сканирование.
noindex запрещает индексацию.
Если вы закрыли страницу в robots.txt, робот может не увидеть noindex, потому что не сможет зайти на страницу.
OpenAI в FAQ для издателей указывает похожую логику: если URL запрещён для сканирования, но получен из другого источника, может быть показана только ссылка и заголовок; если вы не хотите такого показа, используйте noindex, но crawler должен иметь возможность прочитать meta-тег.
Правильная логика:
— если страницу нельзя сканировать вообще — закрывайте в robots.txt;
— если страницу можно сканировать, но нельзя показывать в поиске — используйте noindex;
— если страница конфиденциальная — закрывайте доступ авторизацией или серверными правилами, а не только robots.txt.
robots.txt не решает всё: Cloudflare, WAF и 403
Даже если robots.txt настроен правильно, OpenAI-краулеры могут не попасть на сайт.
Причины:
— Cloudflare;
— Akamai;
— WAF;
— DDoS-защита;
— Bot Fight Mode;
— CAPTCHA;
— JavaScript challenge;
— блокировка user-agent;
— блокировка IP;
— geo-блокировки;
— rate limiting;
— ошибки 403, 401, 429.
OpenAI предупреждает, что системы веб-защиты могут ошибочно блокировать легитимных краулеров и часто возвращать 403 Forbidden. Также CAPTCHA, JavaScript challenges и другие проверки “на человека” могут блокировать автоматизированные системы даже при правильном robots.txt.
Поэтому после настройки robots.txt нужно проверить:
— логи сервера;
— Cloudflare Security Events;
— firewall rules;
— Bot Fight Mode;
— rate limiting;
— ответы 403/429;
— доступность страниц;
— CDN-настройки.
Как проверить robots.txt для ChatGPT
Шаг 1. Откройте robots.txt
https://driveofmarketing.ru/robots.txtШаг 2. Проверьте наличие блока OAI-SearchBot
Должно быть:
User-agent: OAI-SearchBot
Allow: /Шаг 3. Проверьте GPTBot
Если не хотите использовать контент для обучения моделей:
User-agent: GPTBot
Disallow: /Если хотите разрешить:
User-agent: GPTBot
Allow: /Шаг 4. Проверьте служебные разделы WordPress
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.phpШаг 5. Проверьте sitemap
Sitemap: https://driveofmarketing.ru/sitemap_index.xmlЕсли Yoast SEO создаёт другой адрес, нужно указать фактический sitemap.
Как понять, что OAI-SearchBot заходит на сайт
Проверяйте логи сервера или CDN.
Ищите user-agent:
OAI-SearchBotOpenAI указывает пример user-agent для OAI-SearchBot, при этом номер версии может меняться. Также при запросе robots.txt может использоваться дополнительный маркер robots.txt, чтобы владельцам сайтов было проще отличать запросы к файлу от запросов к другим ресурсам.
Что смотреть в логах:
— HTTP-код 200;
— нет 403;
— нет 429;
— нет редиректов в капчу;
— нет блокировок firewall;
— какие URL посещались;
— не блокируется ли robots.txt;
— не режет ли Cloudflare.
Как отслеживать переходы из ChatGPT
Если сайт доступен для OAI-SearchBot и начинает появляться в ChatGPT Search, переходы можно увидеть в аналитике.
OpenAI указывает, что издатели, разрешившие OAI-SearchBot доступ к контенту, могут отслеживать referral-трафик из ChatGPT в Google Analytics и других аналитических платформах. ChatGPT автоматически добавляет UTM-параметр utm_source=chatgpt.com в referral URL.
Ищите в аналитике:
chatgpt.comutm_source=chatgpt.comreferral / chatgpt.comЧто анализировать:
— какие страницы получают переходы;
— какие статьи цитируются;
— какие темы интересны пользователям;
— есть ли заявки;
— переходят ли пользователи на услуги;
— какие CTA работают.
Частые ошибки в robots.txt для ChatGPT
Ошибка 1. Запретить всех роботов
User-agent: *
Disallow: /Такой блок может закрыть сайт от всех роботов, включая поисковые системы и AI-краулеры.
Ошибка 2. Запретить OAI-SearchBot
User-agent: OAI-SearchBot
Disallow: /Если цель — появляться в ChatGPT Search, так делать не нужно.
Ошибка 3. Разрешить GPTBot по ошибке
Если компания не хочет использовать контент для обучения, но в robots.txt стоит:
User-agent: GPTBot
Allow: /это противоречит политике сайта.
Ошибка 4. Настроить robots.txt, но заблокировать Cloudflare
Файл разрешает доступ, но Cloudflare отдаёт 403. В результате бот всё равно не получает контент.
Ошибка 5. Путать ChatGPT-User с OAI-SearchBot
ChatGPT-User не управляет попаданием сайта в Search. Для Search нужен OAI-SearchBot.
Ошибка 6. Закрыть страницу в robots.txt и ждать noindex
Если робот не может зайти на страницу, он не увидит meta noindex.
Ошибка 7. Не проверять sitemap
Если sitemap не указан или ведёт на старый URL, поисковым системам и краулерам сложнее понять структуру сайта.
Рекомендуемый robots.txt для driveofmarketing.ru
Для сайта Drive of Marketing, где важны SEO, AIO, GEO, ChatGPT Search, AI Visibility и экспертный блог, я бы использовал такой базовый вариант:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /?s=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://driveofmarketing.ru/sitemap_index.xmlПочему так:
— OAI-SearchBot открыт для ChatGPT Search;
— GPTBot закрыт для обучения;
— админка WordPress закрыта;
— внутренний поиск закрыт;
— sitemap указан;
— сайт остаётся доступным для обычного SEO.
Перед внедрением нужно проверить фактический адрес sitemap и то, нет ли на сайте важных страниц, которые случайно попадут под запрет.
Мини-чек-лист внедрения
Перед публикацией robots.txt проверьте:
— сайт не закрыт полностью;
— OAI-SearchBot разрешён;
— GPTBot настроен по вашей политике;
— WordPress-админка закрыта;
— admin-ajax.php разрешён;
— sitemap указан;
— нет битых правил;
— нет случайного запрета важных страниц;
— Cloudflare не блокирует OpenAI-краулеров;
— WAF не отдаёт 403;
— нет CAPTCHA для краулеров;
— аналитика готова отслеживать chatgpt.com.
Как robots.txt связан с AIO и GEO
robots.txt — это техническая база.
Но сам по себе он не сделает сайт видимым в AI-ответах.
Для AI-видимости нужна система:
— OAI-SearchBot открыт;
— сайт технически доступен;
— есть экспертные статьи;
— есть FAQ;
— есть Schema.org;
— есть тематические кластеры;
— есть авторство;
— есть кейсы;
— есть внутренняя перелинковка;
— есть внешние упоминания;
— отслеживаются переходы из ChatGPT.
То есть robots.txt отвечает за доступ.
AIO отвечает за понятность контента для AI.
GEO отвечает за видимость в генеративных ответах.
AI Visibility показывает, видит ли нейросеть бренд.
FAQ
Что такое OAI-SearchBot?
OAI-SearchBot — это поисковый робот OpenAI, который используется для показа сайтов в поисковых функциях ChatGPT. Если сайт хочет появляться в ChatGPT Search, OAI-SearchBot лучше разрешить в robots.txt.
Что такое GPTBot?
GPTBot — это бот OpenAI, который сканирует контент, потенциально используемый для обучения генеративных моделей. Если вы не хотите, чтобы контент использовался для обучения через GPTBot, его можно запретить в robots.txt.
Что такое ChatGPT-User?
ChatGPT-User используется при отдельных действиях пользователя в ChatGPT или Custom GPT. Он не используется для автоматического сканирования интернета и не определяет, появится ли сайт в Search. Для управления Search используется OAI-SearchBot.
Нужно ли разрешать OAI-SearchBot?
Да, если вы хотите, чтобы сайт мог появляться в ChatGPT Search. OpenAI рекомендует разрешить OAI-SearchBot и убедиться, что хостинг или CDN пропускают трафик от OpenAI.
Нужно ли запрещать GPTBot?
Это зависит от политики сайта. Если вы не хотите, чтобы контент использовался для обучения моделей, GPTBot лучше запретить. Если вы хотите максимально открыть контент для OpenAI, его можно разрешить.
Можно ли разрешить OAI-SearchBot и запретить GPTBot?
Да. OpenAI прямо указывает, что эти настройки независимы: можно разрешить OAI-SearchBot для появления в search results и запретить GPTBot, чтобы указать, что контент не должен использоваться для обучения моделей.
Почему сайт всё равно не попадает в ChatGPT Search после настройки robots.txt?
Причины могут быть разные: Cloudflare или WAF блокируют краулера, сайт отдаёт 403/429, контент слабый или нерелевантный, нет структуры, нет экспертности, сайт ещё не переобходился, или ChatGPT выбрал другие источники. OpenAI также указывает, что гарантировать верхнее размещение в ChatGPT Search нельзя.
Можно ли закрыть только часть сайта?
Да. Можно разрешить OAI-SearchBot для всего сайта и закрыть отдельные разделы:
User-agent: OAI-SearchBot
Allow: /
Disallow: /private/
Disallow: /clients/
Disallow: /internal/Нужно ли добавлять OAI-AdsBot?
Только если вы работаете с ChatGPT Ads или готовите посадочные страницы для рекламы. OAI-AdsBot нужен для проверки рекламных landing pages, а не для обычного ChatGPT Search.
Вывод
robots.txt для ChatGPT — это не просто техническая мелочь. Это важная часть SEO/AIO-архитектуры сайта.
Главное — не путать ботов OpenAI:
— OAI-SearchBot нужен для ChatGPT Search;
— GPTBot связан с потенциальным обучением моделей;
— ChatGPT-User используется для действий, инициированных пользователем, и не управляет попаданием сайта в Search.
Для большинства коммерческих сайтов оптимальный вариант такой:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap_index.xmlНо robots.txt — это только входной фильтр. Чтобы сайт реально становился видимым в AI-поиске, нужны экспертные статьи, AIO-структура, GEO-продвижение, Schema.org, понятные услуги, кейсы, FAQ, внутренняя перелинковка и аналитика переходов из ChatGPT.
Drive of Marketing помогает бизнесу готовить сайты к новой поисковой реальности: SEO, AIO, GEO, AI Visibility, ChatGPT Search, техническая оптимизация и комплексный системный маркетинг.