
≈ 7 мин чтения
статья · 15 ноября 2026 · инструменты
Robots.txt и sitemap.xml простыми словами: что в них и как проверить.
Зачем сайту robots.txt и sitemap.xml, какие правила в них писать, что закрывать от роботов, а что нельзя, и как проверить оба файла в Яндекс Вебмастере и Google Search Console.
У каждого сайта есть два служебных файла, которые посетители никогда не открывают, а поисковые роботы читают постоянно. Robots.txt - это правила обхода: в какие разделы роботу не нужно заходить. Sitemap.xml - карта сайта: список страниц, которые вы хотите показать поисковику. Оба лежат в корне сайта, и проверить, есть ли они у вас, можно за минуту: откройте в браузере адреса ваш-сайт.ру/robots.txt и ваш-сайт.ру/sitemap.xml.

Два файла, которые поисковик читает первыми
У каждого сайта есть два служебных файла, которые посетители никогда не открывают, а поисковые роботы читают постоянно. robots.txt - это правила обхода: в какие разделы роботу не нужно заходить. sitemap.xml - карта сайта: список страниц, которые вы хотите показать поисковику. Оба лежат в корне сайта, и проверить, есть ли они у вас, можно за минуту: откройте в браузере адреса ваш-сайт.ру/robots.txt и ваш-сайт.ру/sitemap.xml.
Владельцу бизнеса не нужно писать эти файлы самому - обычно их создаёт разработчик или CMS. Но понимать, что в них, полезно: одна неверная строка в robots.txt способна убрать из обхода целый раздел услуг, а устаревшая карта сайта годами подсовывает роботу удалённые страницы. Ниже - что эти файлы умеют, чего не умеют, как составить robots.txt без опасных ошибок и как проверить оба файла.

Что такое robots.txt и как он устроен
Файл robots.txt - обычный текстовый файл из нескольких строк-правил. Каждое правило начинается с названия директивы. Справка Яндекса называет поддерживаемые:
- User-agent - для какого робота правила ниже.
User-agent: *означает «для всех»,User-agent: Yandex- только для роботов Яндекса. - Disallow - что не обходить.
Disallow: /cart/закрывает корзину и всё, что начинается с этого адреса. - Allow - что обходить можно, даже если родительский раздел закрыт.
- Sitemap - где лежит карта сайта, например
Sitemap: https://ваш-сайт.ру/sitemap.xml. - Clean-param - директива Яндекса: подсказывает, какие параметры в адресе не меняют содержимое страницы, чтобы робот не считал разными страницами одну и ту же с разными метками.
Из спецсимволов Яндекс понимает два: звёздочку * - любая последовательность символов, и знак $ - конец адреса. Важно помнить, что правило работает как начало адреса: Disallow: /about закроет не только страницу /about, но и /about-us/, и всё, что начинается так же.
Требования к самому файлу простые: он называется robots.txt, лежит в корне сайта, отвечает кодом 200 и весит не больше 500 КБ. Кириллица в нём запрещена - домен на кириллице записывают в Punycode. Если файл не соответствует требованиям, Яндекс считает сайт полностью открытым для обхода.
Директив Host и Crawl-delay в списке поддерживаемых Яндексом нет. Если робот слишком нагружает сервер, скорость обхода настраивают в Яндекс Вебмастере: «Индексирование» → «Скорость обхода».
Чего robots.txt не умеет
Самое частое заблуждение - что robots.txt убирает страницы из поиска. Это не так:
- Закрытая страница может остаться в выдаче. Яндекс прямо пишет, что такие страницы могут оставаться в поиске. Google добавляет, что запрещённая к обходу страница иногда появляется в результатах без описания - если на неё ведут ссылки.
- Чтобы убрать страницу из поиска, нужен noindex - метатег в коде страницы или HTTP-заголовок. И такую страницу нельзя одновременно закрывать в robots.txt: робот должен зайти на неё, чтобы увидеть запрет.
- Это не защита. Файл открыт всем, и правила в нём - рекомендация: крупные поисковики их соблюдают, но не каждый робот обязан. Документы, договоры и личные кабинеты защищают паролем на сервере, а не строкой в robots.txt.
Что закрывать, а что оставлять открытым
robots.txt нужен, чтобы робот не тратил время на страницы без пользы для поиска. Обычно закрывают:
- корзину, оформление заказа и личный кабинет;
- результаты поиска по сайту;
- служебные разделы и технические папки CMS;
- адреса с параметрами сортировки, фильтров и рекламных меток - если они плодят дубли. Как устроить фильтры в каталоге, мы разбирали в статье про SEO для интернет-магазина.
А вот что закрывать нельзя: страницы услуг и товаров, разделы, которые вы продвигаете, файлы стилей, скриптов и картинок, без которых страница выглядит иначе. Google в своей справке советует не блокировать такие ресурсы, если без них роботу сложнее понять страницу.
Типичная авария выглядит так: сайт разрабатывали на тестовом адресе с правилом Disallow: /, а при переносе на боевой домен его забыли убрать. Сайт целиком закрыт, и трафик из поиска постепенно уходит. Поэтому robots.txt - первое, что проверяют после запуска и при редизайне сайта.
Что такое sitemap.xml и что в него класть
Карта сайта sitemap.xml - список адресов, которые вы считаете важными. Он помогает поисковику быстрее найти новые и глубоко спрятанные страницы. Если на страницу почти не ведут ссылки с других страниц сайта, робот может долго её не замечать - карта сайта и продуманная внутренняя перелинковка решают эту проблему вместе.
Что важно знать о формате:
- Формат - XML (рекомендуемый) или простой TXT, где адреса идут по одному в строке. Кодировка - UTF-8.
- Ограничения - не больше 50 000 адресов и 50 МБ в несжатом виде на один файл. Если страниц больше, карту делят на несколько файлов и собирают их в файл индекса Sitemap.
- Теги. Обязательный -
loc, адрес страницы. Дата измененияlastmodполезна, если она честная. Google прямо пишет, что игнорируетpriorityиchangefreq; Яндекс учитываетpriorityпри выборе очерёдности обхода. - Только свои адреса - ссылки в карте должны вести на тот же домен, где лежит файл.
В карту кладут только канонические страницы, которые отвечают кодом 200: без редиректов, без страниц, закрытых в robots.txt или через noindex, без дублей с метками. И главное - sitemap.xml не гарантирует индексацию. И Яндекс, и Google называют его подсказкой: решение о том, показывать ли страницу в поиске, система принимает сама.
В большинстве CMS карта сайта формируется автоматически. Проверьте, что она обновляется при добавлении страниц и не содержит удалённых адресов.
Как проверить оба файла
- Яндекс Вебмастер: «Инструменты» → «Анализ robots.txt». Здесь видна ошибка в синтаксисе, есть история изменений файла, а в поле «Разрешены ли URL?» можно проверить, открыт ли конкретный адрес.
- Карта сайта в Вебмастере: проверить файл можно инструментом «Анализ файлов Sitemap», а сообщить о нём - в разделе «Индексирование» → «Файлы Sitemap» или строкой в robots.txt.
- Google Search Console: в настройках есть отчёт о robots.txt - он пришёл на смену старому инструменту проверки. Карту сайта отправляют в отчёте «Файлы Sitemap».
Проверка robots.txt и карты сайта нужна после каждого релиза, переезда на новую CMS или хостинг. Остальные разделы Вебмастера, на которые стоит смотреть регулярно, собраны в статье о Вебмастере для владельца бизнеса. А если robots.txt и карта сайта - часть большой проверки, удобнее заказать её целиком в рамках SEO-продвижения.
Коротко
- robots.txt говорит роботу, куда не ходить; sitemap.xml - какие страницы важны.
- robots.txt лежит в корне, отвечает кодом 200, весит до 500 КБ и пишется латиницей.
- Запрет в robots.txt не убирает страницу из поиска - для этого нужен noindex.
- Не закрывайте продвигаемые страницы, стили и скрипты; проверяйте файл после каждого релиза.
- В sitemap.xml - только канонические страницы с кодом 200, до 50 000 адресов в файле.
- Оба файла проверяются в Яндекс Вебмастере и Google Search Console.
Частые вопросы
Нужен ли robots.txt маленькому сайту?
Без файла поисковики считают, что обходить можно всё. Для сайта-визитки это не катастрофа, но короткий robots.txt со ссылкой на карту сайта и закрытыми служебными разделами всё равно полезен.
Как убрать страницу из поиска?
Поставить на неё метатег noindex или отдать HTTP-заголовок с запретом индексации и оставить её открытой в robots.txt, чтобы робот увидел запрет. Если страница больше не нужна, её можно удалить.
Нужно ли обновлять sitemap.xml вручную?
Обычно нет: CMS или плагин пересобирают карту при появлении новых страниц. Вручную стоит проверить, что карта действительно обновляется и в ней нет удалённых адресов и редиректов.
Можно ли закрыть сайт от всех, пока он в разработке?
Можно, правилом Disallow: /, но надёжнее закрыть тестовую версию паролем. И обязательно уберите запрет в день запуска.
подписывайтесь
Там то, что не попадает на сайт.
Мы регулярно выкладываем свежие посты, которые будут полезны для каждого владельца бизнеса. Получайте ещё больше полезной информации для развития в сети
статьи
Другие, не менее интересные статьи.

разборы
Точечные улучшения вместо переделки: что доработать на сайте и когда это выгоднее
Разбираем, какие части сайта можно улучшать по отдельности, как найти слабые места, в каком порядке вести правки и когда точечная работа уже не спасает и пора думать о новом проекте.
читать статью15 ноября 2026ux / дизайн
Единый стиль ленты в соцсетях: палитра, шрифты и шаблоны без скуки
Рассказываем, как построить единый визуальный стиль ленты в соцсетях: выбрать палитру и шрифты, подготовить шаблоны и обложки и сохранить разнообразие, чтобы подписчики не заскучали.
читать статью14 ноября 2026маркетинг
Ретаргетинг: как вернуть посетителей, которые ушли без заявки
Кого из ушедших посетителей стоит догонять рекламой, как настроить ретаргетинг в Яндекс Директе и VK Рекламе и как понять, что он приносит продажи, а не только дешёвые заявки.
читать статью14 ноября 2026FAQ
FAQ.
Да, мы предлагаем комплексное продвижение в социальных сетях: разработку стратегии, создание контента, таргетированную рекламу и аналитику результатов.
Мы предоставляем доступ к Trello/Asana, где вы можете видеть все этапы работы. Также проводим регулярные созвоны и отправляем отчёты о проделанной работе.
Да, мы работаем с поэтапной оплатой. Вы платите за каждый завершённый этап работы согласно утверждённому плану.
Сроки зависят от сложности проекта. В среднем разработка сайта занимает от 2 до 6 недель. Мы всегда предоставляем точные сроки до начала работ.
Мы можем работать как с вашим контентом, так и предложить услуги копирайтеров для создания уникальных текстов и подбора изображений.
Цена складывается из объёма работ, сложности функционала, дизайна и дополнительных услуг (контент, интеграция с crm и т. Д.). Мы предоставляем детальную смету с разбивкой по этапам.
С аудита: изучаем бизнес, аудиторию и задачи и формируем чёткую стратегию. Затем фиксируем условия в договоре, согласуем детали и запускаем работу. Результаты показываем в цифрах и по ним усиливаем рост проекта.
Оставить заявку можно в любое время - наши операторы перезвонят вам в течение суток. Офис работает по будням с 10:00 до 19:00.
Остались вопросы? Возможно, мы уже знаем ответ
свяжемся в течение рабочего дня

помогаем бизнесу расти
Готовы к росту?
Оставьте заявку на сайте и наши менеджеры свяжутся с вами в течение рабочего дня




