≈ 7 мин чтения

статья · 15 ноября 2026 · инструменты

Robots.txt и sitemap.xml простыми словами: что в них и как проверить.

Зачем сайту robots.txt и sitemap.xml, какие правила в них писать, что закрывать от роботов, а что нельзя, и как проверить оба файла в Яндекс Вебмастере и Google Search Console.

написал

Евгений

Евгений

программист · опыт 14 лет

тема

Инструменты

дата

15 ноября 2026

У каждого сайта есть два служебных файла, которые посетители никогда не открывают, а поисковые роботы читают постоянно. Robots.txt - это правила обхода: в какие разделы роботу не нужно заходить. Sitemap.xml - карта сайта: список страниц, которые вы хотите показать поисковику. Оба лежат в корне сайта, и проверить, есть ли они у вас, можно за минуту: откройте в браузере адреса ваш-сайт.ру/robots.txt и ваш-сайт.ру/sitemap.xml.

Два файла, которые поисковик читает первыми

У каждого сайта есть два служебных файла, которые посетители никогда не открывают, а поисковые роботы читают постоянно. robots.txt - это правила обхода: в какие разделы роботу не нужно заходить. sitemap.xml - карта сайта: список страниц, которые вы хотите показать поисковику. Оба лежат в корне сайта, и проверить, есть ли они у вас, можно за минуту: откройте в браузере адреса ваш-сайт.ру/robots.txt и ваш-сайт.ру/sitemap.xml.

Владельцу бизнеса не нужно писать эти файлы самому - обычно их создаёт разработчик или CMS. Но понимать, что в них, полезно: одна неверная строка в robots.txt способна убрать из обхода целый раздел услуг, а устаревшая карта сайта годами подсовывает роботу удалённые страницы. Ниже - что эти файлы умеют, чего не умеют, как составить robots.txt без опасных ошибок и как проверить оба файла.

Руки раскладывают на столе бумажный план здания без надписей

Что такое robots.txt и как он устроен

Файл robots.txt - обычный текстовый файл из нескольких строк-правил. Каждое правило начинается с названия директивы. Справка Яндекса называет поддерживаемые:

  • User-agent - для какого робота правила ниже. User-agent: * означает «для всех», User-agent: Yandex - только для роботов Яндекса.
  • Disallow - что не обходить. Disallow: /cart/ закрывает корзину и всё, что начинается с этого адреса.
  • Allow - что обходить можно, даже если родительский раздел закрыт.
  • Sitemap - где лежит карта сайта, например Sitemap: https://ваш-сайт.ру/sitemap.xml.
  • Clean-param - директива Яндекса: подсказывает, какие параметры в адресе не меняют содержимое страницы, чтобы робот не считал разными страницами одну и ту же с разными метками.

Из спецсимволов Яндекс понимает два: звёздочку * - любая последовательность символов, и знак $ - конец адреса. Важно помнить, что правило работает как начало адреса: Disallow: /about закроет не только страницу /about, но и /about-us/, и всё, что начинается так же.

Требования к самому файлу простые: он называется robots.txt, лежит в корне сайта, отвечает кодом 200 и весит не больше 500 КБ. Кириллица в нём запрещена - домен на кириллице записывают в Punycode. Если файл не соответствует требованиям, Яндекс считает сайт полностью открытым для обхода.

Директив Host и Crawl-delay в списке поддерживаемых Яндексом нет. Если робот слишком нагружает сервер, скорость обхода настраивают в Яндекс Вебмастере: «Индексирование» → «Скорость обхода».

Чего robots.txt не умеет

Самое частое заблуждение - что robots.txt убирает страницы из поиска. Это не так:

  • Закрытая страница может остаться в выдаче. Яндекс прямо пишет, что такие страницы могут оставаться в поиске. Google добавляет, что запрещённая к обходу страница иногда появляется в результатах без описания - если на неё ведут ссылки.
  • Чтобы убрать страницу из поиска, нужен noindex - метатег в коде страницы или HTTP-заголовок. И такую страницу нельзя одновременно закрывать в robots.txt: робот должен зайти на неё, чтобы увидеть запрет.
  • Это не защита. Файл открыт всем, и правила в нём - рекомендация: крупные поисковики их соблюдают, но не каждый робот обязан. Документы, договоры и личные кабинеты защищают паролем на сервере, а не строкой в robots.txt.

Что закрывать, а что оставлять открытым

robots.txt нужен, чтобы робот не тратил время на страницы без пользы для поиска. Обычно закрывают:

  • корзину, оформление заказа и личный кабинет;
  • результаты поиска по сайту;
  • служебные разделы и технические папки CMS;
  • адреса с параметрами сортировки, фильтров и рекламных меток - если они плодят дубли. Как устроить фильтры в каталоге, мы разбирали в статье про SEO для интернет-магазина.

А вот что закрывать нельзя: страницы услуг и товаров, разделы, которые вы продвигаете, файлы стилей, скриптов и картинок, без которых страница выглядит иначе. Google в своей справке советует не блокировать такие ресурсы, если без них роботу сложнее понять страницу.

Типичная авария выглядит так: сайт разрабатывали на тестовом адресе с правилом Disallow: /, а при переносе на боевой домен его забыли убрать. Сайт целиком закрыт, и трафик из поиска постепенно уходит. Поэтому robots.txt - первое, что проверяют после запуска и при редизайне сайта.

Что такое sitemap.xml и что в него класть

Карта сайта sitemap.xml - список адресов, которые вы считаете важными. Он помогает поисковику быстрее найти новые и глубоко спрятанные страницы. Если на страницу почти не ведут ссылки с других страниц сайта, робот может долго её не замечать - карта сайта и продуманная внутренняя перелинковка решают эту проблему вместе.

Что важно знать о формате:

  • Формат - XML (рекомендуемый) или простой TXT, где адреса идут по одному в строке. Кодировка - UTF-8.
  • Ограничения - не больше 50 000 адресов и 50 МБ в несжатом виде на один файл. Если страниц больше, карту делят на несколько файлов и собирают их в файл индекса Sitemap.
  • Теги. Обязательный - loc, адрес страницы. Дата изменения lastmod полезна, если она честная. Google прямо пишет, что игнорирует priority и changefreq; Яндекс учитывает priority при выборе очерёдности обхода.
  • Только свои адреса - ссылки в карте должны вести на тот же домен, где лежит файл.

В карту кладут только канонические страницы, которые отвечают кодом 200: без редиректов, без страниц, закрытых в robots.txt или через noindex, без дублей с метками. И главное - sitemap.xml не гарантирует индексацию. И Яндекс, и Google называют его подсказкой: решение о том, показывать ли страницу в поиске, система принимает сама.

В большинстве CMS карта сайта формируется автоматически. Проверьте, что она обновляется при добавлении страниц и не содержит удалённых адресов.

Как проверить оба файла

  • Яндекс Вебмастер: «Инструменты» → «Анализ robots.txt». Здесь видна ошибка в синтаксисе, есть история изменений файла, а в поле «Разрешены ли URL?» можно проверить, открыт ли конкретный адрес.
  • Карта сайта в Вебмастере: проверить файл можно инструментом «Анализ файлов Sitemap», а сообщить о нём - в разделе «Индексирование» → «Файлы Sitemap» или строкой в robots.txt.
  • Google Search Console: в настройках есть отчёт о robots.txt - он пришёл на смену старому инструменту проверки. Карту сайта отправляют в отчёте «Файлы Sitemap».

Проверка robots.txt и карты сайта нужна после каждого релиза, переезда на новую CMS или хостинг. Остальные разделы Вебмастера, на которые стоит смотреть регулярно, собраны в статье о Вебмастере для владельца бизнеса. А если robots.txt и карта сайта - часть большой проверки, удобнее заказать её целиком в рамках SEO-продвижения.

Коротко

  • robots.txt говорит роботу, куда не ходить; sitemap.xml - какие страницы важны.
  • robots.txt лежит в корне, отвечает кодом 200, весит до 500 КБ и пишется латиницей.
  • Запрет в robots.txt не убирает страницу из поиска - для этого нужен noindex.
  • Не закрывайте продвигаемые страницы, стили и скрипты; проверяйте файл после каждого релиза.
  • В sitemap.xml - только канонические страницы с кодом 200, до 50 000 адресов в файле.
  • Оба файла проверяются в Яндекс Вебмастере и Google Search Console.

Частые вопросы

Нужен ли robots.txt маленькому сайту?

Без файла поисковики считают, что обходить можно всё. Для сайта-визитки это не катастрофа, но короткий robots.txt со ссылкой на карту сайта и закрытыми служебными разделами всё равно полезен.

Как убрать страницу из поиска?

Поставить на неё метатег noindex или отдать HTTP-заголовок с запретом индексации и оставить её открытой в robots.txt, чтобы робот увидел запрет. Если страница больше не нужна, её можно удалить.

Нужно ли обновлять sitemap.xml вручную?

Обычно нет: CMS или плагин пересобирают карту при появлении новых страниц. Вручную стоит проверить, что карта действительно обновляется и в ней нет удалённых адресов и редиректов.

Можно ли закрыть сайт от всех, пока он в разработке?

Можно, правилом Disallow: /, но надёжнее закрыть тестовую версию паролем. И обязательно уберите запрет в день запуска.

подписывайтесь

Там то, что не попадает на сайт.

Мы регулярно выкладываем свежие посты, которые будут полезны для каждого владельца бизнеса. Получайте ещё больше полезной информации для развития в сети

статьи

Другие, не менее интересные статьи.

разборы

Точечные улучшения вместо переделки: что доработать на сайте и когда это выгоднее

Разбираем, какие части сайта можно улучшать по отдельности, как найти слабые места, в каком порядке вести правки и когда точечная работа уже не спасает и пора думать о новом проекте.

читать статью15 ноября 2026

ux / дизайн

Единый стиль ленты в соцсетях: палитра, шрифты и шаблоны без скуки

Рассказываем, как построить единый визуальный стиль ленты в соцсетях: выбрать палитру и шрифты, подготовить шаблоны и обложки и сохранить разнообразие, чтобы подписчики не заскучали.

читать статью14 ноября 2026

маркетинг

Ретаргетинг: как вернуть посетителей, которые ушли без заявки

Кого из ушедших посетителей стоит догонять рекламой, как настроить ретаргетинг в Яндекс Директе и VK Рекламе и как понять, что он приносит продажи, а не только дешёвые заявки.

читать статью14 ноября 2026

FAQ

FAQ.

Да, мы предлагаем комплексное продвижение в социальных сетях: разработку стратегии, создание контента, таргетированную рекламу и аналитику результатов.

Мы предоставляем доступ к Trello/Asana, где вы можете видеть все этапы работы. Также проводим регулярные созвоны и отправляем отчёты о проделанной работе.

Да, мы работаем с поэтапной оплатой. Вы платите за каждый завершённый этап работы согласно утверждённому плану.

Сроки зависят от сложности проекта. В среднем разработка сайта занимает от 2 до 6 недель. Мы всегда предоставляем точные сроки до начала работ.

Мы можем работать как с вашим контентом, так и предложить услуги копирайтеров для создания уникальных текстов и подбора изображений.

Цена складывается из объёма работ, сложности функционала, дизайна и дополнительных услуг (контент, интеграция с crm и т. Д.). Мы предоставляем детальную смету с разбивкой по этапам.

С аудита: изучаем бизнес, аудиторию и задачи и формируем чёткую стратегию. Затем фиксируем условия в договоре, согласуем детали и запускаем работу. Результаты показываем в цифрах и по ним усиливаем рост проекта.

Оставить заявку можно в любое время - наши операторы перезвонят вам в течение суток. Офис работает по будням с 10:00 до 19:00.

Остались вопросы? Возможно, мы уже знаем ответ

свяжемся в течение рабочего дня

помогаем бизнесу расти

Готовы к росту?

Оставьте заявку на сайте и наши менеджеры свяжутся с вами в течение рабочего дня

Обсудить проект.

ваши контакты
какая у вас задача?