В процессе редизайна или разработки сайта нередко возникают ситуации, когда необходимо временно предотвратить посещение ресурса поисковыми роботами и закрыть его от индексации. Сделать это можно с помощью файла robots.txt, расположенного в корне сайта.
Найти и отредактировать файл можно через файловый менеджер хостинга, по FTP или через административную панель сайта, если такая возможность предусмотрена CMS.
Чтобы закрыть сайт от индексации поисковым роботом Google, можно использовать следующие строки:
User-agent: Googlebot
Disallow: /Чтобы закрыть сайт для всех поисковых роботов, используется правило:
User-agent: *
Disallow: /Закрытие отдельной папки
С помощью файла robots.txt можно закрыть от сканирования отдельную папку сайта. В этом случае поисковому роботу будет запрещён доступ ко всем URL, начинающимся с указанного пути.
User-agent: *
Disallow: /papka/При необходимости можно отдельно разрешить доступ к определённым файлам внутри закрытой папки с помощью директивы Allow.
Например:
User-agent: *
Disallow: /papka/
Allow: /papka/file.htmlПри наличии нескольких правил, которые относятся к одному и тому же URL, поисковые системы учитывают наиболее специфичное правило. Как правило, более длинный и точный путь имеет больший приоритет.
Например, можно закрыть определённый вложенный каталог, оставив остальные страницы родительского раздела доступными:
User-agent: *
Allow: /papka/kartinki/
Disallow: /papka/kartinki/logotip/В этом случае каталог /papka/kartinki/logotip/ будет закрыт для сканирования, а остальные URL внутри /papka/kartinki/ останутся доступными.
Закрытие отдельного файла
Отдельный файл закрывается по тому же принципу. Необходимо указать полный путь к файлу, доступ к которому нужно ограничить.
User-agent: *
Disallow: /papka/kartinka.jpgЕсли требуется закрыть всю папку, но оставить доступ к определённому файлу внутри неё, можно использовать директиву Allow:
User-agent: *
Allow: /papka/kartinka.jpg
Disallow: /papka/Проверка файла robots.txt
После внесения изменений рекомендуется проверить файл robots.txt и убедиться, что необходимые страницы действительно доступны или закрыты для поисковых роботов.
Проверку можно выполнить с помощью инструментов Яндекс Вебмастера, Google Search Console или других специализированных сервисов для анализа robots.txt.
Закрытие изображений
Если необходимо ограничить сканирование изображений определённых форматов, можно использовать правила Disallow.
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$Следует учитывать, что правила в robots.txt запрещают или ограничивают сканирование URL поисковыми роботами, но сами по себе не гарантируют удаление уже проиндексированных изображений или страниц из результатов поиска.
Можно ли закрыть поддомен?
Да. Для поддомена необходимо использовать отдельный файл robots.txt, расположенный непосредственно на этом поддомене.
Например, для поддомена test.example.ru правила должны находиться по адресу:
https://test.example.ru/robots.txtЕсли необходимо полностью закрыть поддомен от сканирования поисковыми роботами, можно использовать:
User-agent: *
Disallow: /Это особенно актуально для тестовых версий сайта, технических поддоменов и копий ресурса.
Закрытие сайта или страницы с помощью метатега robots
Для запрета индексации отдельной страницы можно использовать метатег robots. Его необходимо размещать внутри секции <head> HTML-документа.
<meta name="robots" content="noindex, nofollow">Также можно использовать сокращённый вариант:
<meta name="robots" content="none">Значение noindex запрещает добавление страницы в поисковый индекс, а nofollow указывает поисковому роботу не переходить по ссылкам на странице.
При необходимости можно задать отдельное правило для конкретного поискового робота.
Для Google:
<meta name="googlebot" content="noindex, nofollow">Для Яндекса:
<meta name="yandex" content="noindex, nofollow">При закрытии тестового или разрабатываемого сайта рекомендуется не ограничиваться только файлом robots.txt. Для более надёжной защиты можно дополнительно использовать авторизацию по логину и паролю или ограничение доступа на уровне веб-сервера.
