Robots.txt — это текстовый файл, который располагается в корневой папке сайта (в папке, где лежит весь сайт). Правильная настройка данного файла позволяет поисковой системе выдать пользователям нужные страницы и файлы.
Зачем используется файл
Информацию о сайте собирает робот поисковой системы. Когда он попадает на сайт, он считывает основные файлы, к которым относится и robots.txt. В данном файле он получает инструкции:
- что можно смотреть на сайте, а что нельзя;
- где искать специальные файлы;
- где расположена карта сайта.
После этого робот отправляет данные в поисковую систему, которая изучает сайт и определяет ему позицию в поиске. Поэтому данный файл имеет важнейшее значение и может как открыть страницы для робота, так и закрыть.
В каких случаях необходимо закрывать сайт от робота (индексации)
Чаще всего, сайт закрывают частично для предотвращения взлома. В основном закрывают папки с техническими файлами, которые организуют работу сайта (в том числе админ панели). Если случаи, когда необходимо закрыть сайт полностью. К примеру, если сайт копируется в другую директорию или домен для доработки. Тогда такой сайт необходимо закрыть от робота.
Что будет, если закрыть сайт от робота
Бывают такие случае, когда ошибочно вводятся директивы в robots.txt либо сайт переносится после обновления с тестового домена на действующий. В случае, если имеется директива о запрете сайта к индексации, сайт начнет терять позиции. Поэтому важно держать файл в порядке и проверять его после обновления сайта.
Ниже представлена статистика по сайту, в котором был выставлен запрет для робота. Средняя позиция сайта в поисковой выдачи упала в течении 2 недель. Благо, такие ошибки можно исправить и вернуть сайт на прежние позиции.
Как определить блокировку сайта в файле robots.txt
Для этого понадобится блокнот или любой другой текстовый редактор. Необходимо зайти в основную папку, где находится сайт и найти там robots.txt. Далее проверить, есть ли в нем подобные директивы:
- Disallow: /
- Disallow: *
Если данные директивы отсутствуют, значит в robots.txt сайт не заблокирован. Также можно проверить корректность настройки с помощью специальной утилиты от Google или Яндекс. К ним можно получить доступ в панели вебмастера.
Если же такого файла нет вовсе, а сайт имеет несколько страниц либо подключен к системе управления сайта (CMS), рекомендуем его обязательно создать и настроить.
Если Вам необходима помощь в проверке и настройке robots.txt, можете обратиться в Woykgroup.by. Мы также настраиваем sitemap.xml!
