Главная » DLE » Статьи DLE » Яндекс Новые правила обработки Allow файла robots.txt
Распечатать статью

Яндекс Новые правила обработки Allow файла robots.txt

Яндекс Новые правила обработки Allow файла robots.txt

Яндекс поиск вводит новые правила обработки директивы Allow файла robots.txt, об этом можно более подробно в публикации Я.РУ новые правила . Как всем известно, одним из методов управления поведения поисковым роботом на сайте разными командами , является текстовый файл robots.txt. Где можно указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Это позволяет задавать параметры доступа робота к некоторым частям сайта или сайту целиком, используется директива ‘Allow’ и Disallow .На нашем сайте www.dle9.com.
Раньше для того что бы исключить категории из поиска (запретить роботам индексировать) папки на сайте нужно было устанавливать например директиву Disallow : /catalog.

В результате любой злоумышленник , мог понять что в этой запрещенной папке находится что-то интересное, получив доступ мог скачать конфиденциальную информацию.
И так что нового предлагает Яндекс.

Пример:

User-agent: Yandex    Allow: /catalog    Disallow: /

# запрещает скачивать все, кроме страниц
# находящихся в ‘/catalog’

Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

User-agent: Yandex    Allow: /catalog    Disallow: /

# запрещает скачивать все, кроме страниц находящихся в ‘/catalog’

User-agent: Yandex    Disallow: /    Allow: /catalog

# запрещает скачивать весь сайт

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.

Источник: dle9.com

Вы можете оставить комментарий, или обратную ссылку на Ваш сайт.

Оставить комментарий

Похожие статьи