При создании сайтов на
В этой статье и пойдет речь о настройках robots.txt
Изучив материал в интернете и полазив по форуму и официальным мануалам поисковиков, можно сказать, что люди часто не читают руководств и ошибаются, к примеру, в robots.txt нет директивы “Allow” есть только“Disallow”
Для начала давайте выясним, что нужно сделать для лучшей индексации сайта:
Хорошая индексация нужных страниц сайта
Запрет ненужных страниц в индексе поисковым системам (всё равно вылетят из индекса)
Установка зеркала для Яндекса
Итак разберемся по порядку. Для начала запретим индексировать всем поисковым роботам страницы для печати:
User-agent: *Disallow: /*print
Уберём из индекса страницы без контента (они рано или поздно всё выпадут):
Disallow: /autobackup.phpDisallow: /admin.phpDisallow: /engine/go.phpDisallow: /user/Disallow: /statistics.html
В зависимости от уровня Вашей паранойи можно добавить также:
Disallow: /newposts/Disallow: /favorites/Disallow: /*subaction=userinfoDisallow: /*do=lastcommentsDisallow: /*do=feedbackDisallow: /*do=registerDisallow: /*do=lostpasswordDisallow: /*do=addnewsDisallow: /*do=statsDisallow: /*do=pm
Все прекрасно знаю, насколько Sitemap полезен для индексации сайта. Теперь нам нужно добавить его для Поисковых систем.
Идём в админ панель -> другие разделы -> в самом низу заходим в «Google Sitemap». Оставляем все настройки по умолчанию и жмём «создать/обновить». Сверху должна появиться надпись вида «25.01.2009 10:37 файл индекса для Google Sitemap был создан и доступен по адресу: http://my-dle-site/sitemap.xml».
Теперь даём знать о нём поисковикам: Sitemap: http://my-dle-site /sitemap.xml
Добавляем основное зеркало для Яндекса, чтобы не было недоразумений с его стороны) Идём по адресу:
http://yandex.ru/yandsearch?serverurl=my-dle-site
Важно посмотреть как проиндексирован Ваш сайт с www или без. Добавляем в robots.txt директиву вида:
User-agent: YandexHost: my-dle-site
my-dle-site, если сайт в индексе без www, и наоборот. Если сайт ещё не проиндексирован Yandex, то указывайте так, как Вам больше
нравится видеть Ваш сайт.
Вот и всё. Правильный robots.txt для
User-agent: *Disallow: /*printDisallow: /autobackup.phpDisallow: /admin.phpDisallow: /engine/go.phpDisallow: /user/Disallow: /newposts/Disallow: /favorites/Disallow: /statistics.htmlDisallow: /*subaction=userinfoDisallow: /*do=lastcommentsDisallow: /*do=feedbackDisallow: /*do=registerSitemap: http://my-dle-site.ru/sitemap.xmlUser-agent: YandexHost: my-dle-site
Потратив 5 минут на создание такого файла можно значительно облегчить себе/поисковикам жизнь/работу в дальнейшем.
Источник: dle9.com