При создании сайтов на DLE, иногда сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), а Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида “my-dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента. Основная причины в не правильной настройке файла robots.txt

В этой статье и пойдет речь о настройках robots.txt
Изучив материал в интернете и полазив по форуму и официальным мануалам поисковиков, можно сказать, что люди часто не читают руководств и ошибаются, к примеру, в robots.txt нет директивы “Allow” есть только“Disallow” Читать далее »