В связи с тем, что меня частенько стали спрашивать о meta-теге robots и его возможном применении, я и написал эту статью, в которой рассмотрел возможные значения данного meta-тега.
В конце статьи я привожу названия роботов основных поисковых систем.
Перед тем, как начать, хочу продемонстрировать синтаксис изучаемого meta-тега:
Код:
<meta name=”robots” value=” значение “>
Возможные значения meta-тега robots
* Index. Разрешает поисковым роботам индексировать страницу. Устанавливать необязательно, т.к. он стоит по умолчанию.
* Noindex. Запрещает поисковым системам отображать страницу в результатах поиска.
* None. Это то же самое, что и noindex,nofollow. Запрещает поисковым системам делать что-либо со страницей.
* Follow. Разрешает поисковым роботам следовать по ссылкам на странице.
* Nofollow. Запрещает поисковым роботам следовать по ссылкам на странице.
* Noarchive. Запрещает поисковым системам показывать закешированную копию страницы.
* Nocache. То же самое, что и noarchive, но только для MSN/Live.
* Nosnippet. Запрещает поисковым системам показывать сниппет для страницы в результатах поисковой выдачи.
* Noodp. Запрещает поисковым системам использовать в качестве сниппета для страницы сайта в результатах поисковой выдачи ее описание в каталоге DMOZ (ODP).
* Noydir. Запрещает Yahoo! использовать в качестве сниппета для страницы сайта в результатах поисковой выдачи ее описание в каталоге Yahoo! directory.
Имена роботов популярных поисковых систем
Google: GOOGLEBOT
Yahoo!: SLURP
MSN / Live: MSNBOT
Ask: TEOMA
Источник: codingrus.ru