Главная » Записи с тегом "robots.txt"

Рубрики с меткой ‘robots.txt’

Командный файл поисковиков — Robots.txt

В этой краткой статье мы доступно рассматриваем команды robots.txt для поисковых роботов с примерами и советами реализации. Если Вы не знаете, что это такое, но у Вас есть сайт, обязательно прочтите эту статью, возможно, Вы найдете причину того, из-за чего к вам не заходят поисковики или отыщите причину утечки секретной информации

robots.txt — это обычный текстовый файл, наличие которого самым первым проверяют поисковые роботы из-за того, что им, возможно, не придется индексировать этот сайт, а соответственно, его время не будет потеряно зря. Читать далее »

Создаем Robots.txt для DataLife engine

Имея кучу сайтов на DLE, сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), конечно же, Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида “my-dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента.
Вообще, причины вспомнить о robots.txt могут быть разными, к примеру, в этом заветном файле можно передать Sitemap Google’у и Яндексу не заходя в панель вебмастера.
Читать далее »

Яндекс Новые правила обработки Allow файла robots.txt

Яндекс Новые правила обработки Allow файла robots.txt

Яндекс поиск вводит новые правила обработки директивы Allow файла robots.txt, об этом можно более подробно в публикации Я.РУ новые правила . Как всем известно, одним из методов управления поведения поисковым роботом на сайте разными командами , является текстовый файл robots.txt. Где можно указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Это позволяет задавать параметры доступа робота к некоторым частям сайта или сайту целиком, используется директива ‘Allow’ и Disallow .На нашем сайте www.dle9.com.
Раньше для того что бы исключить категории из поиска (запретить роботам индексировать) папки на сайте нужно было устанавливать например директиву Disallow : /catalog. Читать далее »

Советы robots.txt для Datalife Engine DLE

При создании сайтов на DLE, иногда сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), а Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида “my-dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента. Основная причины в не правильной настройке файла robots.txt

В этой статье и пойдет речь о настройках robots.txt
Изучив материал в интернете и полазив по форуму и официальным мануалам поисковиков, можно сказать, что люди часто не читают руководств и ошибаются, к примеру, в robots.txt нет директивы “Allow” есть только“Disallow” Читать далее »

Идеальная конфигурация файла robots.txt для WordPress блога

Файл robots.txt — это специальный текстовый файл, хранящийся в корневом каталоге веб-сайта и указывающий поисковым роботам, какие файлы необходимо индексировать, а какие — оградить от индексации. Для достижения хороших SEO показателей файл robots.txt должен быть идеально сконфигурирован. Индексация всех без исключения файлов и папок, хранящихся в WordPress, может привести к плачевным результатам, поскольку система имеет множество страниц, содержащих дублирующий контент: страницы рубрик, страницы меток, страницы архивов и т.д. При индексации у поискового робота, естественно, возникнет вопрос, каким страницам отдать свое предпочтение и вывести в индекс. Чтобы не возникало такой двойственности, необходимо тщательно отнестись к настройке файла robots.txt. Читать далее »

Делаем Robots.txt

Сегодня я хочу вам рассказать о файле robots.txt. И попытаюсь вам помочь его сделать его, если ещё у вас его нету.

Robots.txt – это файл находящийся в корне вашего сайта, в котором содержаться инструкции для роботов поисковых систем. В нём можно запрещать индексацию страниц, категорий, папок вашего сайта. Указывать правильное зеркало домена и карты sitemap.xml.

И ещё много разных функций. Но я вам сегодня расскажу об основных. И файл robots.txt я буду делать для движка блогов WordPress. И я вам сразу говорю, если у вас сайт на DataLife Engine (то-есть DLE) вы можете не читать эту статью. Так как там уже по умолчанию идёт файл robots.txt и вам не надо ничего делать. Читать далее »

Проблемы SEO и решения для улучшения оптимизации phpBB3

Множество людей думает, что технология SEO в основном используется для генерации «человечески понятных ссылок». Однако технология создания человечки понятных ссылок почти не затрагивает SEO. Это лишь небольшая часть SEO, и вообще истолковывается чрезвычайно неправильно. Множество людей искренне верят, что «человечески понятные ссылки» — единственный метод, с помощью которого поисковые серверы могут правильно проиндексировать сайт, или что они являются наилучшим решением для поисковых роботов, индексирующих сайты. Ещё в народе гуляет мнение, что динамические ссылки, так или иначе, уменьшают ранжирование поисковых серверов, или вывод результатов поиска на поисковых сайтах. Но в действительно дело обстоит не так. Человечки понятные ссылки главным образом приносят пользу поисковым серверам за счёт ключевых слов на странице, то есть такие ссылки как бы усиливают ключевые слова страницы и заголовки тем, которые поисковые серверы используют для индексации. Поисковые серверы легко индексируют как динамические, так и человечески понятные статические ссылки. Польза от статических ссылок — минимальна.

SEO умер! Да здравствует SEO!

Другая сторона медали — некоторые люди считают, что вообще не стоит тратить время на оптимизацию (SEO). Эти люди не верят, что какая-либо форма оптимизации может иметь положительное воздействие на сайт. Обычно эти люди никогда напрямую не связывались с SEO, или слышали только обманы от людей, занимающихся SEO. Они полагают, что сегодня SEO больше не имеет никакого влияния на интернет. Но эти люди в действительности не понимают, что означает SEO, или для чего оно предназначено, и поэтому так говорят в результате своей неопытности или невежества.

Данная статья адресована обеим сторонам, и предназначена на то, чтобы дать людям лучшее понимание того, чем является SEO и его целесообразность в phpBB3. Данная статья также включает описание проблем в phpBB3, непосредственно связанных с работой поисковых серверов, и решения для предотвращения этих проблем.

Что такое SEO?

SEO (Search Engine Optimisation) определяется как любое действие или настройка (также известная как оптимизация), выполняемая на сайте для улучшения объёма и качества трафика к вашему сайту или конференции от поисковых серверов, используя результаты поиска целенаправленных ключевых слов. Оптимизация SEO может включать один или несколько из возможных методов. От осуществления человеческих понятных ссылок и грамотного распределения ключевых слов, к маркетингу, к добавлению страниц или каталогов, которые не должны индексироваться, в файл robots.txt. Всё это в совокупности называется оптимизация для поисковых серверов (SEO). Читать далее »