Случается, что нам необходимо частично или полностью запретить индексацию страницы. Возможно, вы не хотите появления рекламы, ссылок или различных страничек, показывающих результаты поиска. Для того, чтобы повлиять на индексацию страниц, существую различные методы. Попробуем их рассмотреть ниже для поисковых систем Яндекс и Google.
Прежде всего, запретить индексации можно с помощью файла robots.txt, который позволяет ограничить доступ роботов-поисковиков к некоторым страницам сайта. К примеру, чтобы создать файл, запрещающий доступ всех роботов к скрипту корзины в Интернет- магазине пишут программку, которая будет выглядеть следующим образом:
User-agent:
disallow: /basket.php.
В Яндексе роботу поисковой системы можно указывать главное зеркало сайта, и именно оно будет показываться, как результат поиска. Это связано с тем, что система Яндекс поддерживает директиву Host в файлах robots.txt.
Если вы хотите, чтобы главным был домен www.site.ru, именно он указывается в программе, например
User-agent:Yandex / disallow: /forum / host:www.site.ru. Если желаете сделать главным домен site.ru, тогда именно его и указывайте после host, это будет вышдядеть следующим образом: « User-agent:Yandex / disallow: /forum / host: site.ru».
Можно использовать и другие директивы, не только Host, но и SSI и делать так, чтобы роботы обходили все хосты, кроме указанных, например User-agent: www.site.ru / disallow: / В этом примере прописан запрет на все хосты, кроме www.site.ru.
Поисковая система Яндекс прекрасно понимает и консорциум Тег noindex, хотя он до сих пор и не признан официально. Чтобы запретить индексацию какой-либо части текста, noindex с обеих сторон закрывается тегами.
С текстовыми файлами robots.txt у поисковой системы Google ситуация, аналогичная Яндексу, кроме директивы Host.
Запретить поисковой программе перейти по какой-либо ссылке, можно используя rel="nofollow". Этот атрибут поддерживается программами MSN и Yahoo.
В Google можно установить контроль за некоторыми частями страниц или блоков ссылок., используя теги, googleoff/googleon. Сделать это довольно просто. Если вы не хотите, чтобы индексировалось какое-либо слово, например Мерседес во фразе, «автомобили Мерседес хорошо продаются», вы пишите автомобили ‹!—googleoff: index--›Мерседес‹!—googleon: index--› хорошо продаются. В этом случае проиндексируются все слова, кроме, Мерседес. Подобным образом между открывающими и закрывающими тегами можно разместить какую-нибудь фразу или слово, которого не будет видно в результатах поиска. К сожалению, теги googleoff/googleon не актуальны для обычной поисковой системы google, а работают только для Google Search Appliance и Google Mini. Существуют теги, которые очень хорошм для работы web – мастеров, создающих и размещающих рекламу на своих сайтах, к таким тегам можно отнести google_ad_section_start и google_ad_section_end.
Это всего лишь несколько методов, позволяющих влиять на индексацию страниц в Яндекс и Google.