robots.txt

Для регулирования индексации сайта нужны специальные средства. Главным таким средством является файл robots.txt. Именно этот файл первоочередно ищут поисковые роботы.

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Работа с файлом robots.txt относится к внутренней поисковой оптимизации, приведение его в порядок является одним из важнейших этапов SEO.

Известный пример, доказывающий важность robots.txt — случай с SMS «Мегафона».

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>