aKorf.ru

Человеческий Интернет-Маркетинг

Что такое robots.txt?

robots.txtОдной из составных частей seo-оптимизации и продвижения в последствии является файл robots.txt.

Сам по себе файл является ограничителем для поисковых ботов. robots.txt говорит им что можно "трогать", а что нельзя. Это обычный текстовый файл, а находится он должен в корне сайта, чтоб проверить это стоит написать http://ваш-сайт/robots.txt, предварительно залив его через ftp на сервер. Когда поисковый бот начнет индексировать ваш сайт, первым делом он попробует найти robots.txt и если его нет он просканирует все содержимое сайта.

В robots.txt вы можете запретить индексировать некоторые объекты или страницы своего сайта, тем самым облегчив индексацию. Если у вас есть какой-то ВИП раздел сайта, не нужно его скрывать в robots.txt, так как даже если поисковик его и не увидит, то его с легкостью могут найти ваши конкуренты или те, кто просто хочет что-то сделать плохое. В данном случае лучше использовать noindex в мета-тегах.

Если вы не хотите ничего скрывать, но уже создали файл robots.txt, стоит написать в нем следующие строки: User-Agent: * Disallow: Поле "User-Agent" говорит о обращении к поисковым системам, а "*" в данном случае обозначает условие для всех поисковиков.

Поле "Disallow" означает, что какой-то конкретный раздел сайта или отдельная страница закрыта. Если после "Disallow" ничего не указано, то это значит, что весь сайт доступен для поисковых ботов. Для большинства сайтов этих двух условий хватает.

Если на вашем сайте есть страница для печати, ее стоит закрыть: User-Agent: * Disallow: /printer/




Слэш должен стоять до и после папки.

Если вы хотите изменить условие только для одного бота какой-то конкретной поисковой системы нужно написать так: User-Agent: googlebot Disallow: /archives/printer/ В этом случае только бот Google не сможет проиндексировать вашу папку или страницу. Также можно написать такое условие: User-agent: * Disallow: Sitemap : http://ваш-сайт/sitemap.xml Здесь мы разрешаем всем ботам поисковых систем индексировать все содержимое и указываем карту сайта, по которой бот проще сможет найти то, что ему и нам нужно.

Вот примерная схема поведения ботов с robots.txt и без него:

 robots.txt

Если захотите разобраться больше, стоит почитать документацию. Экспериментируйте, товарищи.

Ссылки от партнеров:

 
Отзывов нет

Ваше сообщение

Пожалуйста, введите свои данные и комментарий ниже.
Имя
E-mail
Сайт
Сообщение