Генератор форм

Для веб-мастера

Реклама


Все заметки с меткой «индексация сайта»

Файл robots.txt. Что это такое и как его правильно составить

Рейтинг:
Дата: 16 августа 2011 Просмотров: 11838
Категория: Разное

Файл robots.txt - это файл ограничения доступа к содержимому поисковыми роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Данный файл не является обязательной составляющей сайта. Его может вообще и не быть. Но если Ваш сайт имеет какие-то скрытые страницы или файлы, которые Вы хотите закрыть их от индексации поисковыми системами, тогда файл robots.txt Вам просто необходим.

Именно этот файл поисковики ищут первым делом перед индексацией Вашего сайта для того, чтобы узнать, что нужно индексировать, а что нет. Делается это при помощи специальных команд.

Читать дальше

Нашли ошибку в тексте

Система Orphus

Простая CRM