Генератор форм

Для веб-мастера

Реклама


Все заметки с меткой «robots.txt»

Файл robots.txt. Что это такое и как его правильно составить

Рейтинг:
Дата: 16 августа 2011 Просмотров: 11656
Категория: Разное

Файл robots.txt - это файл ограничения доступа к содержимому поисковыми роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Данный файл не является обязательной составляющей сайта. Его может вообще и не быть. Но если Ваш сайт имеет какие-то скрытые страницы или файлы, которые Вы хотите закрыть их от индексации поисковыми системами, тогда файл robots.txt Вам просто необходим.

Именно этот файл поисковики ищут первым делом перед индексацией Вашего сайта для того, чтобы узнать, что нужно индексировать, а что нет. Делается это при помощи специальных команд.

Читать дальше

Облако тегов

Нашли ошибку в тексте

Система Orphus

Простая CRM

Твиттер Facebook Google plus RSS