Навигация
Категории раздела
Последние поступления
Статистика

Интересные статьи

Главная » Статьи » Для веб-мастера » Статьи полезные для веб-мастера
Путеводитель для роботов - файл robots.txt
Чтобы поисковая система знала, в каком направлении ей следует двигаться при обследовании неизвестного сайта, необходимо создать специальный путеводитель для роботов. Он именно так и называется: файл robots.txt. Его ищут роботы, когда начинают индексацию веб-ресурса и отсюда они получают все основные инструкции. Поэтому, чтобы ничего не напутать, вам нужно достоверно узнать о файле robots.txt.

Данный файл robots.txt должен храниться в корневой папке вашего сайта, здесь его надеются обнаружить поисковые роботы. С его помощью вы удачно избежите так называемого «зазеркаливания», а также сможете отключить от индексации те страницы и директории, которые не хотите делать видимыми для робота.

Как вы уже поняли из формата .txt, этот файл является текстовым, а создается он при помощи самого простого текстового редактора – Блокнота. Тут вы должны задать все необходимые параметры, после чего сохранить документ под названием robots и переместить его в «корневище» своего ресурса.

Главные параметры файла robots.txt – это User-Agent: и Disallow:. Первый указывает на то, для каких поисковиков заданы определенный действия, а второй – что нужно спрятать от индексации. Если вы поставите такую строку: User-Agent:*, то это будет значить, что действия указаны для всех поисковых роботов (обычно так все и пишут). В Disallow нужно указать непосредственно директорию, к примеру, Disallow: /folder/ или страницу: Disallow: /page.html.

В принципе, это все основные данные, которые касаются файла robots.txt. Как видите, все довольно просто и незамысловато, и чтобы справиться с данным мероприятием, не нужны особенно высокие и глубокие навыки!

Но чтобы не было лишних «зеркальных» проблем с Яндексом, лучше специально прописать для данной поисковой службы отдельный параметр, который будет указывать ему, по какому адресу индексировать сайт. Этот параметр выглядит так: host:. Если вы хотите, чтобы все страницы шли с адресом с www, то нужно будет указать домен с этим прибавлением, если же нет, то без него. К примеру, вот как должна выглядеть конечная картинка, если вы отказались от www:
User-Agent: Yandex
Host: myproject.ru.

Ну вот, это единственная тонкость, о которой стоило замолвить словечко! В остальном все пройдет легко и просто!

Категория: Статьи полезные для веб-мастера | Добавил: neuer (18.02.2012)
Просмотров: 670 | Рейтинг: 5.0/2
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Поиск
Наш опрос
Нашли то что искали на нашем сайте?
Результаты | Архив опросов
Всего ответов: 2270
Новое на форуме
Заказ ключа для программного обеспечения

Стоит ли покупать игровую валюту в Diablo?

Красивый информер "кто нас сегодня посетил" для Ucoz

Flash радио для сайта

Оптимизация системы

Наша кнопка

Диагностика

Ключи серийники для антивируса Касперский

Ключи кейген для Eset nod 32, Eset Smart Security

Лекарство кейген и русификатор для MOBILedit! Standard 6.9.0

© 2024 Softal

О материалах размещенных на сайте