Штембуляк Андрей.

...или как ограничить доступ поисковиков к страницам сайта.
Сейчас тяжело представить себе серьезный интернет проект без CMS. Соответственно система управления контентом должна быть доступна только для администраторов и контент-менеджеров сайта, пользователям и поисковым роботам доступ к страницам данного раздела должен быть закрыт. Ограничения от "любопытных" пользователей заслуживают отдельной темы, сегодня мы поговорим о том как дать понять гуглам, яндексам и пр. что определенные страница нашего сайта в индексации не нуждаются. Для этого существуют два способа: robots.txt и meta robots.

При этом robots.txt является самым популярным - заслуженно ли, вот в чем вопрос. Давайте разберемся.

robots.txt

Синтаксис:

User-agent: *
Disallow: /admin/
Disallow: /admin

User-agent: *

Указываем всем поисковым роботам (возможно и конкретизировать - googlebot например)

Disallow: /admin/

Запрещаем для индексации все станицы раздела admin

Disallow: /admin

Указываем если генерируется таже страница что и в примере выше, как правило так оно и есть.

meta robots

Синтаксис:

<meta name="robots" content="noindex,nofollow" />

noindex

Запрещаем индексацию страницы

nofollow

Запрещаем индексацию ссылок данной страницы

В рамках данной статьи мы не будем рассматривать дополнительный синтаксис обоих способов, об этом написано достаточно много.
Теперь вернемся к главной теме нашего разговора - какой из способов лучше для ограничения доступа к определенным страницам сайта?
Основным недостатком robots.txt является прозрачность служебных линков, не предназначенных для "любопытных" пользователей.
Т.е. Для того чтобы просмотреть содержимое robots.txt достаточно набрать в адресной строке браузера http://site.com/robots.txt
Возьмем к примеру http://israbox.com/robots.txt - сразу видно что вход в CMS /admin.php

Поэтому несмотря на большую "популярность" способа robots.txt считаю более безопасным указывать запрещенные для индексации страницы через meta robots.