Руководство для web-мастеров по мета-тэгу для роботов (Robots META tag)
Где размещать Robots META tag? Как и любой META tag он должен быть размещён в разделе HEAD HTML-страницы.
Что размещать в Robots META tag? Поле content для Robots META tag
содержит директивы, разделяемые запятыми. В данный момент определены
следующие директивы: [NO]INDEX и [NO]FOLLOW. Директива INDEX
определяет, должен ли робот индекировать страницу. Директива FOLLOW –
должен ли робот проследовать по ссылкам на странице. По умолчанию
заданы INDEX и FOLLOW. Значения ALL и NONE включают или выключают
директивы: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.
Несколько примеров: Обратите внимание, что значение полей name
("robots") и content не чувствительны к регистру. Вы не должны
определять конфликтующие или дублирующие директивы, например так:
Формальный синтаксис поля content для the Robots META tag: content =
all | none | directives all = "ALL" none = "NONE" directives =
directive ["," directives] directive = index | follow index = "INDEX" |
"NOINDEX" follow = "FOLLOW" | "NOFOLLOW".
