синтаксис досліджуваного meta-тега:
Можливі значення meta-тега robots:
- Index. Дозволяє пошуковим роботам індексувати сторінку. Встановлювати необов’язково, оскільки він стоїть за умовчанням.
- Noindex. Забороняє пошуковим системам відображати сторінку в результатах пошуку.
- None. Це те ж саме, що і noindex,nofollow. Забороняє пошуковим системам робити що-небудь зі сторінкою.
- Follow. Дозволяє пошуковим роботам слідувати посилання на сторінці.
- Nofollow. Забороняє пошуковим роботам слідувати посилання на сторінці.
- Noarchive. Забороняє пошуковим системам показувати закешированную копію сторінки.
- Nocache. Те ж саме, що і noarchive, але тільки для MSN/Live.
- Nosnippet. Забороняє пошуковим системам показувати фрагментом сторінки в результатах пошукової видачі.
- Noodp. Забороняє пошуковим системам використовувати в якості фрагменту для сторінки сайту в результатах пошукової видачі її опис в каталозі DMOZ (ODP).
- Noydir. Забороняє Yahoo! використовувати в якості фрагменту для сторінки сайту в результатах пошукової видачі її опис в каталозі Yahoo! directory.
Імена роботів популярних пошукових систем
Google: GOOGLEBOT
Yahoo!: SLURP
MSN / Live: MSNBOT
Ask: TEOMA
