meta-теги robots

102

синтаксис досліджуваного meta-тега:

Можливі значення meta-тега robots:

  • Index. Дозволяє пошуковим роботам індексувати сторінку. Встановлювати необов’язково, оскільки він стоїть за умовчанням.
  • Noindex. Забороняє пошуковим системам відображати сторінку в результатах пошуку.
  • None. Це те ж саме, що і noindex,nofollow. Забороняє пошуковим системам робити що-небудь зі сторінкою.
  • Follow. Дозволяє пошуковим роботам слідувати посилання на сторінці.
  • Nofollow. Забороняє пошуковим роботам слідувати посилання на сторінці.
  • Noarchive. Забороняє пошуковим системам показувати закешированную копію сторінки.
  • Nocache. Те ж саме, що і noarchive, але тільки для MSN/Live.
  • Nosnippet. Забороняє пошуковим системам показувати фрагментом сторінки в результатах пошукової видачі.
  • Noodp. Забороняє пошуковим системам використовувати в якості фрагменту для сторінки сайту в результатах пошукової видачі її опис в каталозі DMOZ (ODP).
  • Noydir. Забороняє Yahoo! використовувати в якості фрагменту для сторінки сайту в результатах пошукової видачі її опис в каталозі Yahoo! directory.

Імена роботів популярних пошукових систем

Google: GOOGLEBOT
Yahoo!: SLURP
MSN / Live: MSNBOT
Ask: TEOMA