Який правильний файл robots.txt для блогу?

145

В інтернеті можна знайти не один пост про створення robots.txt. Крім опису всіх його функцій, майже кожен блогер показує свій приклад створення файлу robots.txt і радить його всім.

Коли я тільки переїхав на свій домен, то і в мене з’явилася потреба створення файлу robots.txt для мого блогу. Знайшовши в інтернеті серед сотень статей не менш зрозумілу, я на її прикладі створив свій файл.

Але через деякий час виявилося, що даний файл не дуже гарний і тоді один з блогерів запропонував мені допомогу у створенні robots.txt. Вірніше він прислав мені вже готовий файл. Затока його на хостинг, я більше до нього не торкався. Виглядає він зараз ось так.

Сьогодні читаючи блог Google Adsense, натрапив на пост, де радять тим, хто крутить рекламу Adsense на блозі, прописати у файлі robots.txt наступні два рядки:

User-agent: Mediapartners-Google
Disallow:

Перш ніж прописати дані рядки, я вирішив подивитися на robots.txt інших блогерів. як раз читаючи блог Сергія Кокшарова — Devaka, набрав в адресному рядку його файл роботс, ось, що побачив там:

Файл robots.txt

Я ніколи не бачив такого файлу, тому скрін скинув в Твіттер, і через деякий час Сергій відповів на цей твіт написавши наступне:

Твит о robots.txt

Я показав Сергію мій файл, на що він мені відповів наступне:

Еще твит о файле robots.txt

Зрозуміло одне, що Сергій швидше за все проводить якийсь експеримент, і поки він не говорить про це. Але мені зараз це не дуже допомагає, так як пройшовшись по блогах блогерів яких я читаю, я бачив цікаву ситуацію, у багатьох ці файли ідентичні, лише у деяких блогерів robots.txt відрізнявся. І це якщо чесно, зовсім поставило мене в тупик.

Виходить, що кожен створює даний файл як йому хочеться. Зрозуміло, що ні єдиного файлу для всіх і хто то пише кілька рядків, а хто то розписує від душі рядка robots.txt. Але на жаль ні де я так і не зміг знайти відповіді що правильно, а що ні при складанні файлу robots.txt. Мільйон блогів, стільки ж блогерів і кожен пише і радять свою версію цього файлу, але так ні хто і не може сказати який правильний з них.

Вірніше сказати, який robots.txt оптимальніше підходить до вашого блогу, те, що радять все або те що ви самі придумали для себе. Питання так і залишилося відкритим:

Який правильний файл robots.txt для блогу?

Цікаво так само дізнатися як ви створювали свій файл, використовували шаблони з інших сайтів або самі «складали» файл robots.txt