Сьогодні поговоримо про те, як використовувати файл robots.txt. Але для початку давайте розберемося, для чого власне потрібен файл robots.txt? Файл robots.txt призначений для того, щоб вказати пошуковим роботам пошукових систем які файли і папки необхідно заборонити індексувати.
Всі блоги, перераховані нижче, мають оригінальний, неповторний дизайн. Вони не засновані на деяких готових до використання шаблонів WordPress. Вони зроблені самі власниками блогів — тому вони заслуговують на повагу та захоплення.