Сьогодні поговоримо про те, як використовувати файл robots.txt. Але для початку давайте розберемося, для чого власне потрібен файл robots.txt? Файл robots.txt призначений для того, щоб вказати пошуковим роботам пошукових систем які файли і папки необхідно заборонити індексувати.
Ні для кого не секрет, що спам в інтернеті це величезна проблема. Часто на пошту приходять у величезній кількості спам листи, але там вони відмінно фільтруються і потрапляють в папку спаму. Але що ж робити власникам блогів спамери постійно залишають повідомлення.