robots.txt
robots.txt — це текстовий файл для пошукових роботів, який підказує їм, які розділи сайту можна або не можна сканувати. Його назва походить від стандарту виключення роботів, а англійською це Robots Exclusion Protocol. У SEO цей файл допомагає керувати обходом сторінок і не витрачати ресурси краулерів на другорядний або технічний вміст.
Як працює файл robots.txt
Пошуковий робот спершу звертається до цього файлу в корені домену, а вже потім переходить до сторінок сайту. У ньому можна вказати правила для різних ботів: дозволити доступ до одних шляхів і заборонити до інших. Найчастіше там обмежують сканування службових папок, кошика, фільтрів, сторінок сортування або технічних параметрів URL.
Файл не приховує сторінку від індексації сам по собі. Якщо посилання на заборонену сторінку є з інших ресурсів, пошукова система може знати про її існування, навіть не скануючи вміст. Тому robots.txt корисний саме для керування обходом, а не для повного захисту даних.
Основні директиви
- User-agent — для якого робота діють правила.
- Disallow — шлях, який не слід сканувати.
- Allow — виняток або дозволений підшлях у межах заборони.
- Sitemap — вказівка на XML-карту сайту для швидшого знаходження важливих сторінок.
Правила читаються як інструкції для краулерів, але різні системи можуть тлумачити їх із невеликими відмінностями. Через це файл потрібно писати просто й без суперечливих записів. Неправильна директива здатна випадково обмежити важливі сторінки або, навпаки, відкрити зайве для сканування.
Де він корисний у SEO
robots.txt застосовують, коли треба зменшити навантаження на сайт, уникнути дублювання технічних сторінок і підказати роботам пріоритетні розділи. Він особливо доречний для великих інтернет-магазинів, медіа, сайтів із параметрами фільтрів і системною структурою URL. Для приватних чи чутливих даних одного robots.txt недостатньо — для цього потрібні інші засоби контролю доступу.
Приклад логіки налаштування
Якщо на сайті є службова папка з внутрішніми файлами, її можна закрити від сканування, а карту сайту — окремо вказати для головних сторінок. Так робот швидше знаходить корисний контент і менше витрачає ресурси на технічні URL. У підсумку robots.txt стає інструментом керування видимістю сайту для пошукових систем на рівні обходу, а не ранжування.
