Често задавани въпроси • Случаен

Какво е файлът robots.txt?

Файлът robots.txt контролира достъпа на търсачките на сайта, позволявайки или ограничаване на индексацията на съдържанието. Научете как да го създадете и конфигурирате ефективно.

Прегледи 800Актуализиран 1 anПубликувано на 15/10/2018до Cătălin Adrian

Въведение

Файлът robots.txt е прост текстов файл, който е част от протокола за изключване на роботи (REP - Robots Exclusion Protocol). Той съдържа инструкции за търсачките относно начина, по който да имат достъп до сайта и да го индексират. За да има ефект, файлът robots.txt трябва да бъде поставен в кореновата папка на сайта (например, https://домен.ro/robots.txt).

Важността на файла robots.txt

Файлът robots.txt е от решаващо значение за управлението на взаимодействието на роботите с сайта. Има много роботи, които могат агресивно да индексират сайта, което може да повлияе на неговото представяне. Чрез използването на този файл можете:

  • Контролирайте достъпа на търсачките до съдържанието на сайта.
  • Позволява индексиране само от желаните роботи (напр. Google, Bing).
  • Ограничете достъпа до чувствителни папки или файлове.

Примери за използване

1. Блокиране на специфична търсачка

За да блокирате достъпа на търсачката Bing (bingbot), добавете следните редове в файла robots.txt:


User-agent: bingbotРазрешаване: /

Обяснение:
User-agent: Определя търсачката, за която се прилагат настройките.
Disallow: Определя секциите на сайта, до които робота няма достъп. Символът / блокира достъпа до целия сайт.

2. Блокиране на всички търсачки

За да предотвратите всички търсачки да достъпват сайта, използвайте:


User-agent: *Разрешаване: /

Обяснение: Символът * (wildcard) в полето User-agent се прилага за всички търсачки, а / блокира достъпа до целия сайт.

3. Блокиране на достъпа само до определени папки или файлове

За да блокирате достъпа до папка и до конкретен файл, конфигурирайте:


User-agent: *Disallow: /blog/Disallow: /newsletter.php

Обяснение: Всички търсачки ще бъдат блокирани да индексират папката /blog/ и файла newsletter.php.

Създаване на файла robots.txt

За да създадете файл robots.txt, можете да използвате онлайн генератор, който ви помага да персонализирате правилата бързо и без грешки. Примери за онлайн генератори можете да намерите чрез търсене: Генератор robots.txt.

След като създадете файла, качете го в кореновата директория на сайта, като използвате файлов мениджър или FTP клиент.