Сайт за създаване на файла, правилната настройка на насоки с примери, проверете - SEO блог Pingo

Предишен ◈ Следващото

Robots.txt - това е, защо имаме нужда и където е живота?

По този начин, първата образователна програма за тези, които са напълно незапознати с въпроса.

Robots.txt - текстов файл, съдържащ инструкции за сайт индексиране за търсачките. В този файл на уеб администратор може да определи параметрите на индексирането на сайта за всички роботи наведнъж, както и за всяко търсене индивидуално система (например Google).







Структурата и правилната настройка на файла robots.txt

1. Директива User-Agent

Какво да пиша в този раздел? Тази директива се посочва, че за някои това е робот, проектиран инструкциите по-долу. Например, ако те са предназначени за всички роботи, достатъчно е да се проектира, както следва:

Синтаксисът характер файла robots.txt "*" еквивалент на израза "нищо." Ако искате да зададете инструкции за определена търсеща машина или робот, звездите на мястото на предишния пример е написано името, например:

Всяка система за търсене, има набор от роботи, които изпълняват специфични функции. Yandex търсачката роботи са описани тук. В общи линии има следния текст:







  • Yandex - посочване на робота Yandex.
  • GoogleBot - Google индексира основния робота.
  • MSNbot - основен индексиране робот Bing.
  • Апортна - апортна роботи.
  • Mail.ru - роботи PS поща.

Ако има директива за определена търсачка или робот, генералът игнорирани.

2. Оставете директива

Позволява отделна секция на страницата, ако, да речем, по-рано беше напълно затворен от индексация. Например:

User-Agent: *
Disallow: /
Позволете: /otkrytaya-stranitsa.html

В този пример, ние не се даде възможност за индексиране на целия сайт, освен poni.html страница

Тази директива се използва до известна степен да покаже, изключения от правилата, определени от забраните директива. Ако няма такива ситуации, директивата не може да се използва на всички. Тя не позволява да се отвори сайта, за да бъдат индексирани, както мнозина мислят, защото ако не съществува забрана, тип Disallow: /, а след това той е отворен по подразбиране.

2. директива Disallow

Е обратното на Allow директива и затваря индексирането от отделни страници, секции или в целия сайт. Това е аналог на Noindex етикет. Например:

User-Agent: *
Забрани: /zakrytaya-stranitsa.html

3. Директива Host

Тя се използва единствено за Yandex и точки за първично огледало сайт. Тя изглежда по този начин.

Основното огледало без WWW:







Предишен ◈ Следващото