Създаване на сайт

Понякога уебмастър може да се наложи да се затвори с индексирането на сайта. Този проблем се решава лесно с помощта на файла robots.txt. Може да попитате: "А какво уебмастъри близо портал си от индексиране роботи?" Някои от страниците са затворени за да се избегне лошите индексиране роботи на търсачките, или за да се избегне филтрите за търсене на двигателя (да, това се случва), поради която не е уникална ... съдържание, както и по-често, за да затворите чрез индексиране на различни видове отпадъци в ССФ като например под формата на страниците на двойки. администратор, тема oforleniya.

Файлът robots.txt - текстов файл се намира в главната директория на хостинга, в които конкретни действия се записват за страници, блогове записи, снимки и т.н.

Търсачката паяци при наближаване на сайта веднага търси файла robots.txt и да видите инструкциите в този файл напусна уебмастър за търсачките.

robots.txt инструкции файл може да

Файлът robots.txt се състои от две основни инструкции: «User-агент" и "Забрани» с помощта на която и е описано, че търсачката паяци за индексиране и какво да пропуснете. Някои търсачки също подкрепят допълнителни инструкции. Така например, търсачката на «Yandex» използва «Водещ» инструкция отново.

Нека разгледаме по-подробно всеки записи с инструкции и които правят уебмастъри след тях в файла robots.txt

Инструкции файл robots.txt «User-Agent»

Тази инструкция определя за всички роботи за търсене, за да направят забраната или позволяват индексни страници (каталог). Ако ние искаме да направим забраната или възможност за индексирането на всички роботи, следният текст се прави във файла robots.txt:

robots.txt «Disallow» Инструкции файлове

Ако сложите "/", то ще бъде за забрана на всички директории и страници ресурси.

Ако го направите, има забрана за индексиране на цялата директория «/ изображение /«, това е, всички подпапки.

Ако направите такъв запис ще забраната за индексиране на определена страница «/page1-small.htm«

Ако не искате да направите, направете забрана на всички страници или директории, оставете празно място да се напише:

Един от най-важните правила на правилното архив на robots.txt файл с правила - всяка нова инструкция е написана на нов ред.

Yandex инструкция robots.txt «Водещ» файл

Yandex инструкция файл robors.txt «Crawl-закъснение»

Тази инструкция robots.txt определя минималния интервал в секунди между заявките, за да изтеглите страниците на сайта за индексиране роботи (използвани за намаляване на натоварването на сървъра).

Инструкции файл robots.txt «посещение време»

Това твърдение показва robots.txt роботите изтеглят време на страници, за да бъде индексиран (от 1 часа до 3:45 GMT).

По мое мнение, много удобно нещо! Например, ние се направят някои промени, а след това pritopal един от ботовете - "не е поканен гост" и всички яли с право (няма право) ... промени. Знаеш ли, не е добро. Ето защо, не забравяйте да поставите това правило е за лодки с необходимия срок посещения.

Примери за robots.txt файлове.

За всички роботи сайт е напълно достъпна за индексиране.

За всички системи за обхождане на сайта са забранени за индексиране каталози »/ изображения /. / Бутони /. / Themes / «

Файлът robots.txt за WordPress блог:

Файлът robots.txt за Joomla:

Файлът robots.txt за Drupal:

Файлът robots.txt за MODx Evo.

robot.txt файл за MODx Revo.

Сайт, оптимизирана за мобилни устройства от WPSmart Mobile