Въпроси и отговори (FAQ)

Се намали натоварването на сървъра и да елиминира проблема с извън обекта, когато тя е индексиране, както и подобряване на индексирането е правилно, можете да използвате «Crawl-закъснение» - директиви във файла robots.txt. Тя ви позволява да зададете интервал от време между страницата за изтегляне от сървъра, който стабилизира работата на ресурса в многобройните искания за индексиране. На първо място, това е важно за големи сайтове и ресурси, незадоволително качество хостинг.

Ръководейки се от "правилата на поведение", описан в преписката, роботът започва да изтеглите от страниците на вашия сайт себе си в базата данни, тяхното индексиране и класиране, след което потребителите могат да намерят ресурс на заявки за търсене. В някои случаи (на голям брой страници на сайта, слаб хостинг) на адрес робот към сървъра се обременяват, което води до площадката за временно спре да работи. Този проблем, и има за цел да реши директива «Crawl-закъснение», където можете да поискате Yandex "направи дим почивка" между края на инжектиране на една страница и началото на друг. Това се отчита като цяло и частични стойности. Например, за да зададете време от 6.5 секунди, пише:

User-Agent: Yandex
Crawl-забавяне: 6.5

Това не означава, че роботът ще трябва да изтеглите страницата точно на интервали от 6.5 секунди, но определя минималният срок между повиквания към сървъра.

Тъй като директивата "разбират", не всички търсачките, той трябва да бъде поставен в края на в robots.txt правила файлови след Disallow (или Разреши):

User-Agent: *
Disallow: / за
Crawl-забавяне: 6.5

Директивата дава уебмастъри ръцете на допълнителен инструмент за повишаване на ефективността на уеб сайтовете и подобряване на видимостта им в търсачките.

Вземи търговска
оферта

Нашите експерти ще отговори на всички
въпроси и ще Ви изпратим
търговска оферта