Crawl-delay

Нагрузки на хостинг прут весьма ощутимые, но пик очумелости приходится на один час (с 8 до 9). Но и в остальное время они довольно неприятны. В свое время наткнулся блуждая по форумам на один хороший параметр файлика robots.txt

Crawl-delay. Для того, чтобы снизить нагрузку от поисковых ботов достаточно прописать следующее:

User-agent:
Crawl-delay: 2

После двоеточия в первой строке ставим * если не знаем имя бота. Я прописал 2 дерективы: для Яндекса и "для всех". Во второй строчке указываем задержку в секундах. У меня стоит 2 для яндекса и 4 для всех остальных. Нагрузка после этого упала на 20-40% в обычное время. Эксперементом остался очень доволен и возможно оставляю на постоянной основе. И вполне возможно будут эти чудо файлики доработаны, ведь несомненная польза на лицо.