Про Яndex
Случилось так, что все таки сайт администрации переехал в саму администрацию и окончательно заработал на свободном ПО. Но не надо забывать про старую версию сайта, которую благополучно проиндексировали все крупные поисковые системы, в том числе и Яндекс.
Когда то давно, Яндекс "прошелся" по всем имеющимся на старом сайте ссылкам и сохранил все образы документов, размещенных на сайте у себя в кэше. Периодически Яндекс должен проверить не изменились ли имеющиеся документы по сравнению с теми образами которые хранятся на его многочисленных серверах. И этот момент настал в четверг. Сразу почему то возникла ассоциация с "черным четвергом", но это к слову. И вот этот Яндекс, без всяких церемоний стал проверять, сохраненные у себя ссылки на их соответствие с тем содержимым, что лежит на этом сервере. Серверов у Яндекса много, соответственно много и запросов, все с разных адресов. Все запросы, что отправлял Яндекс в итоге получали 404-ю ошибку. Но все равно этого хватило, что бы сервер "лег". Печальное событие - Яндекс "заддосил" этот сайт. Сайт "лежал" два часа. После того как сайт был реанимирован, он продержался еще 10 минут и снова "лег". Тогда было принято решение уменьшить полосу пропускания канала в обе стороны, чтобы как то уменьшить нагрузку на железо сервера. Надо сказать что решение не самое лучшее, но действенное. Сейчас сайт работает на ширине канала в 1Мбит.
Читатель спросит - а откуда ты это узнал? Ответ простой - из файлов логов, что хранятся как в самой БД сайта, так и на сервере. Проанализировав запросы которые шлет Яндекс и их количество было принято решение сказать Яндексу о том что того содержимого, которое он ищет на сайте давно нет и не будет. Для таких ситуаций у Яндекса есть специальный инструмент, который позволяет владельцам сайта почистить кеш на серверах Яндекса. Кто столкнется с такой же проблемой вот вам ссылка http://webmaster.yandex.ru/delurl.xml Только вся беда этого инструмента в том что яндекс не сразу же чистит кеш, а лишь ставит ваш запрос в очередь на очистку, когда же произойдет сама очистка я не знаю. Я тоже задал несколько путей для исключения из индексирования, прошло уже трое суток, но как показывает анализ файлов событий, Яндекс продолжает проверять старые ссылки, даже те которые были поставлены в очередь на удаление... На данный момент Яндекс делает в среднем от 4 до 6 запросов к сайту в минуту, но бывают периоды когда это значение переваливает за 30-40 запросов в минуту... Это немного и не напрягает сервер абсолютно.