Робот Гугла и запрет параметров урлов
расскажу как я положил сервак.
живут же у меня 3 сайта на серваке однотипных на ипах разных. добавил в гугл вебмастер я карты и поставил в настройках чтобы сканировал максимально быстро робот. Короче смотрю а ЛА в консоле подскочил до 30%. жесть. Это робот Гугла начал жестка сканить все 3 сайта и все начало тупить.я такой тыц тыц и в настройках оставил максималку только для одного а для остальных двух урезал . но хер там. надо ждать сутки двое чтоб приминилось. в итоге сервак еще сутки тупил. терял траф и бабло. ну ниче наука емае.
еще начало в индекс всасывать много ненужных урлов с параметром фильтрации. короче ненужные урлы. я взял и закрыл их в роботсе и в панели гугл вебмастерса...и каноникалы и ноиндексы в метатегах прописал в пагинаторе...все дела как надо сделал. терь робот тока странички нужные сканит..красавчег.