Наблюдаем такую штуку:
В файле robots.txt запрещены к поиску определенные страницы, типа авторизации, регистрации, урлы с идентификаторами сессий.
Смотрим яндекс.вебмастер, а там "загружено 490 страниц", примерно 90 в поиске, а 400 запрещены. В выдаче нет запрещенных страниц. Все нормально.
Вот вопрос - почему яндекс вместо того, чтобы загрузить себе в базу остальные нормальные страницы, которые мы ждем в поиске, грузит в себя страницы, явно запрещенные в файле robots.txt, потом он понимает, что они запрещены и помещает их в "исключённые страницы". К чему это лишняя трата своих и моих ресурсов, бесполезная загрузка. Или он грузит все подряд, и уже у себя на сервере делает сверку запрещено/разрешено?
В файле robots.txt запрещены к поиску определенные страницы, типа авторизации, регистрации, урлы с идентификаторами сессий.
Смотрим яндекс.вебмастер, а там "загружено 490 страниц", примерно 90 в поиске, а 400 запрещены. В выдаче нет запрещенных страниц. Все нормально.
Вот вопрос - почему яндекс вместо того, чтобы загрузить себе в базу остальные нормальные страницы, которые мы ждем в поиске, грузит в себя страницы, явно запрещенные в файле robots.txt, потом он понимает, что они запрещены и помещает их в "исключённые страницы". К чему это лишняя трата своих и моих ресурсов, бесполезная загрузка. Или он грузит все подряд, и уже у себя на сервере делает сверку запрещено/разрешено?