Иногда требуется закрыть от индексации список пользователей, или какой-то раздел новостей. До сего момента модуль Поиска не смотрел в robots.txt и запретить к индексации можно было только статические страницы. Особенно это неудобно было в том, что такие страницы попадали в карту сайта. [spoiler] Теперь эти проблемы решены с помощью нового модуля*. Честно сказать, и сейчас не смотрится в robots.txt и правила вам придется дублировать в настройки модуля Поиска. Но согласитесь, сейчас можно настраивать индексацию более гибко?
Это скриншот настроек модуля Поиска. Раньше такие правила не работали, так как контент динамический. После установки модуля все будет работать И карта сайта теперь у вас будет правильная и актуальная (для последнего я рекомендую свое другое решение). Для уже созданного контента требуется переиндексация.
Не могу не похвалиться - если мы переносим новость в запрещенный выше раздел, он пропадает тут же и из поиска и из карты сайта выносим из раздела - опять проиндексирован. Круто!
Я конечно немного слукавил, сказав что теперь применяются правила robots, так как allowed до сих пор в полной мере не поддерживается. Чтобы это заработало, просьба поддержать идею.
Вот и все. Модуль конечно же бесплатен.
* - пока модуль на модерации, установить вы его можете по ссылке: вашсайт.ру/bitrix/admin/update_system_partner.php?addmodule=asd.robots
Slava, даж идей как побороть идеи - нет. Могу посоветовать в ТП обратиться, но они наверняка доступы запросят. А я без доступов тоже все варианты перебрал уже.
Slava Krikunov попробуйте просто заблокировать пути для индексации в настройках самого модуля поиска (битриксовского) ну как крайний случай. А вдруг поможет?
Не заметил просто в тексте именно данного действия. Настройка масок исключения из индексации в модуле поиск. Но вам в любом случае для начала надо проверить сам индекс. Не постесняйтесь залезть в таблицы А уж потом бороться с сайтмепом, так как это вторично Вот если не удается сделать так, чтобы идеи в поисковый индекс не попадали вообще, то это скорее всего даже и не спасти модулем Антона, если не ошибаюсь. (может, на идеи не срабатывают соотв. события при формировании sitemap и не удается перехватить их в момент индексации и соотв. запретить выпуск в результат сайтмепа) Тут уж точно, как сказал Антон, без диагностики не разобраться. Всякое бывает. Я один раз просто нарвался на собств. ошибку не сделав полную переиндексацию, час гоняясь за багом, не найдя его и после очередной переиндексации увидев что все работает.
Аналогично, спасли следующие шаги: 1. Настройка модуля поиска, запрет на индексацию по маске определенных папок. 2. Очистка кэша (казалось бы, при чем здесь он?) 3. Переиндексация модуля поиска После чего карта сайта сгенерировалась без «ненужных» ссылок.
Антон Долганин , Pavel Veselkov , действительно сегодня удивительным образом ссылки исчезли из sitemap. Единственное, что могло повлиять на это - полная чистка кеша, но действительно при чем здесь он, казалось бы?..
Долганин Антон, у меня проблема была с несуществующим форумом. Ссылки вели на топики, которых не было, у меня вообще форума на этом проекте нет. =) Но это глюк Битрикса, а не твоего модуля. Сюда я попал в поисках решения =)
Антон Долганин , когда ждать полноценный парсинг robots.txt ? плодить сущности - самый лучший способ нажить себе проблем и другим. вот забуду (через год) я или по не знанию какой-либо коадмини про этот модуль (а его толком в системе видно только в установленный пакета, но нету настройки модуля!) и хана нормальному sitemap. нехорошо. а выхода сейчас нормального без твоего модуля нет. если не писать своё.
Антон, здравствуйте! Модуль понравился. Но только не могу понять одной детали. Создаю sitemap - выбираю использовать файлы и папки (файлов около 1000) - нажимаю Сохранить. Не сохраняет. Начинаю галки к файлам ставить вручную. +-200 файлов получается сохранить и галочки стоят, а более не сохраняет. В чем может быть причина
Группы на сайте создаются не только сотрудниками «1С-Битрикс», но и партнерами компании. Поэтому мнения участников групп могут не совпадать с позицией компании «1С-Битрикс».