Доброго времени, форумчане! Возник такой вопрос. Генерируем файлик sitemap в админке. Он создается, но в процессе его изучения я обнаружил некие странности. Создаются дубли страниц
По этому поводу мне сообщили, что кто-то раньше как то настраивал создание сайтмепа по своему, что бы как мне объяснили "было видно, что страница обновляется, а не заброшена". Но как кажется мне, яндекс с гуглом это посчитают дублями, но затратят гораздо больше времени на индексирование. Да и ранжирование наверняка понизится. Знающие люди, огромная просьба - подскажите, что с этим делать? Оставить так, как есть, если это не повлияет на продуктивность работы, или же нужно как то бороться с подобным явлением?
Просто я не знаю, какие директории нужно закрывать в битриксе. Вот и хотел узнать, не закрыл ли я в моем варианте чего-то лишнего, или же может быть наоборот не закрыл чего то, что в данной CMS принято закрывать. Ну и хотел узнать ответы на вопросы, что в первом посте озвучил. Вообще план примерно следующий: 1) Закрыть директории, которые остались от темы и не используются, так сказать демонстрационные данные(это я сделал, правда возможно не всё нашел) 2) Закрыть админку (вроде сделано) 3) Закрыть директорию личного кабинета, регистрации, корзины, формы восстановления пароля, поиска ну и т.д. (вроде все стандартно и вроде все сделано) 4) Уменьшить кол-во дублей в индексации. 5) Открыть css и js для гугла (чтоб не ругался)
Доброго времени! С битриксом начал работать совсем не давно, плохо знаком со структурой данной cms. Да и с правилами robots тоже не очень) Читал множество статей и форумных тем, немного разобрался, но хотел бы узнать свои ошибки. Есть сайт, нужно сделать оптимальный robots.txt для него. Дефолтный роботс создается следующий:
Где какие ошибки в моем варианте? И дополнительно хотелось бы задать еще несколько вопросов: Есть смысл использовать второй вариант? Или хватит первого? Или нужны оба параметра?
Код
Disallow: /auth/
Disallow: /*auth=
Такой же вопрос:
Код
Disallow: /*index.php$
Disallow: */index.php
Почти уверен, что первый вариант подойдет больше, (часто видел, что пишут типа "Disallow: /*PAGEN_1= Disallow: /*PAGEN_2= Disallow: /*PAGEN_3=" и т.д. но все же спрошу у знатоков, второй вроде совсем бесполезный, на сколько я понял:
Код
Disallow: /*PAGEN_*
Disallow: /*PAGEN
Может нужно что-то еще добавить, исключить какие-либо страницы или наоборот добавить allow на что-то? Заранее спасибо за адекватные ответы)