Думаю буду использовать первый, со второй частью первого способа относительно понятно. А что касается первой части - данный вопрос можно будет адресовать тех поддержке timeweb.ru ?
03.11.2013 13:57:55
Не могу найти в интернете информацию о том, как все таки наиболее удачно составить роботс для интернет-магазина.
Вот размышляю, не взять ли за эталон робот главной страницы User-agent: Yandex Disallow: /products/bitrix24/ Disallow: /*utm_source=* Disallow: /*utm_medium=* Disallow: /*utm_campaign=* Disallow: /*utm_content=* Disallow: /*utm_term=* Disallow: /*_openstat Disallow: /*from=adwords Disallow: /bitrix/ Disallow: /auth/ Disallow: /search/ Disallow: /*/search/ Disallow: /*COURSE_ID= Disallow: /*?COURSE_ID= Disallow: /*ID= Disallow: /*/slide_show/ Disallow: /*?PAGEN Disallow: /*PAGEN_1= Disallow: /*PAGEN_2= Disallow: /*PAGEN_3= Disallow: /*PAGEN_4= Disallow: /*PAGEN_5= Disallow: /*PAGEN_6= Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*r1= Disallow: /*r2= Disallow: /*r3= Disallow: /*r4= Disallow: /*r5= Disallow: /*source= Disallow: /*added= Disallow: /*block= Disallow: /*pos= Disallow: /*type= Disallow: /*country= Disallow: /*show_all= Disallow: /*?action= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow: /*back_url_admin=* Disallow: /*login= Disallow: /*logout= Disallow: /*SHOWALL Disallow: /*show_all= Disallow: /*level= Disallow: /*design= Disallow: /*category= Disallow: /*company_name= Disallow: /about/seminars/form/* Disallow: /about/life/photo/life/* Disallow: /support/key_info.php Disallow: /*rss Disallow: /auth.php Host: User-agent: Googlebot Disallow: /products/bitrix24/ Disallow: /*utm_source=* Disallow: /*utm_medium=* Disallow: /*utm_campaign=* Disallow: /*utm_content=* Disallow: /*utm_term=* Disallow: /*_openstat Disallow: /*from=adwords Disallow: /bitrix/ Disallow: /auth/ Disallow: /search/ Disallow: /*/search/ Disallow: /*COURSE_ID= Disallow: /*?COURSE_ID= Disallow: /*ID= Disallow: /*/slide_show/ Disallow: /*?PAGEN Disallow: /*PAGEN_1= Disallow: /*PAGEN_2= Disallow: /*PAGEN_3= Disallow: /*PAGEN_4= Disallow: /*PAGEN_5= Disallow: /*PAGEN_6= Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*r1= Disallow: /*r2= Disallow: /*r3= Disallow: /*r4= Disallow: /*r5= Disallow: /*source= Disallow: /*added= Disallow: /*block= Disallow: /*pos= Disallow: /*type= Disallow: /*country= Disallow: /*show_all= Disallow: /*?action= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow: /*back_url_admin=* Disallow: /*login= Disallow: /*logout= Disallow: /*SHOWALL Disallow: /*show_all= Disallow: /*level= Disallow: /*design= Disallow: /*category= Disallow: /*company_name= Disallow: /about/seminars/form/* Disallow: /about/life/photo/life/* Disallow: /support/key_info.php Disallow: /*rss Disallow: /auth.php User-agent: * Disallow: /products/bitrix24/ Disallow: /*utm_source=* Disallow: /*utm_medium=* Disallow: /*utm_campaign=* Disallow: /*utm_content=* Disallow: /*utm_term=* Disallow: /*_openstat Disallow: /*from=adwords Disallow: /bitrix/ Disallow: /auth/ Disallow: /search/ Disallow: /*/search/ Disallow: /*COURSE_ID= Disallow: /*?COURSE_ID= Disallow: /*ID= Disallow: /*/slide_show/ Disallow: /*?PAGEN Disallow: /*PAGEN_1= Disallow: /*PAGEN_2= Disallow: /*PAGEN_3= Disallow: /*PAGEN_4= Disallow: /*PAGEN_5= Disallow: /*PAGEN_6= Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*r1= Disallow: /*r2= Disallow: /*r3= Disallow: /*r4= Disallow: /*r5= Disallow: /*source= Disallow: /*added= Disallow: /*block= Disallow: /*pos= Disallow: /*type= Disallow: /*country= Disallow: /*show_all= Disallow: /*?action= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow: /*back_url_admin=* Disallow: /*login= Disallow: /*logout= Disallow: /*SHOWALL Disallow: /*show_all= Disallow: /*level= Disallow: /*design= Disallow: /*category= Disallow: /*company_name= Disallow: /about/seminars/form/* Disallow: /about/life/photo/life/* Disallow: /support/key_info.php Disallow: /*rss Disallow: /auth.php но не могу понять расшифровку многих значений, может кто-нибудь подтолкнуть в нужном направлении, где я могу узнать про данные значения. Вот к примеру: Disallow: /*category= - что этот параметр запрещает индексировать? Или вот это Disallow: /*r1= ? Вся суть вопроса, убрать все возможные варианты индексации разделов, подразделов, карточки товара, оставить одну единственную страницу. Еще важный вопрос. Часть сайта проиндексирована с .html . Я как понимаю, нужно прописать особый код для конкретных страниц одного из разделов сайта, но не знаю какой и где. Еще третий вопрос: какой должна быть ошибка 404, скажем страница удалена, а на сайте выдает сайт/404.php в главном разделе, в остальных разделах просто "сайт/апвпвпо" и информация о не найденной странице. Я понимаю так, урл не должен меняться на редирект к 404 ошибке, верно? За толковые советы даже денежку готов заплатить, лишь бы разобраться с этими кодировками, в которых разбираюсь незначительно. |
|
|