Не могу найти в интернете информацию о том, как все таки наиболее удачно составить роботс для интернет-магазина.
Вот размышляю, не взять ли за эталон робот главной страницыhttp://www.1c-bitrix.ru/:
User-agent: Yandex
Disallow: /products/bitrix24/
Disallow: /*utm_source=*
Disallow: /*utm_medium=*
Disallow: /*utm_campaign=*
Disallow: /*utm_content=*
Disallow: /*utm_term=*
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /bitrix/
Disallow: /auth/
Disallow: /search/
Disallow: /*/search/
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*ID=
Disallow: /*/slide_show/
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*r1=
Disallow: /*r2=
Disallow: /*r3=
Disallow: /*r4=
Disallow: /*r5=
Disallow: /*source=
Disallow: /*added=
Disallow: /*block=
Disallow: /*pos=
Disallow: /*type=
Disallow: /*country=
Disallow: /*show_all=
Disallow: /*?action=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*login=
Disallow: /*logout=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*level=
Disallow: /*design=
Disallow: /*category=
Disallow: /*company_name=
Disallow: /about/seminars/form/*
Disallow: /about/life/photo/life/*
Disallow: /support/key_info.php
Disallow: /*rss
Disallow: /auth.php
Host:www.1c-bitrix.ru
User-agent: Googlebot
Disallow: /products/bitrix24/
Disallow: /*utm_source=*
Disallow: /*utm_medium=*
Disallow: /*utm_campaign=*
Disallow: /*utm_content=*
Disallow: /*utm_term=*
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /bitrix/
Disallow: /auth/
Disallow: /search/
Disallow: /*/search/
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*ID=
Disallow: /*/slide_show/
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*r1=
Disallow: /*r2=
Disallow: /*r3=
Disallow: /*r4=
Disallow: /*r5=
Disallow: /*source=
Disallow: /*added=
Disallow: /*block=
Disallow: /*pos=
Disallow: /*type=
Disallow: /*country=
Disallow: /*show_all=
Disallow: /*?action=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*login=
Disallow: /*logout=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*level=
Disallow: /*design=
Disallow: /*category=
Disallow: /*company_name=
Disallow: /about/seminars/form/*
Disallow: /about/life/photo/life/*
Disallow: /support/key_info.php
Disallow: /*rss
Disallow: /auth.php
User-agent: *
Disallow: /products/bitrix24/
Disallow: /*utm_source=*
Disallow: /*utm_medium=*
Disallow: /*utm_campaign=*
Disallow: /*utm_content=*
Disallow: /*utm_term=*
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /bitrix/
Disallow: /auth/
Disallow: /search/
Disallow: /*/search/
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*ID=
Disallow: /*/slide_show/
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*r1=
Disallow: /*r2=
Disallow: /*r3=
Disallow: /*r4=
Disallow: /*r5=
Disallow: /*source=
Disallow: /*added=
Disallow: /*block=
Disallow: /*pos=
Disallow: /*type=
Disallow: /*country=
Disallow: /*show_all=
Disallow: /*?action=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*login=
Disallow: /*logout=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*level=
Disallow: /*design=
Disallow: /*category=
Disallow: /*company_name=
Disallow: /about/seminars/form/*
Disallow: /about/life/photo/life/*
Disallow: /support/key_info.php
Disallow: /*rss
Disallow: /auth.php
но не могу понять расшифровку многих значений, может кто-нибудь подтолкнуть в нужном направлении, где я могу узнать про данные значения.
Вот к примеру: Disallow: /*category= - что этот параметр запрещает индексировать? Или вот это Disallow: /*r1= ?
Вся суть вопроса, убрать все возможные варианты индексации разделов, подразделов, карточки товара, оставить одну единственную страницу.
Еще важный вопрос. Часть сайта проиндексирована с .html . Я как понимаю, нужно прописать особый код для конкретных страниц одного из разделов сайта, но не знаю какой и где.
Еще третий вопрос: какой должна быть ошибка 404, скажем страница удалена, а на сайте выдает сайт/404.php в главном разделе, в остальных разделах просто "сайт/апвпвпо" и информация о не найденной странице. Я понимаю так, урл не должен меняться на редирект к 404 ошибке, верно?
За толковые советы даже денежку готов заплатить, лишь бы разобраться с этими кодировками, в которых разбираюсь незначительно.
Вот размышляю, не взять ли за эталон робот главной страницы
User-agent: Yandex
Disallow: /products/bitrix24/
Disallow: /*utm_source=*
Disallow: /*utm_medium=*
Disallow: /*utm_campaign=*
Disallow: /*utm_content=*
Disallow: /*utm_term=*
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /bitrix/
Disallow: /auth/
Disallow: /search/
Disallow: /*/search/
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*ID=
Disallow: /*/slide_show/
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*r1=
Disallow: /*r2=
Disallow: /*r3=
Disallow: /*r4=
Disallow: /*r5=
Disallow: /*source=
Disallow: /*added=
Disallow: /*block=
Disallow: /*pos=
Disallow: /*type=
Disallow: /*country=
Disallow: /*show_all=
Disallow: /*?action=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*login=
Disallow: /*logout=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*level=
Disallow: /*design=
Disallow: /*category=
Disallow: /*company_name=
Disallow: /about/seminars/form/*
Disallow: /about/life/photo/life/*
Disallow: /support/key_info.php
Disallow: /*rss
Disallow: /auth.php
Host:
User-agent: Googlebot
Disallow: /products/bitrix24/
Disallow: /*utm_source=*
Disallow: /*utm_medium=*
Disallow: /*utm_campaign=*
Disallow: /*utm_content=*
Disallow: /*utm_term=*
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /bitrix/
Disallow: /auth/
Disallow: /search/
Disallow: /*/search/
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*ID=
Disallow: /*/slide_show/
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*r1=
Disallow: /*r2=
Disallow: /*r3=
Disallow: /*r4=
Disallow: /*r5=
Disallow: /*source=
Disallow: /*added=
Disallow: /*block=
Disallow: /*pos=
Disallow: /*type=
Disallow: /*country=
Disallow: /*show_all=
Disallow: /*?action=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*login=
Disallow: /*logout=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*level=
Disallow: /*design=
Disallow: /*category=
Disallow: /*company_name=
Disallow: /about/seminars/form/*
Disallow: /about/life/photo/life/*
Disallow: /support/key_info.php
Disallow: /*rss
Disallow: /auth.php
User-agent: *
Disallow: /products/bitrix24/
Disallow: /*utm_source=*
Disallow: /*utm_medium=*
Disallow: /*utm_campaign=*
Disallow: /*utm_content=*
Disallow: /*utm_term=*
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /bitrix/
Disallow: /auth/
Disallow: /search/
Disallow: /*/search/
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*ID=
Disallow: /*/slide_show/
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*r1=
Disallow: /*r2=
Disallow: /*r3=
Disallow: /*r4=
Disallow: /*r5=
Disallow: /*source=
Disallow: /*added=
Disallow: /*block=
Disallow: /*pos=
Disallow: /*type=
Disallow: /*country=
Disallow: /*show_all=
Disallow: /*?action=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*login=
Disallow: /*logout=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*level=
Disallow: /*design=
Disallow: /*category=
Disallow: /*company_name=
Disallow: /about/seminars/form/*
Disallow: /about/life/photo/life/*
Disallow: /support/key_info.php
Disallow: /*rss
Disallow: /auth.php
но не могу понять расшифровку многих значений, может кто-нибудь подтолкнуть в нужном направлении, где я могу узнать про данные значения.
Вот к примеру: Disallow: /*category= - что этот параметр запрещает индексировать? Или вот это Disallow: /*r1= ?
Вся суть вопроса, убрать все возможные варианты индексации разделов, подразделов, карточки товара, оставить одну единственную страницу.
Еще важный вопрос. Часть сайта проиндексирована с .html . Я как понимаю, нужно прописать особый код для конкретных страниц одного из разделов сайта, но не знаю какой и где.
Еще третий вопрос: какой должна быть ошибка 404, скажем страница удалена, а на сайте выдает сайт/404.php в главном разделе, в остальных разделах просто "сайт/апвпвпо" и информация о не найденной странице. Я понимаю так, урл не должен меняться на редирект к 404 ошибке, верно?
За толковые советы даже денежку готов заплатить, лишь бы разобраться с этими кодировками, в которых разбираюсь незначительно.