Но для каждого сайта роботс уникален, все зависет от того, что вам нужно. Так же правила могут быть разные как для яндекса, так и для гугла. Единственное, что отмечу точно: если у вашего сайта есть мобильная версия, то нужно будет открыть для индексации папку с шаблоном, иначе робот криво будет видеть ваш "мобильный" сайт. И тот же самый гугл не выдаст вам пометку "mobile friendly".
Но для каждого сайта роботс уникален, все зависет от того, что вам нужно. Так же правила могут быть разные как для яндекса, так и для гугла. Единственное, что отмечу точно: если у вашего сайта есть мобильная версия, то нужно будет открыть для индексации папку с шаблоном, иначе робот криво будет видеть ваш "мобильный" сайт. И тот же самый гугл не выдаст вам пометку "mobile friendly".
А как это сделать? Например, как закрыть это? Где? Ведь при неправильном адресе перебрасывает в основной каталог. Это не правильно? Пожалуйста, подскажите, я новичок в битре.