Но для каждого сайта роботс уникален, все зависет от того, что вам нужно. Так же правила могут быть разные как для яндекса, так и для гугла. Единственное, что отмечу точно: если у вашего сайта есть мобильная версия, то нужно будет открыть для индексации папку с шаблоном, иначе робот криво будет видеть ваш "мобильный" сайт. И тот же самый гугл не выдаст вам пометку "mobile friendly".
Но для каждого сайта роботс уникален, все зависет от того, что вам нужно. Так же правила могут быть разные как для яндекса, так и для гугла. Единственное, что отмечу точно: если у вашего сайта есть мобильная версия, то нужно будет открыть для индексации папку с шаблоном, иначе робот криво будет видеть ваш "мобильный" сайт. И тот же самый гугл не выдаст вам пометку "mobile friendly".