Можно для каждого робота указать что индексировать. а что нет. Можете временно вообще убрать этот файл, и проверить индексацию. Яндекс не проверяет индексацию оперативно. Если у вас так и высвечивается запрет на индексацию, вы должны указать роботу, что бы он проиндексировал сайт заново. Оперативно яндекс вам и не покажет что сайт индексируется, только проверит файл роботс. Вот он прочитал вчера/позавчера что у вас запрет стоит, и пошел дальше по своим делам )). Через какое то время снова зайдет, проверит, есть запрет или нет.
Можете почитать инструкций много в сети, причем с примерами. Нет смысла здесь расписывать все тонкости настройки данного файла.