[URL=http://robotstxt.org.ru/]Сам robots.txt[/URL], версия [URL=https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml]robots.txt от Яндекса[/URL], версия [URL=https://support.google.com/webmasters/answer/6062608?hl=ru]robots.txt от Google[/URL].