Вот тут довольно много полезной информации по этому файлику на русском языке - http://robotstxt.org.ru/.

Собственно, почитав, пришел к выводу, что мне и запрещать-то особо нечего, напишу лишь
User-agent: *
Disallow:


Вот тока один нюанс - файл должен быть в win- или unix-формате?
А какой у вас роботс? Да и вообще, есть ли в нем необходимость?