Depuis quelques temps il est possible de créer un fichier robots.txt avec l'aide de la console Google Webmaster Tools.

Vous trouverez les informations dans votre interface.
http://www.google.com/webmasters/tools/
D'autres informations :
http://www.google.com/support/webmasters/bin/answer.py?answer=40364