# indique que n'importe quel moteur de recherche que l'accès au site est soumis aux limitations suivantes 
User-Agent: *
# exemple :  Disallow:/download/dwnld.php indique aux robots qu'ils ne doivent pas indexer la page "dwnld.php" située dans le dossier "download".
# Disallow:/sources/  indique aux robots qu'ils ne peuvent indexer aucun des fichiers contenus dans le répertoire sources.