User-agent: * # este bloque va para todos los bots.
Disallow:
Disallow: /cgi-bin/ # Toda la carpeta y sus directorios
Disallow: /a-archivos/ # Toda la carpeta y sus directorios
Disallow: /b-archivos/ # Toda la carpeta y sus directorios
Disallow: /c-archivos/ # Toda la carpeta y sus directorios
Disallow: /mail.htm # tan solo el archivo foo.html