Mirando los logs de la web he visto que ha empezado a visitarla Slurp, el indexador de Yahoo!. Estaba generando un error 404 Not Found porque no encontraba robots.txt. Así que lo he puesto para que no se queje. De momento doy vía libre a todo el quiera visitarnos:

User-agent: *

Para los que no sepan de que estoy hablando, decir que robots.txt es un fichero de texto que se ubica en el directorio raiz de las webs, para que los indexadores como Yahoo!, o buscadores como Google, sepan si el propietario de la web les da permiso para indexar su sitio. También permite restringir el acceso a determinados directorios o ficheros. Aunque hay que tener en cuenta que robots.txt es tratado sólo como una recomendación, no como una obligación. Ni todos los (ro)bots lo leen, ni todos los bots le hacen caso. Si se quiere proteger el acceso a determinada información de la web hay que utilizar otros medios, como el uso de .htaccess.