Pasando lista a los crawlers que visitan nuestra web
La respuesta la tenemos en los logs de nuestro servidor web Apache o Nginx. Siempre y cuando nuestro formato de logs contenga información sobre el User-Agent que visita nuestra web. Por ejemplo para Apache servirían los siguientes formatos: En el caso de Nginx: