Cloudflare mantiene una lista de bots "Verificados".
Los bots verificados, como los de los motores de búsqueda, suelen ser transparentes sobre quiénes son. Cloudflare aprueba manualmente los servicios bien comportados que respetan robots.txt.
Bots clasificados según el número de solicitudes. Utiliza la búsqueda para consultar la lista.
Más información...Ver en Data Explorer