Para quien administra un sitio
El rastreador de kitlegal
Si ves en tus registros peticiones con este agente de usuario, vienen de kitlegal: un programa de código abierto que una persona ejecuta en su equipo para consultar normas en fuentes públicas oficiales.
User-Agent: kitlegal/<versión> (+https://kitlegal.es/bot)Cómo se comporta
- No recorre tu sitio. Pide los documentos concretos que la persona consulta, cuando los consulta.
- Respeta tu
robots.txt: lo lee antes de pedir nada y lo guarda para no pedirlo con cada documento. - Va despacio: cada consulta pide sus documentos a un ritmo de, como mucho, una petición por segundo a cada sitio.
- No insiste: si una petición falla por algo pasajero, la repite como mucho dos veces.
- No pide dos veces lo mismo: guarda en el equipo de la persona lo que ya ha leído, con una vigencia que fija cada fuente.
- Solo lee: no envía formularios, no inicia sesión y no entra en ninguna sede electrónica.
Qué consulta hoy
La API de legislación consolidada de la Agencia Estatal Boletín Oficial del Estado. Cada fuente nueva se revisa antes de consultarla: sus términos de uso, su robots.txt y el ritmo que admite, y todo queda anotado en elregistro de fuentes del proyecto.
Cómo limitarlo o bloquearlo
kitlegal busca su grupo de reglas por el nombre kitlegal, que gana a User-agent: *. Para cerrarle todo el sitio:
User-agent: kitlegal Disallow: /Si kitlegal te causa algún problema, o quieres que consulte tu sitio de otra forma,abre una incidencia en GitHub y lo atenderemos.