# PennyRegWatch — Robots.txt Compliance Check

> Ficha LupaRiel — rieles: X402. Corte 2026-10-03.

Verifica el robots.txt de una URL exacta antes de que un crawler (GPTBot, ClaudeBot, Googlebot u otro user-agent) la rastree: devuelve ALLOW/DENY, la regla que determina el resultado, crawl-delay y URLs de sitemap — primera entrada de verificación de compliance de robots.txt para agentes de scraping en este documento (distinta de servicios de scraping en sí, como Apify o Firecrawl ya cargados).

- Canónica: https://lupariel.com/fichas/pennyregwatch-robots-txt-compliance-check/
- Slug: pennyregwatch-robots-txt-compliance-check
- Categoría: Infraestructura de scraping / Compliance de crawling
- Estados: produccion
- URL: https://pennyregwatch.com/v1/robots
- Fuente: https://pennyregwatch.com/v1/robots
- Detectado: 2026-10-06
- Última revisión: 2026-10-15
- Precio (tabla): $0.001/call
- Red (tabla): Base (USDC)

## Evidencia por riel

### X402 — produccion

Verifica el robots.txt de una URL exacta antes de que un crawler (GPTBot, ClaudeBot, Googlebot u otro user-agent) la rastree: devuelve ALLOW/DENY, la regla que determina el resultado, crawl-delay y URLs de sitemap — primera entrada de verificación de compliance de robots.txt para agentes de scraping en este documento (distinta de servicios de scraping en sí, como Apify o Firecrawl ya cargados).

- Categoría: Infraestructura de scraping / Compliance de crawling
- Fuente: https://pennyregwatch.com/v1/robots
- Detectado: 2026-10-06
- Revisado: 2026-10-15
- Precio: $0.001/call
- Red: Base (USDC)

Fuente de verdad: tablas en research/ del repo mswitach/lupariel.
No se inventan precios, redes ni estados.