tduntbot är vår sitemapstyrda övervakningsrobot som vi använder för att kontrollera om informationen på vår sida är korrekt. Den besöker
endast sidor som finns i webbplatsens sitemap (deklarerad i robots.txt
eller manuellt konfigurerad) och hämtar bara HTML — inga skript, bilder,
stilmallar eller andra resurser. Hämtningarna använder villkorliga
GET-anrop (ETag / If-Modified-Since): oförändrade sidor besvaras normalt
med 304 och hämtas inte om.
Förfrågningar identifieras med User-Agent: tduntbot/1.0 (+https://tadigut.nu/bot; kontakt@tadigut.nu)
och From: kontakt@tadigut.nu. Mer information: https://tadigut.nu/bot
Begränsningar
- Max en samtidig förfrågan per värd.
- Högst ungefär en förfrågan per sekund per värd.
- robots.txt:s Crawl-delay respekteras och har företräde.
- Inga skript, bilder eller andra resurser hämtas.
Blockera tduntbot
Lägg till en regel i webbplatsens robots.txt, till exempel:
User-agent: tduntbot
Disallow: /Vill du tillåta sidorna men begränsa takten:
User-agent: tduntbot
Crawl-delay: 10
Disallow: /admin/Ändringar i robots.txt respekteras inom en timme (cachelagring).
Frågor om roboten: kontakt@tadigut.nu