- ID de exploración:
- 2887ce82-d217-4ed8-b579-d4aa6d5ff1feFinalizado
- URL enviada:
- https://www.vg.no/robots.txt
- Informe finalizado:
Enlaces: 0 encontrados
Los enlaces salientes identificados en la página
Variables JavaScript: 3 encontradas
Las variables JavaScript globales cargadas en el objeto de ventana de una página son variables declaradas fuera de las funciones y a las que se puede acceder desde cualquier lugar del código en el ámbito actual
| Nombre | Tipo |
|---|---|
| onbeforetoggle | object |
| documentPictureInPicture | object |
| onscrollend | object |
Mensajes de registro de la consola: 0 encontrados
Mensajes registrados en la consola web
HTML
El cuerpo HTML sin procesar de la página
<html><head><meta name="color-scheme" content="light dark"></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">User-agent: *
Disallow: /tegneserier/salesposter
Disallow: /poll
Disallow: /informasjon/redaksjonelle-avgjorelser/182
Disallow: /informasjon/redaksjonelle-avgjorelser/212
Disallow: /sok*?*
Disallow: /preview
Disallow: /?vcheck=1
Disallow: /?_escaped_fragment_=/kategori/144/bolig-tv
Disallow: /?_escaped_fragment_=/kategori
user-agent: Googlebot-News
disallow: /annonsorinnhold/
disallow: /kommersielt-innhold/
disallow: /innstikk/
disallow: /?embed=true
disallow: /arkiv/
disallow: /front/
disallow: /ads/prewarm/
# Start AI crawler block
#
# VG does not permit unlicensed use of our content for training large language models.
# All use, reproductions and extractions of our content for such purposes require specific
# approval by VG. We explicitly disallow text and data mining and all other technical means
# designed to or with the effect that they enable unlicensed use of our content for training
# AI models.
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: omgili
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Amazonbot
Disallow: /
# End AI crawler block
Sitemap: https://www.vg.no/sitemaps/files/articles-48hrs.xml
Sitemap: https://www.vg.no/sitemap/files/articles-48hrs.xml
Sitemap: https://www.vg.no/sitemap.xml
</pre></body></html>